基数来自离线实时双流,拉卡拉智能分账Lambda架构,批流一体。很多企业做分账结算时,长期面临一个两难的痛点:用离线批处理数据做分账,数据100%准确,但延迟高,经常要等到T+1第二天才能拿到完整的订单数据,没法实现实时分润;用实时流数据做分账,到账速度快,但容易出现数据丢包、重复计算的问题,分账结果经常出现误差,后续要花大量时间人工调账。
拉卡拉智能分账(http://www.xianzhitech.com/ )依托Lambda架构实现批流一体,分账基数同时来自离线全量数据和实时增量数据双流校验,既保证了分账结果的绝对精准,又能实现低延迟的秒级清算,彻底解决了传统分账模式里“快就不准、准就不快”的矛盾。
Lambda架构的核心设计思路,是把同一份原始订单数据,同时送入两条独立的计算链路并行处理。一条是离线批处理链路,系统定时从数据湖中拉取从历史第一天到当前时间的全量订单数据,做全量清洗、维度关联、复杂聚合计算,生成绝对精准的全量分账基数视图,哪怕出现历史数据修正、补录的情况,离线链路也可以随时重跑全量任务,把所有数据校准到100%准确的状态,完全不会出现数据遗漏、计算偏差的问题。另一条是实时流处理链路,只处理两次离线调度间隔之间的增量订单数据,毫秒级消费新产生的交易订单,快速输出实时的分账基数结果,补上离线链路延迟的时间空白。
两条链路的结果最终会在分账(http://www.xianzhitech.com/ )服务层自动合并,生成最终的分账基数:实时增量数据先支撑低延迟的分账清算,满足实时到账的业务需求,等离线全量批处理的结果计算完成后,系统自动用精准的离线全量数据,和之前的实时分账结果做对账校验,如果发现实时链路里有遗漏、重复计算的订单,立刻自动触发差额补付或者回冲流程,不用人工介入就能完成数据校准,既保证了分账的速度,又守住了分账结果100%准确的底线。
这套架构还天然具备极强的容错能力,哪怕实时流链路出现短暂故障,也不会影响分账业务的正常运行,离线全量数据里完整留存了所有原始订单记录,系统可以随时从断点位置重放历史数据,补全所有缺失的分账基数,完全不会出现订单丢失、分账遗漏的问题。同时系统还做了流量削峰设计,大促期间海量订单集中涌入时,实时流链路先承接瞬时洪峰,离线链路在业务低峰期慢慢完成全量校准,全程不会出现系统拥堵、分账延迟的情况。
某头部直播电商平台大促期间,单日产生超过300万笔交易订单,依托拉卡拉智能分账的Lambda批流一体架构,实时流链路在订单产生后的3秒内就完成了初步分账清算,主播佣金秒级到账,完全不影响后续的带货节奏,等第二天离线全量批处理完成后,系统自动用全量精准数据和前一天的实时分账结果做对账,自动修正了几笔因为网络重复上报产生的异常订单,全程没有出现一笔错账,财务日终对账零差异。
对于企业来说,这套架构完全不用你自己投入大量技术资源搭建复杂的大数据处理集群,依托拉卡拉智能分账(http://www.xianzhitech.com/ )的持牌清算体系,直接就能享受到批流一体的技术能力,既实现了分账资金快速到账,又保证了分账结果绝对准确,不用再在“速度”和“精准度”之间做两难选择。