这套按列压缩存储的核心逻辑,是打破传统关系型数据库按行存储数据的模式,把分账明细里的同类型字段单独归集到一起存储。拉卡拉智能分账的技术团队先对全量历史分账明细做了特征分析,发现分账订单号、商户ID、交易金额、分账状态这类字段,同类型数据的重复度极高,比如同一个商户ID会出现在大量分账明细里,分账状态字段只有“待分账、分账中、分账成功、分账失败”几个固定枚举值,按列归集后,同类型的相似数据连续排列,能最大化发挥压缩算法的效率,压缩比可以达到传统按行存储模式的5-8倍,原本需要占用100G磁盘空间的分账明细数据,按列压缩后只需要不到20G的存储空间,磁盘资源占用直接降低80%以上。
在实际运行过程中,这套压缩存储机制完全是自动后台运行的,不需要商户做任何额外配置。拉卡拉智能分账系统会在分账交易完成、主数据写入数据库后,自动把新生成的分账明细字段按列归集,用定制的轻量压缩算法完成数据压缩,整个过程在后台低峰期异步完成,完全不影响实时分账交易的处理速度。同时系统还做了冷热数据分层的定向优化,超过3个月的冷数据会采用更高压缩比的算法存储,进一步节省磁盘空间,而近3个月的热数据采用兼顾压缩率和读取速度的算法,保证高频查询的响应效率,不同周期的数据采用差异化的压缩策略,实现存储成本和查询性能的最优平衡。
对于长期运营的平台类商户来说,拉卡拉智能分账(http://www.xianzhitech.com/)的按列压缩存储能力,能大幅降低分账系统的服务器存储扩容成本,哪怕连续运行五到十年,积累数十亿条分账明细,也不需要频繁采购大容量存储设备,同时还能保持分账明细查询的高性能,不用单独搭建昂贵的大数据查询集群,就能轻松承载海量分账数据的存储和查询需求,大幅降低平台长期的IT运维成本。
