1.大数据架构系列:如何理解湖仓一体?

大数据架构系列:如何理解湖仓一体?

       在年，腾讯的A/B Test团队启动了海外商业化版本ABetterChoice的建设。ABetterChoice是一款全新的SaaS产品，它将腾讯内部积累的优秀实验能力进行抽象，并基于海外合规、多云环境适配等复杂要求，楼宇自控系统源码进行改造，以满足海外用户需求的先进实验产品。ABetterChoice通过StarRocks实现了计算引擎的统一，使实验计算层规范化，计算SQL统一化，提升了整体应用服务的可复用性。它已接入包括王者荣耀海外版、PUBG Mobile、Ubisoft全境封锁等业务。ABetterChoice官网为ABetterChoice.ai。

       A/B Test的介绍和应用案例。A/B测试源自生物医学中的双盲测试，能够运用在互联网领域，为战略决策、产品迭代、graphchi源码新策略验证提供科学依据。以游戏生态为例，实验能够深度挖掘不同玩家圈层的特征和诉求，进行游戏产品的改造与优化，提升玩家口碑和核心运营指标。

       关于腾讯的A/B Test。在年，腾讯PCG大数据平台部科学实验团队基于内部沉淀的A/B Test平台启动了ABetterChoice的建设，作为一款能够赋能业务增长的数据产品，开始进行海外版本的amiibo源码改造筹备工作，提供一套对齐海外竞品、突出腾讯A/B特性的优秀SaaS产品。ABetterChoice已接入王者荣耀海外版、PUBG Mobile、Ubisoft全境封锁等业务。

       出海原因和用户诉求。在腾讯游戏出海以及海外二方工作室快速发展的背景下，A/B实验平台作为一款增长数据产品，开始进行海外版本改造，提供一套支持海外数据合规、sendmailphp源码多云环境的通用化数据底座，满足不同业务背景和诉求。

       架构现状与问题。腾讯A/B Test架构采用Kappa架构，支持数据流批上报和多维分析，使用StarRocks的存算一体模式，但在多表Join计算场景下资源耗费大，集群本地存储使用SSD，随着业务数据生命周期延长成本增加，且与腾讯云深度绑定，jetcache源码不支持海外二方工作室的数据需求。

       实验架构改造。实验数据入湖，架构改造基于主流公有云，采用湖仓一体、存算分离架构，选用StarRocks作为OLAP引擎，满足数据合规和多租户接入。在腾讯云引入TBDS，海外公有云引入Databricks，提供数据入湖通道。湖上建仓，需要通用的OLAP引擎支持湖仓一体生态，同时具备本地存储+计算能力。StarRocks在3.1版本后支持Delta Lake和Iceberg，实现高性能查询和真正的湖仓融合。

       数据冷热分离。在实验场景中，不同用户对数据存储周期不同，StarRocks会将最近天数据存储在本地SSD，超过天的数据自动降冷至对象存储，通过数据湖调度维护表Meta信息和状态。冷热数据分区查询，采用BE+CN混合查询模式，调整执行计划，减少数据交换过程，提升查询性能。

       多租户隔离。A/B实验是典型的多租户场景，针对不同业务的计算资源需求和数据合规要求，设计一套集查询引擎、数据湖和对象存储的多租户隔离方案。查询引擎层实现平等资源下发，数据湖层通过Databricks Unity Catalog屏蔽权限，对象存储层实现地域隔离和用户权限管控。

       总结与展望。基于StarRocks的ABetterChoice在公有云实现落地，已完成接入验证工作。未来计划深化StarRocks在多维即席查询的性能优化、湖仓一体架构的定制化改造，形成一套立足海外场景的基于StarRocks的湖仓一体生态建设经验。更多信息关注StarRocks公众号和源码GitHub，欢迎交流。