1.Hudi 基础入门篇
2.Apache Hudi X Apache Kyuubi，源码中国移动云湖仓一体的分析探索与实践
3.Flink+hudi 构架沧湖一体化解决方案
4.之一--源码编译

Hudi 基础入门篇

       为了深入理解Hudi这一湖仓一体的流式数据湖平台，本文将提供一个基础入门的源码步骤指南，从环境准备到编译与测试，分析再到实际操作。源码

       在开始之前，分析scale源码首先需要准备一个大数据环境。源码第一步是分析安装Maven，这是源码构建和管理Hudi项目的关键工具。在CentOS 7.7版本的分析位操作系统上，通过下载并解压Maven软件包，源码然后配置系统环境变量，分析即可完成Maven的源码安装。确保使用的分析Maven版本为3.5.4，仓库目录命名为m2。源码

       接下来，需要下载Hudi的源码包。通过访问Apache软件归档目录并使用wget命令下载Hudi 0.8版本的源码包。下载完成后，按照源码包的说明进行编译。

       在编译过程中，将需要添加Maven镜像以确保所有依赖能够正确获取。完成编译后，ar全房源码进入$HUDI_HOME/hudi-cli目录并执行hudi-cli脚本。如果此脚本能够正常运行，说明编译成功。

       为了构建一个完整的数据湖环境，需要安装HDFS。从解压软件包开始，配置环境变量，设置bin和sbin目录下的脚本与etc/hadoop下的配置文件。确保正确配置HADOOP_*环境变量，以确保Hadoop的各个组件可以正常运行。

       下一步，需要配置hadoop-env.sh文件，以及核心配置文件core-site.xml和HDFS配置文件hdfs-site.xml。这些配置文件中包含了Hadoop Common模块的公共属性、HDFS分布式文件系统相关的属性，以及集群的节点列表。通过执行格式化HDFS和启动HDFS集群的命令，可以确保HDFS服务正常运行。

       总结而言，Hudi被广泛应用于国内的大公司中，用于构建数据湖并整合大数据仓库，形成湖仓一体化的附源码的用途平台。这使得数据处理更加高效和灵活。

       为了更好地学习Hudi，推荐基于0.9.0版本的资料，从数据湖的概念出发，深入理解如何集成Spark和Flink，并通过实际需求案例来掌握Hudi的使用。这些资料将引导用户从基础到深入，逐步掌握Hudi的核心功能和应用场景。

Apache Hudi X Apache Kyuubi，中国移动云湖仓一体的探索与实践

       湖仓一体概述

       “湖仓一体”是一个结合了数据湖的灵活性与生态丰富性及数据仓库的成长性概念，这一架构通过计算和存储分离，为数据管理提供了开放的技术架构范例。随着业务数据量的爆炸式增长和对高时效性的需求，湖仓一体架构在数据湖与数据仓库之间实现了动态转换，以满足不同业务场景的需求。

       移动云 LakeHouse 实践

       移动云采用云原生大数据分析 LakeHouse 架构，它基于移动云对象存储 EOS 和内置 HDFS，提供支持 Hudi 存储机制的湖仓一体方案。内置 Spark 引擎支持交互式查询，快速洞察业务数据变化。

       核心功能包括存储和计算分离、一键入湖、龙兵科技源码智能元数据发现和按量计算等。在基于 RBF 的逻辑视图中，移动云借鉴 RBF 的统一视图隔离能力，实现存储资源的多租户隔离，通过 Zookeeper 和 RBF 服务容器化部署，用户可以快速创建、扩展和回收资源。

       公有云场景下，移动云通过修改 Hive 源码在表属性中添加 s3 认证参数，实现多租户效果，无需重启 Hive 服务。在大数据生态中，多种计算引擎通过 Metastore 服务访问 Hive 数据，移动云基于 Hive 表属性实现获取对象存储认证参数插件，简化业务开发流程。

       Serverless 实现中，移动云通过 RBF 的多租户实现，将 Spark 进程运行在安全隔离的 K8S Namespace 中，根据资源规格对应不同的计算单元，实现微批和即席 ad-hoc 场景的高效计算资源管理。

       元数据管理与发现模块通过智能识别结构化、半结构化文件的视觉软件源码开发元数据构建数据目录，并提供类 Hive Metastore 的 API 供计算引擎直接访问。

       移动云引入 FlinkX 实现高效数据迁移，支持多种异构数据源之间的数据同步。Kyuubi 支持多租户、多种计算引擎的 JDBC 连接服务，提供高可用性和负载均衡，同时优化和改造了相应的模块以适应移动云的账号体系及 LakeHouse 架构。

       在构建云原生大数据分析平台时，LakeHouse 支持多样化数据来源，并提供离线批处理、实时计算、交互式查询能力，节省了传统大数据平台所需的软硬件资源、研发成本和运维成本。

       在私有云场景下，引入 Lakehouse 能力，统一数据存储和管理，形成湖仓一体的元数据视图，适应多种数据统一存储和管理的需求。

Flink+hudi 构架沧湖一体化解决方案

       Apache Hudi提供了一种流处理数据集上的时间轴管理方式，支持数据集的即时视图，数据集通过与Hive表类似的目录结构进行组织，分区数据由路径标识，文件则包含分区的数据，每份文件可能对应多个提交，以支持更新操作。Hudi的存储层由元数据、存储类型、视图三部分组成，其中元数据维护数据集上操作的时间轴，支持即时视图的存储。Hudi解决了大规模和近实时应用的限制，提供新架构与湖仓一体的解决方案，实现数据同源、同计算引擎、同存储、同计算口径，数据时效性可达分钟级，满足业务准实时数仓需求。

       Hudi对于大规模和近实时应用的重要性在于其解决了数据处理中的多个限制。它通过提供时间轴管理、即时视图和多视图类型支持，使得数据处理更加高效、灵活。同时，Hudi通过湖仓一体的架构，实现了数据同源、同计算引擎、同存储、同计算口径，大大提升了数据处理的效率和灵活性。数据的时效性可以达到分钟级，能够很好地满足业务对准实时数仓的需求。

       通过MySQL数据经过Flink CDC进入Kafka，实现多个实时任务复用，避免对MySQL性能的影响。数据在ODS层后，会同时沿着实时数据仓库的链路，从ODS层依次进入DWD、DWS和OLAP数据库，最后供报表等数据服务使用。实时数仓的每一层结果数据会准实时地落至离线数仓，实现程序一次开发、指标口径统一、数据统一。在架构中，存在数据修正的步骤，以处理口径调整或错误的实时任务计算结果，确保历史数据的准确性。整体架构采用Lambda和Kappa混合模式，流批一体数据仓库包含数据质量校验流程，确保数据质量。

       在版本选择方面，推荐使用Hudi master与Flink 1.结合，以更好地适应CDC连接器。Hudi的下载可通过mvnrepository.com/artif...获取，最新版本为0.9.0，若需0..0版本，可以加入社区群获取，或自行编译源码。执行Hudi与Flink的集成，首先确保将hudi-flink-bundle_2.-0..0.jar放置于flink/lib下，并执行bin/sql-client.sh embedded命令。

       Flink在Hudi上的应用包括新建maven工程并修改pom文件，使用代码构建实验或直接使用官网下载的Flink包构建环境。添加依赖至$FLINK_HOME/lib下，注意在寻找jar包时，CDC 2.0更新了group ID，从com.alibaba.ververica更改为com.ververica。使用Flink SQL CDC在Hudi上构建实验环境，创建MySQL CDC表与Hudi表，修改配置，设置查询模式输出为表和检查点间隔，进行输入导入和数据查询。

       在Flink CDC 2.0与Hudi集成过程中，可能会遇到卡在hoodie_stream_write的问题。解决该问题的关键在于检查点配置，设置合适的检查点间隔，以确保数据正常处理和下发。至此，Flink + Hudi 仓湖一体化方案原型构建完成，实现数据同源、高效处理与存储，满足实时与离线数据处理需求。

之一--源码编译

       为了成功编译Apache Hudi源码，您需要遵循一系列步骤确保所有依赖被正确解决。首先，导入GitHub项目至 IntelliJ IDEA，可能会遇到“Cannot resolve jdk.tools:jdk.tools:1.7”的错误。此问题可能源于版本不兼容或依赖未正确配置。

       解决方法如下：

       在pom.xml文件中添加如下dependency：

       <dependency><groupId>jdk.tools</groupId><artifactId>jdk.tools</artifactId><version>1.7</version></dependency>

       若问题依然存在，尝试将systemPath设为绝对路径。

       接下来，遇到“Cannot resolve io.confluent:common-config:5.3.4”及相关的依赖加载问题。这可能是由于Maven配置为使用阿里云镜像，而阿里云中缺失io.confluent依赖。为解决此问题，修改Maven settings.xml文件（位于~/.m2目录）。

       在元素中添加以下两个元素：

       定义新的confluent仓库，然后指示从默认的阿里云仓库中移除confluent代理。这样，请求confluent仓库中的依赖时，将直接从confluent仓库获取，而非从阿里云。

       在遇到“org.apache.yetus:audience-annotations:jar dependencies not be available”的错误时，检查依赖是否已被正确添加到项目中。修改方法为确保所有依赖都已正确配置到pom.xml文件中。

       综上所述，遵循上述步骤确保所有依赖正确解决，即可成功编译Apache Hudi源码。