皮皮网

1.Windows平台C++ 使用VS2015 编译gRPC(总结)
2.在Windows搭建gRPC C++开发环境
3.gRPC 流量控制详解
4.gRPC入坑记
5.Alluxio 客户端源码分析

Windows平台C++ 使用VS2015 编译gRPC(总结)

       若要在Windows平台使用VS编译gRPC，首先确保您的开发环境支持最新版本。由于gRPC自3..1版本开始依赖protobuf 3.x，且C++的constexpr特性在VS及更早版本中不被支持，因此推荐使用VS及以上版本进行编译。

       对于编译环境的ez源码配置，建议您采用以下步骤：

       下载并安装CMake-gui，后续步骤将通过其进行操作。

       安装Active State Perl，通过命令行验证安装是否成功。

       安装Golang，并同样通过命令行进行测试。

       尽管Git可能遇到问题，但您可以手动从GitHub下载gRPC代码，版本选择1..0或更高版本。同时，需要下载并解压gRPC的第三方库，如BoringSSL、Protobuf、benchmark等，确保选择正确的小区疫情统计源码版本。

       在编译过程中，将gRPC源代码解压至无中文字符的目录，针对Windows 位系统，选择x版本。对于HelloWorld示例，需要在项目配置中添加特定预处理器定义，如_WIN_WINNT和安全警告开关。

       确保项目中的编译设置正确匹配，例如调整运行时库版本，以避免LIBCMTD/LIBCMT、MSVCRTD/MSVCRT之间的冲突。最终的编译输出包括bin和lib文件，其中java和go有单独的库。

       在使用gRPC时，将helloworld.proto文件复制到适当位置，生成pb和grpc.pb文件，并在客户端和服务器项目中集成。通过设置头文件路径、预处理器定义、库目录和附加依赖项，短信监听源码下载连接所有依赖，完成gRPC的测试和集成。

在Windows搭建gRPC C++开发环境

       在Windows下搭建gRPC C++开发环境，并开发、配置简单的服务端及.net客户端的步骤如下：

       1、下载gRPC源码：

       通过git命令行在预设目录下载gRPC 1..0版本。

       2、生成工程文件：

       使用CMake生成工程文件，需调整选项包括添加ABSL_PROPAGATE_CXX_STD为true，调整zlib依赖版本至2.8.，设置CMAKE_INSTALL_PREFIX以指定安装目录。

       3、编译、安装gRPC：

       使用Visual Studio 编译安装，设置为Release x生成ALL_BUILD和INSTALL项目，确保bin目录路径添加到环境变量Path中。

       4、创建测试工程：

       创建解决方案GRPCTest，包含c++空项目CPPServer与.Net 控制台项目DotNetClient，将protos文件夹及helloworld.proto文件导入。李小康代码源码

       5、编译proto文件：

       使用命令行生成c++及c#文件，确保执行路径正确。

       6、生成CPPServer项目：

       将greeter_server.cc文件拷贝至CPPServer目录，并添加相关文件及目录，配置包含及附加库。

       7、生成DotNetClient：

       通过Nuget安装所需包，并将Helloworld相关文件添加到DotNetClient项目中，编辑Program.cs并编译。

       8、测试：

       运行CPPServer.exe与DotNetClient.exe进行测试，验证服务端与客户端通信是否正常。

gRPC 流量控制详解

       gRPC 流量控制详解

       流量控制, 一般来说指的是在网络传输中, 发送者主动限制自身发送数据的速率或发送的数据量, 以适应接收者处理数据的速度. 当接收者的处理速度较慢时, 来不及处理的数据会被存放在内存中, 而当内存中的数据缓存区被填满之后, 新收到的数据就会被扔掉, 导致发送者不得不重新发送, 就会造成网络带宽的浪费.

       流量控制是一个网络组件的基本功能, 我们熟知的 TCP 协议就规定了流量控制算法. gRPC 建立在 TCP 之上, 也依赖于 HTTP/2 WindowUpdate Frame 实现了自己在应用层的流量控制.

       在 gRPC 中, 流量控制体现在三个维度:

       采样流量控制: gRCP 接收者检测一段时间内收到的数据量, 从而推测出 on-wire 的数据量, 并指导发送者调整流量控制窗口.

       Connection level 流量控制: 发送者在初始化时被分配一个 quota (额度), quota 随数据发送减少, 并在收到接收者的反馈之后增加. 发送者在耗尽 quota 之后不能再发送数据.

       Stream level 流量控制: 和 connection level 的流量控制类似, 只不过 connection level 管理的是一个发送者和一个接收者之间的全部流量, 而 stream level 管理的是 connection 中诸多 stream 中的一个.

       在本篇剩余的部分中, 我们将结合代码一起来看看这三种流量控制的实现原理和实现细节.

       本篇中的源代码均来自 blogs.com/fhy/p/.html

        (本文完)

Alluxio 客户端源码分析

       Alluxio是一个用于云分析和人工智能的开源数据编排技术，作为分布式文件系统，采用与HDFS相似的主从架构。系统中包含一个或多个Master节点存储集群元数据信息，以及Worker节点管理缓存的数据块。本文将深入分析Alluxio客户端的独爱源码网站实现。

       创建客户端逻辑在类alluxio.client.file.FileSystem中，简单示例代码如下。

       客户端初始化包括调用FileSystem.Context.create创建客户端对象的上下文，在此过程中需要初始化客户端以创建与Master和Worker连接的连接池。若启用了配置alluxio.user.metrics.collection.enabled，将启动后台守护线程定时与Master节点进行心跳传输监控指标信息。同时，客户端初始化时还会创建负责重新初始化的后台线程，定期从Master拉取配置文件的哈希值，若Master节点配置发生变化，则重新初始化客户端，期间阻塞所有请求直到重新初始化完成。

       创建具有缓存功能的客户端在客户端初始化后，调用FileSystem.Factory.create进行客户端创建。客户端实现分为BaseFileSystem、MetadataCachingBaseFileSystem和LocalCacheFileSystem三种，其中MetadataCachingBaseFileSystem和LocalCacheFileSystem对BaseFileSystem进行封装，提供元数据和数据缓存功能。BaseFileSystem的调用主要分为三大类：纯元数据操作、读取文件操作和写入文件操作。针对元数据操作，直接调用对应GRPC接口（例如listStatus）。接下来，将介绍客户端如何与Master节点进行通信以及读取和写入的流程。

       客户端需要先通过MasterInquireClient接口获取主节点地址，当前有三种实现：PollingMasterInquireClient、SingleMasterInquireClient和ZkMasterInquireClient。其中，PollingMasterInquireClient是针对嵌入式日志模式下选择主节点的实现类，SingleMasterInquireClient用于选择单节点Master节点，ZkMasterInquireClient用于Zookeeper模式下的主节点选择。因为Alluxio中只有主节点启动GRPC服务，其他节点连接客户端会断开，PollingMasterInquireClient会依次轮询所有主节点，直到找到可以连接的节点。之后，客户端记录该主节点，如果无法连接主节点，则重新调用PollingMasterInquireClient过程以连接新的主节点。

       数据读取流程始于BaseFileSystem.openFile函数，首先通过getStatus向Master节点获取文件元数据，然后检查文件是否为目录或未写入完成等条件，若出现异常则抛出异常。寻找合适的Worker节点根据getStatus获取的文件信息中包含所有块的信息，通过偏移量计算当前所需读取的块编号，并寻找最接近客户端并持有该块的Worker节点，从该节点读取数据。判断最接近客户端的Worker逻辑位于BlockLocationUtils.nearest，考虑使用domain socket进行短路读取时的Worker节点地址一致性。根据配置项alluxio.worker.data.server.domain.socket.address，判断每个Worker使用的domain socket路径是否一致。如果没有使用域名socket信息寻找到最近的Worker节点，则根据配置项alluxio.user.ufs.block.read.location.policy选择一个Worker节点进行读取。若客户端和数据块在同一节点上，则通过短路读取直接从本地文件系统读取数据，否则通过与Worker节点建立GRPC通信读取文件。

       如果无法通过短路读取数据，客户端会回退到使用GRPC连接与选中的Worker节点通信。首先判断是否可以通过domain socket连接Worker节点，优先选择使用domain socket方式。创建基于GRPC的块输入流代码位于BlockInStream.createGrpcBlockInStream。通过GRPC进行连接时，每次读取一个chunk大小并缓存chunk，减少RPC调用次数提高性能，chunk大小由配置alluxio.user.network.reader.chunk.size.bytes决定。

       读取数据块完成后或出现异常终止，Worker节点会自动释放针对该块的写入锁。读取异常处理策略是记录失败的Worker节点，尝试从其他Worker节点读取，直到达到重试次数上限或没有可用的Worker节点。

       若无法通过本地Worker节点读取数据，则客户端尝试发起异步缓存请求。若启用了配置alluxio.user.file.passive.cache.enabled且存在本地Worker节点，则向本地Worker节点发起异步缓存请求，否则向负责读取该块数据的Worker节点发起请求。

       数据写入流程首先向Master节点发送CreateFile请求，Master验证请求合法性并返回新文件的基本信息。根据不同的写入类型，进行不同操作。如果是THROUGH或CACHE_THROUGH等需要直接写入底层文件系统的写入类型，则选择一个Worker节点处理写入到UFS的数据。对于MUST_CACHE、CACHE_THROUGH、ASYNC_THROUGH等需要缓存数据到Worker节点上的写入类型，则打开另一个流负责将每个写入的块缓存到不同的Worker上。写入worker缓存块流程类似于读取流程，若写入的Worker与客户端在同一个主机上，则使用短路写直接将块数据写入Worker本地，无需通过网络发送到Worker上。数据完成写入后，客户端向Master节点发送completeFile请求，表示文件已写入完成。

       写入失败时，取消当前流以及所有使用过的输出流，删除所有缓存的块和底层存储中的数据，与读取流程不同，写入失败后不进行重试。

       零拷贝实现用于优化写入和读取流程中WriteRequest和ReadResponse消息体积大的问题，通过配置alluxio.user.streaming.zerocopy.enabled开启零拷贝特性。Alluxio通过实现了GRPC的MethodDescriptor.Marshaller和Drainable接口来实现GRPC零拷贝特性。MethodDescriptor.Marshaller负责对消息序列化和反序列化的抽象，用于自定义消息序列化和反序列化行为。Drainable扩展java.io.InputStream，提供将所有内容转移到OutputStream的方法，避免数据拷贝，优化内容直接写入OutputStream的过程。

       总结，阅读客户端代码有助于了解Alluxio体系结构，明白读取和写入数据时的数据流向。深入理解Alluxio客户端实现对于后续阅读其他Alluxio代码非常有帮助。