皮皮网

1.要成为一名专业的程序员，从零开始需要怎么一步步来比较好，要把最底层的先学精通吗？(个人认为)求学长
2.Alluxio 客户端源码分析
3.Hudi 基础入门篇

要成为一名专业的程序员，从零开始需要怎么一步步来比较好，要把最底层的先学精通吗？(个人认为)求学长

       前言

       你是否觉得自己从学校毕业的时候只做过小玩具一样的程序？走入职场后哪怕没有什么经验也可以把以下这些课外练习走一遍（朋友的抱怨：学校课程总是从理论出发，作业项目都看不出有什么实际作用，java如何查看网页源码不如从工作中的需求出发）

       建议：

       不要乱买书，不要乱追新技术新名词，基础的东西经过很长时间积累而且还会在未来至少年通用。

       回顾一下历史，看看历史上时间线上技术的发展，你才能明白明天会是什么样。

       一定要动手，例子不管多么简单，建议至少自己手敲一遍看看是否理解了里头的细枝末节。

       一定要学会思考，思考为什么要这样，ETF量化策略源码而不是那样。还要举一反三地思考。

       注：你也许会很奇怪为什么下面的东西很偏Unix/Linux，这是因为我觉得Windows下的编程可能会在未来很没有前途，原因如下：

       现在的用户界面几乎被两个东西主宰了，1）Web，2）移动设备iOS或Android。Windows的图形界面不吃香了。

       越来越多的企业在用成本低性能高的Linux和各种开源技术来构架其系统，Windows的成本太高了。

       微软的东西变得太快了，很不持久，他们完全是在玩弄程序员。详情参见《Windows编程革命史》

       所以，我个人认为以后的趋势是前端是Web+移动，后端是都市马帮跑腿源码Linux+开源。开发这边基本上没Windows什么事。

       启蒙入门

       1、 学习一门脚本语言，例如Python/Ruby

       可以让你摆脱对底层语言的恐惧感，脚本语言可以让你很快开发出能用得上的小程序。实践项目:

       处理文本文件，或者csv (关键词 python csv, python open, python sys) 读一个本地文件，逐行处理（例如 word count，或者处理log）

       遍历本地文件系统 (sys, os, path)，例如写一个程序统计一个目录下所有文件大小并按各种条件排序并保存结果

       跟数据库打交道 (python sqlite)，写一个小脚本统计数据库里条目数量

       学会用各种print之类简单粗暴的方式进行调试

       学会用Google (phrase, domain, use reader to follow tech blogs)

       为什么要学脚本语言，因为他们实在是太方便了，很多时候我们需要写点小工具或是脚本来帮我们解决问题，你就会发现正规的编程语言太难用了。

       2、 用熟一种程序员的代源码免费下载编辑器(不是IDE) 和一些基本工具

       Vim / Emacs / Notepad++，学会如何配置代码补全，外观，外部命令等。

       Source Insight (或 ctag)

       使用这些东西不是为了Cool，而是这些编辑器在查看、修改代码/配置文章/日志会更快更有效率。

       3、 熟悉Unix/Linux Shell和常见的命令行

       如果你用windows，至少学会用虚拟机里的linux， vmware player是免费的，装个Ubuntu吧

       一定要少用少用图形界面。

       学会使用man来查看帮助

       文件系统结构和基本操作 ls/chmod/chown/rm/find/ln/cat/mount/mkdir/tar/gzip …

       学会使用一些文本操作命令 sed/awk/grep/tail/less/more …

       学会使用一些管理命令 ps/top/lsof/netstat/kill/tcpdump/iptables/dd…

       了解/etc目录下的各种配置文章，学会查看/var/log下的系统日志，以及/proc下的系统运行信息

       了解正则表达式，使用正则表达式来查找文件。

       对于程序员来说Unix/Linux比Windows简单多了。小米电视spdif源码（参看我四年前CSDN的博文《其实Unix很简单》）学会使用Unix/Linux你会发现图形界面在某些时候实在是太难用了，相当地相当地降低工作效率。

       4、 学习Web基础（HTML/CSS/JS) + 服务器端技术 (LAMP)

       未来必然是Web的世界，学习WEB基础的最佳网站是W3School。

       学习HTML基本语法

       学习CSS如何选中HTML元素并应用一些基本样式（关键词：box model）

       学会用 Firefox + Firebug 或 chrome 查看你觉得很炫的网页结构，并动态修改。

       学习使用Javascript操纵HTML元件。理解DOM和动态网页（Dynamic HTML: The Definitive Reference, 3rd Edition - O'Reilly Media) 网上有免费的章节，足够用了。或参看 DOM 。

       学会用 Firefox + Firebug 或 chrome 调试Javascript代码（设置断点，查看变量，性能，控制台等）

       在一台机器上配置Apache 或 Nginx

       学习PHP，让后台PHP和前台HTML进行数据交互，对服务器相应浏览器请求形成初步认识。实现一个表单提交和反显的功能。

       把PHP连接本地或者远程数据库 MySQL（MySQL 和 SQL现学现用够了）

       跟完一个名校的网络编程课程（例如：pleteFile请求，表示文件已写入完成。

       写入失败时，取消当前流以及所有使用过的输出流，删除所有缓存的块和底层存储中的数据，与读取流程不同，写入失败后不进行重试。

       零拷贝实现用于优化写入和读取流程中WriteRequest和ReadResponse消息体积大的问题，通过配置alluxio.user.streaming.zerocopy.enabled开启零拷贝特性。Alluxio通过实现了GRPC的MethodDescriptor.Marshaller和Drainable接口来实现GRPC零拷贝特性。MethodDescriptor.Marshaller负责对消息序列化和反序列化的抽象，用于自定义消息序列化和反序列化行为。Drainable扩展java.io.InputStream，提供将所有内容转移到OutputStream的方法，避免数据拷贝，优化内容直接写入OutputStream的过程。

       总结，阅读客户端代码有助于了解Alluxio体系结构，明白读取和写入数据时的数据流向。深入理解Alluxio客户端实现对于后续阅读其他Alluxio代码非常有帮助。

Hudi 基础入门篇

       为了深入理解Hudi这一湖仓一体的流式数据湖平台，本文将提供一个基础入门的步骤指南，从环境准备到编译与测试，再到实际操作。

       在开始之前，首先需要准备一个大数据环境。第一步是安装Maven，这是构建和管理Hudi项目的关键工具。在CentOS 7.7版本的位操作系统上，通过下载并解压Maven软件包，然后配置系统环境变量，即可完成Maven的安装。确保使用的Maven版本为3.5.4，仓库目录命名为m2。

       接下来，需要下载Hudi的源码包。通过访问Apache软件归档目录并使用wget命令下载Hudi 0.8版本的源码包。下载完成后，按照源码包的说明进行编译。

       在编译过程中，将需要添加Maven镜像以确保所有依赖能够正确获取。完成编译后，进入$HUDI_HOME/hudi-cli目录并执行hudi-cli脚本。如果此脚本能够正常运行，说明编译成功。

       为了构建一个完整的数据湖环境，需要安装HDFS。从解压软件包开始，配置环境变量，设置bin和sbin目录下的脚本与etc/hadoop下的配置文件。确保正确配置HADOOP_*环境变量，以确保Hadoop的各个组件可以正常运行。

       下一步，需要配置hadoop-env.sh文件，以及核心配置文件core-site.xml和HDFS配置文件hdfs-site.xml。这些配置文件中包含了Hadoop Common模块的公共属性、HDFS分布式文件系统相关的属性，以及集群的节点列表。通过执行格式化HDFS和启动HDFS集群的命令，可以确保HDFS服务正常运行。

       总结而言，Hudi被广泛应用于国内的大公司中，用于构建数据湖并整合大数据仓库，形成湖仓一体化的平台。这使得数据处理更加高效和灵活。

       为了更好地学习Hudi，推荐基于0.9.0版本的资料，从数据湖的概念出发，深入理解如何集成Spark和Flink，并通过实际需求案例来掌握Hudi的使用。这些资料将引导用户从基础到深入，逐步掌握Hudi的核心功能和应用场景。