1.LevelDB 源码剖析1 -- 原理
2.TiKV 源码解析系列文章（十四）Coprocessor 概览
3.开发语言java与jee的码学学习方式与不同？
4.学大数据要掌握什么基础？大数据技术基础知识有哪些？
5.2024年最新版大数据从入门到进阶路线图（建议收藏）

LevelDB 源码剖析1 -- 原理

       LSM-Tree，全称Log-Structured Merge Tree，码学被广泛应用于数据库系统中，码学如HBase、码学Cassandra、码学LevelDB和SQLite，码学jar 源码 导入甚至MongoDB 3.0也引入了可选的码学LSM-Tree引擎。这种数据结构旨在提供优于传统B+树或ISAM（Indexed Sequential Access Method）方法的码学写入吞吐量，通过避免随机的码学本地更新操作实现。

       LSM-Tree的码学核心思想基于磁盘性能的特性：随机访问速度远低于顺序访问，三个数量级的码学差距。因此，码学简单地将数据附加至文件尾部（日志或堆文件策略）可以提供接近理论极限的码学写入吞吐量。尽管这种方法足够简单且性能良好，码学但它有一个明显的码学缺点：从日志中随机读取数据需要花费更多时间，因为需要按时间顺序从近及远扫描日志直至找到所需键。因此，日志策略仅适用于简单的数据访问场景。

       为了应对更复杂的读取需求，如基于键的搜索、范围搜索等，LSM-Tree引入了一种改进策略，通过创建一系列排序文件来存储数据，每次写入都会生成一个新的文件，同时保留了日志系统优秀的写性能。在读取数据时，系统会检查所有文件，并定期合并文件以减少文件数量，从而提高读取性能。

       在LSM-Tree的基本算法中，写入数据按照顺序保存到一组较小的排序文件中。每个文件代表了一段时间内的数据变更，且在写入前进行排序。内存表作为写入数据的缓冲区，用于保持键值的顺序。当内存表填满后，已排序的数据刷新到磁盘上的新文件。系统会周期性地执行合并操作，选择一些文件进行合并，以减少文件数量和删除冗余数据，同时维持读取性能。

       读取数据时，系统首先检查内存缓冲区，若未找到目标键，则以反向时间顺序检查各个文件，直到找到目标键。合并操作通过定期将文件合并在一起，皮皮发卡源码控制文件数量和读取性能，即使文件数量增加，读取性能仍可保持在可接受范围内。通过使用内存中保存的页索引，可以优化读取操作，尤其是在文件末尾保留索引块，这通常比直接二进制搜索更高效。

       为了减少读取操作时访问的文件数量，新实现采用了分级合并（Leveled Compaction），即基于级别的文件合并策略。这不仅减少了最坏情况下需要访问的文件数量，还减少了单次压缩的副作用，同时提供更好的读取性能。分级合并与基本合并的主要区别在于文件合并的策略，这使得工作负载扩展合并的影响更高效，同时减少总空间需求。

TiKV 源码解析系列文章（十四）Coprocessor 概览

       本文将简要介绍 TiKV Coprocessor 的基本原理。TiKV Coprocessor 是 TiDB 的一部分，用于在 TiKV 层处理读请求。通过引入 Coprocessor，TiKV 可以在获取数据后进行计算，从而提高性能。

       传统处理方式中，TiDB 向 TiKV 获取数据，然后在 TiDB 内部进行计算。而 Coprocessor 则允许 TiKV 进行计算，将计算结果直接返回给 TiDB，减少数据在系统内部的传输。

       Coprocessor 的概念借鉴自 HBase，其主要功能是对读请求进行分类，处理包括 TableScan、IndexScan、Selection、Limit、TopN、Aggregation 等不同类型请求。其中，DAG 类请求是最复杂且常用的类型，本文将重点介绍。

       DAG 请求是由一系列算子组成的有向无环图，这些算子在代码中称为 Executors。DAG 请求目前支持两种计算模型：火山模型和向量化模型。在当前的 TiKV master 上，这两种模型并存，但火山模型已被弃用，因此本文将重点介绍向量化计算模型。思源网源码

       向量化计算模型中，所有算子实现了 BatchExecutor 接口，其核心功能是 get_batch。算子类型包括 TableScan、IndexScan、Selection、Limit、TopN 和 Aggregation 等，它们之间可以任意组合。

       以查询语句“select count(1) from t where age>”为例，展示了如何使用不同算子进行处理。本文仅提供 Coprocessor 的概要介绍，后续将深入分析该模块的源码细节，并欢迎读者提出改进意见。

开发语言java与jee的学习方式与不同？

       基础部分可能很枯燥，但是一定要耐心坚持下去。因为打基础好比是在造轮子造汽车，没有打好基础在后面的学习就好比走路，可以说后面遇到的百分之七八十的问题都是基础没学好造成的。

2、多看官方文档多读源码

       一定要看JDK相关类库、常用框架各种功能的源码，去了解其底层实现的原理。总的来说这个也是在打基础的部分，Java基础非常扎实才能看懂，在我们学习一个类的源码时，肯定会衍生出其他各种各样的问题，供我们来了解和学习，这也就是我们下一步学习的目标和方向。慢慢的，我们就会学习更多的知识，并积累更多的经验。

3、系统性学习，循序渐进

       不要急于求成，每个知识点都要看，并且每个知识点都要勤加练习。有的同学在学习过程中觉得这个知识点简单，就跳着学习，其实这是个很大的问题，知识点细节必须要了解。我们学习Java需要循序渐进，一步一步来，不能操之过急。

4、plus下载源码遇到问题

       遇到不会做的问题，当然不能置之不理。先在网上查，目前网络上针对很多问题都有完美的解决方案，如果网上没有类似的问题，那可能是你犯了什么小错误。也不要在这个问题上花费太多时间，这需要一定的学习技巧。Java中的知识有很强的相关性，有不懂的地方，可以用其他周边相关知识再回过头来理解，这样既不会耽误学习进度，又能理解自己不懂的地方

1）jvm有很多种，其实jvm是一个标准，sun做的那个叫hotspot，作者就是后来v8的作者lars bak，其他公司也做过jvm，其中做得比较好的有bea的jrockit，其他的包括ibm的r9，apple的jvm等在内，都做得不行，所以jvm主要是整合淘汰掉这些做得不好的jvm(s)，整合成一个统一的openjdk。

2）java是典型的oop语言，其执行效率的优化，最早就是lars bak等人从smalltalk等长期优化的经验中总结出来并apply到hotspot上去滴，而smalltalk在早期apple机上搞出了那种拖拖拽拽就开发出app的做法，后来vc，delphi之类的其实都是抄袭或者说借鉴apple的smalltalk的做法，jobs说微软从头到尾都在抄袭apple是空穴来风，这里空穴来风跟王垠使用的空穴来风是一个意思，有趣的是，java的gui并没有继承这种搞法，反而对这种拖拖拽拽就作出app的做法批判有加，到今天，其实java的gui都还不能真正做到拖拖拽拽就作出来，问题很多，个人建议对于纯java的gui开发，还是以写代码为主。

3）jee也是一个或者说是一堆标准，知乎上有些人把maven，jenkins都算做jee是不对滴，jee的标准核心是ejb，其实就是一个xml配置化的java文件，这个标准在4的时候，达到了顶峰状态，hive武器源码几乎所有的挨踢大厂都主动支持该标准，之后开始走下坡路，支持的厂越来越少。

4）java和javascript的关系比很多人认为的要密切，javascript里面的java这四个字母可不是白叫的，比如js的版权和商标都控制在oracle手里，oracle对于js的支持甚至超过其对java的支持，并且喜欢捆绑销售，比如jvm里面就有一个js引擎。

5）jvm里面除了js engine以外还有一个浏览器排版引擎webkit，就是apple safari和google chrome用的那个那个。

6）java支持绝大多数脚本语言，你能叫得上名字的脚本语言，几乎都可以在jvm上执行，比如常见的js，ruby，python，甚至php，lua，只不过除了js以外你需要找到相关的脚本引擎。

7）spring的版权被控制在vmware手里，其实spring的那一大堆东西，本质上是一个非标准的jee实现，比如在jee里面用的inject，在spring里面就是autowire，当然spring曾经深刻滴影响了jee，所以有些东西比如di标准，是spring影响下制定出来的，所以spring的做法会比较特例一点。

8）maven上的jars数量前两天突破万，其他语言的类库，排名第二的是npm，大概数量是maven的十分之一，也就是几十万，不知道现在突破万没有，然后是gem，也就是ruby那个，大概是十几万，下来是python的module，大概数量级是几万，没突破十万。

9）java的标准是由一个叫做jcp的组织制定的，所有标准需要经过jcp的执行委员会通过方可执行，jcp几乎包括了你所知道的绝大多数知名挨踢公司和组织，比如google，apple，ibm，intel，arm，red hat，twitter等，还有一些教育机构，比如我国的北京大学，阿里最近一次申请jcp执行委员会成员资格，似乎投票不通过，最近一次执行委员会新增两个成员是arm和jetbrains。

）微软也曾经是jcp甚至是java的主要贡献者，但是利益驱使下，想扩展java，从而破坏java跨平台的特性，所以跟sun闹翻，其本质原因就是想让客户写的java代码跟windows绑定，sun坚决不同意，闹翻，今天回头看这个结果，只能说：双输，sun挂了，微软的ria也离挂不太远了，silverlight已经放弃了，比起当年ie自带有jvm的支持来说，那完全就是两回事。

）除了微软以外，jcp还缺少一个重要组织apache，因为apache跟oracle也闹翻了，oracle似乎并不在乎开源组织，而更在意商业公司的支持。

）java曾经有一个内置的数据库，9之后被剥离。

）j2me是j2se的子集。

）vert.x作者tim fox最早在vmware做spring时候看到了node.js，萌生出了制作支持多核的node.x的想法，并在离开vmware后加入red hat将其实现，vmware看到后开始耍无赖，claim node.x后来改叫vert.x的版权，不惜跟red hat打官司，后来各方妥协，将其交给eclipse foundation。

）oracle在收购bea之前，一开始的目标并不是bea和bea的weblogic，而是jboss，但是jboss表现出了极为有种的一面，在oracle收购成功之前，投入了red hat的怀抱，因为都是开源组织，从此jboss成了red hat的一个子部门，oracle收购jboss失败之后，转向bea，庄思浩气死了，但是没用，最后还是被恶意收购。

）sun在玩不下去之前最早尝试接触的目标是ibm，ibm嫌太贵，放弃之后，被转手给了oracle。（Java学习交流QQ群： 我们一起学Java！）

）vert.x的作者tim fox在离开red hat之前曾经发过twitter抱怨，外人比如我们，猜测是因为red hat内部已经有了一个jboss，所以跟vert.x在应用上有了重叠，所以导致tim fox的出走，但是出走之后，red hat答应对vert.x做持续性的战略投入，所以vert.x core的几个developers，其实拿的是red hat的工资，但是vert.x的版权并不在red hat手里，而在eclipse foundation手里。

）vert.x的几个核心开发人员都是google summer of code的导师，每年年初时候会招收在校大学生搞项目。

）教育机构相关：scala的作者马丁是德国人，eth的博导，groovy的主要***是法国人，jruby背后是东京大学，jboss的作者是法国大学校x的校友，x就是伽罗瓦考不进去的那所大学，伽罗瓦进不了x，所以改读巴黎高师，tim fox毕业于帝国理工，主席去的那个，netty作者trustin lee是acm银牌，现在line工作，毕业于sky里面的延世大学，kotlin是毛子公司jetbrains的作品，看linkedin，很多人毕业自圣彼得堡大学，spring作者rod johnson是悉尼大学的音乐博士，hibernate作者gavin king是澳洲莫那什大学的数学本科毕业生，james gosling这种cmu和calgory的估计烂大街了，sun是斯坦福大学网络的意思，夹带两个私货，aspectj有一个维护小组在mcgill，hbase跟waterloo关系密切。

）java早期被人认为慢，跟java坚持不用硬件加速渲染有关，死活就是不肯接入directx和opengl，7之后总算开窍，搞了一个图形引擎接入了directx／opengl。

）casssandra是facebook做失败的项目，被贡献给了apache之后老树开花。

）groovy被贡献给了apache，现在叫做apache groovy，ceylon被贡献给了eclipse，现在叫做eclipse ceylon。

）netflix现在是java shop，之前是用.net的。

       先想到这么多，有空再写。

学大数据要掌握什么基础？大数据技术基础知识有哪些？

       想要投身大数据领域的小伙伴们，对于大数据技术需要掌握哪些基础知识感到困惑，需要明确学习方向。下面，我将为大家梳理一下大数据需要学习的内容。首先，学习大数据需要掌握的基础知识包括javaSE，EE(SSM)。%的大数据框架都是使用Java编写的。例如，MongoDB是最受欢迎的，跨平台的，面向文档的数据库；Hadoop是用Java编写的开源软件框架，用于分布式存储，并对非常大的数据集进行分布式处理；Spark是Apache Software Foundation中最活跃的项目，是一个开源集群计算框架；Hbase是开放源代码，非关系型，分布式数据库，采用Google的BigTable建模，用Java编写，并在HDFS上运行；MySQL是必须掌握的，SQLon Hadoop又分为batch SQL（Hive），interactive SQL，operation SQL。Linux操作系统也是程序员必须掌握的，大数据的框架安装在Linux操作系统上。

       大数据的系统学习资料已经为大家准备好了，从Linux-Hadoop-spark-......，需要的小伙伴可以点击进入。接下来，需要学习的内容包括大数据离线分析。处理T+1数据时，需要重点关注Hadoop（common、HDFS、MapReduce、YARN）。Hadoop的框架最核心的设计是HDFS和MapReduce。Hadoop主要是环境搭建和数据处理思想。Hadoop用Java编写的开源软件框架，用于分布式存储，并对非常大的数据集进行分布式处理。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。Hive（MPP架构）是大数据数据仓库，通过写SQL对数据进行操作，类似于mysql数据库中的sql。HBase是基于HDFS的NOSQL数据库，面向列的存储。列存储的思想是将元组垂直划分为列族集合，每一个列族独立存储，列族可以退化为只包含一个列的平凡列族。当查询少量列时，列存储模型可以极大的减少磁盘IO操作，提高查询性能。扩展前沿框架包括sqoop、RDBMS、flume、调度框架anzkaban、crontab、Kylin、Impala、ElasticSearch等。

年最新版大数据从入门到进阶路线图（建议收藏）

       大数据入门学习路线说明

       从基础篇、数据采集与存储、数据管理与查询、数据开发工具、数据计算、数据可视化和数据分析（Python与机器学习）多个方面入手，全面覆盖大数据全生命周期。本套资源适合想深入大数据行业的新人或有志深耕的伙伴，包含大数据基础、架构、数据仓库、数据治理、BAT案例、科研绘图工具、大厂面试题及答案、简历模板等。

       学习路线内容

       1.1 基础篇

       学习Linux基础、SQL基础、Java语言和Scala，推荐使用在线教程平台。

       1.2 数据采集与存储

       掌握Hadoop基础、Hive/Hbase数据存储原理、ETL数据采集流程。

       1.3 数据管理与查询

       学习数据仓库体系、数据治理体系、OLAP查询。

       1.4 大数据工具

       熟悉任务调度、平台运维、消息中间件、组件协调等工具。

       1.5 数据计算

       掌握数据统计、指标计算，重点是分布式计算引擎。

       1.6 数据可视化

       了解PowerBI、Superset、Tableau等报表工具。

       1.7 数据分析

       学习Python数据分析、机器学习基础，涵盖数据分析岗位核心技能。

       2 大数据岗位概览2.1 岗位说明

       岗位包括大数据开发工程师、大数据数仓工程师、数据分析师、数据治理/运维工程师，覆盖大数据企业开发岗位。

       2.2 岗位具体信息

       2.1 大数据开发工程师

       研发岗负责平台底层研发与源码二次开发；开发岗为业务指标和需求功能开发。

       2.2 大数据数仓工程师

       负责公司企业级数仓体系搭建与数据管理。

       2.3 数据分析师

       业务知识与技术结合，可分数据分析岗、BI岗与算法岗。

       2.4 数据治理/运维工程师

       搭建企业数据治理体系，确保数据运维工作。