1.hadoop和hadoop有什么不同？
2.Hadoop最全八股
3.深入理解 Hadoop （七）YARN资源管理和调度详解
4.为什么Spark发展不如Hadoop
5.如何在MaxCompute上运行HadoopMR作业
6.10本大数据框架Hadoop学习书籍推荐

hadoop和hadoop有什么不同？

       1、源码运行模式不同：

       单机模式是源码Hadoop的默认模式。这种模式在一台单机上运行，源码没有分布式文件系统，源码而是源码直接读写本地操作系统的文件系统。

       伪分布模式这种模式也是源码香港燕窝饮品溯源码怎么扫在一台单机上运行，但用不同的源码Java进程模仿分布式运行中的各类结点。

       2、源码配置不同：

       单机模式（standalone）首次解压Hadoop的源码源码包时，Hadoop无法了解硬件安装环境，源码便保守地选择了最小配置。源码在这种默认模式下所有3个XML文件均为空。源码当配置文件为空时，源码Hadoop会完全运行在本地。源码

       伪分布模式在“单节点集群”上运行Hadoop，源码其中所有的守护进程都运行在同一台机器上。

       3、节点交互不同：

       单机模式因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

       伪分布模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。

扩展资料：

       核心架构:

       1、linux mixer源码HDFS：

       HDFS对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。存储在 HDFS 中的文件被分成块，然后将这些块复制到多个计算机中（DataNode）。这与传统的 RAID 架构大不相同。块的大小和复制的块数量在创建文件时由客户机决定。

       2、NameNode

       NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到 DataNode 上的复制块上。

       3、DataNode

       DataNode 也是在 HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。

       百度百科-Hadoop

Hadoop最全八股

       分布式系统基础架构，主要解决海量数据存储与分析计算问题。

       Hadoop特点：1.x版本MapReduce功能与资源调度耦合性较高，2.x版本引入Yarn，专责资源调度。手机输出源码

       Hadoop运行模式包括：HDFS客户端、NameNode（Master）、DataNode（Slave）和Secondary NameNode（备NN）。

       Block概念：磁盘读写最小单位，文件系统块为磁盘块整数倍，HDFS同样采用此概念，分解文件为块存储。

       HDFS组件详解：包括HDFS客户端、NameNode、DataNode和Secondary NameNode。

       HDFS的Block块大小默认在2.7.2版本前为M，版本2.7.3及以上调整为M。

       HDFS写流程：文件传输至NameNode，分配Block，DataNode存储Block。

       HDFS读流程：从DataNode读取Block，组装成文件。

       DN节点数据完整性：通过Secondary NameNode监控和备份。

       HDFS HA实现：集群同时运行两个NN，实时同步，故障切换。

       HDFS数据一致性：JN节点确保数据同步，避免脑裂。

       MapReduce区域：分布式运算框架，整合用户代码和默认组件，定位 商城 源码实现并行计算。

       MapReduce优缺点：高效并行处理数据，但复杂度高，资源管理复杂。

       MapReduce进程：包括InputFormat数据输入、切片与并行度机制、Job提交流程、源码详解、切片机制、FileInputFormat、CombineTextInputFormat。

       MapReduce工作流程：数据切片、Map处理、Shuffle、Reduce处理、数据输出。

       Shuffle机制：数据从MapTask传输至ReduceTask，包括分区、排序、合并。

       OutputFormat数据输出：默认格式TextOutputFormat，实现MapReduce输出。

       MapTask与ReduceTask：MapTask执行Map阶段，ReduceTask执行Reduce阶段。

       MapReduce数据倾斜：数据分布不均，jni 源码 getarray影响计算效率，解决方案包括数据均衡、调整切片策略等。

       Yarn区域：资源调度平台，为运算程序提供运算资源。

       Yarn组件：包含ResourceManager（RM）、NodeManager（NM）、ApplicationMaster和Container模块。

       Yarn工作机制：调度资源，运行MapReduce等运算程序。

       Yarn调度器：FIFO、容量（Capacity Scheduler）、公平（Fair Scheduler），默认设置。

       Yarn生产环境核心参数：监控与日志聚合，确保系统高效稳定运行。

       总结：Hadoop与Yarn是大数据处理的核心技术，涉及分布式存储、计算、资源调度等关键环节，通过优化配置与策略，可实现高效、稳定的数据处理能力。

深入理解 Hadoop （七）YARN资源管理和调度详解

       Hadoop最初为批处理设计，其资源管理与调度仅支持FIFO机制。然而，随着Hadoop的普及与用户量的增加，单个集群内的应用程序类型与数量激增，FIFO调度机制难以高效利用资源，也无法满足不同应用的服务质量需求，故需设计适用于多用户的资源调度系统。

       YARN采用双层资源调度模型：ResourceManager中的资源调度器分配资源给ApplicationMaster，由YARN决定；ApplicationMaster再将资源分配给内部任务Task，用户自定。YARN作为统一调度系统，满足调度规范的分布式应用皆可在其中运行，调度规范包括定义ApplicationMaster向RM申请资源，AM自行完成Container至Task分配。YARN采用拉模型实现异步资源分配，RM分配资源后暂存缓冲区，等待AM通过心跳获取。

       Hadoop-2.x版本中YARN提供三种资源调度器，分别为...

       YARN的队列管理机制包括用户权限管理与系统资源管理两部分。CapacityScheduler的核心特点包括...

       YARN的更多理解请参考官方文档：...

       在分布式资源调度系统中，资源分配保证机制常见有...

       YARN采用增量资源分配，避免浪费但不会出现资源饿死现象。YARN默认资源分配算法为DefaultResourceCalculator，专注于内存调度。DRF算法将最大最小公平算法应用于主资源上，解决多维资源调度问题。实例分析中，系统中有9个CPU和GB RAM，两个用户分别运行两种任务，所需资源分别为...

       资源抢占模型允许每个队列设定最小与最大资源量，以确保资源紧缺与极端情况下的需求。资源调度器在负载轻队列空闲时会暂时分配资源给负载重队列，仅在队列突然收到新提交应用程序时，调度器将资源归还给该队列，避免长时间等待。

       YARN最初采用平级队列资源管理，新版本改用层级队列管理，优点包括...

       CapacityScheduler配置文件capacity-scheduler.xml包含资源最低保证、使用上限与用户资源限制等参数。管理员修改配置文件后需运行"yarn rmadmin -refreshQueues"。

       ResourceScheduler作为ResourceManager中的关键组件，负责资源管理和调度，采用可插拔策略设计。初始化、接收应用和资源调度等关键功能实现，RM收到NodeManager心跳信息后，向CapacityScheduler发送事件，调度器执行一系列操作。

       CapacityScheduler源码解读涉及树型结构与深度优先遍历算法，以保证队列优先级。其核心方法包括...

       在资源分配逻辑中，用户提交应用后，AM申请资源，资源表示为Container，包含优先级、资源量、容器数目等信息。YARN采用三级资源分配策略，按队列、应用与容器顺序分配空闲资源。

       对比FairScheduler，二者均以队列为单位划分资源，支持资源最低保证、上限与用户限制。最大最小公平算法用于资源分配，确保资源公平性。

       最大最小公平算法分配示意图展示了资源分配过程与公平性保证。

为什么Spark发展不如Hadoop

       Spark是一个基于RAM计算的开源码ComputerCluster运算系统，目的是更快速地进行数据分析。Spark早期的核心部分代码只有3万行。Spark提供了与HadoopMap/Reduce相似的分散式运算框架，但基于RAM和优化设计，因此在交换式数据分析和datamining的Workload中表现不错。

       è¿›å…¥å¹´ä»¥åŽï¼ŒSpark开源码生态系统大幅增长，已成为大数据范畴最活跃的开源码项目之一。Spark之所以有如此多的关注，原因主要是因为Spark具有的高性能、高灵活性、与Hadoop生态系统完美融合等三方面的特点。

       é¦–先，Spark对分散的数据集进行抽样，创新地提出RDD(ResilientDistributedDataset)的概念，所有的统计分析任务被翻译成对RDD的基本操作组成的有向无环图(DAG)。RDD可以被驻留在RAM中，往后的任务可以直接读取RAM中的数据;同时分析DAG中任务之间的依赖性可以把相邻的任务合并，从而减少了大量不准确的结果输出，极大减少了HarddiskI/O，使复杂数据分析任务更高效。从这个推算，如果任务够复杂，Spark比Map/Reduce快一到两倍。

       å…¶æ¬¡ï¼ŒSpark是一个灵活的运算框架，适合做批次处理、工作流、交互式分析、流量处理等不同类型的应用，因此Spark也可以成为一个用途广泛的运算引擎，并在未来取代Map/Reduce的地位。

       æœ€åŽï¼ŒSpark可以与Hadoop生态系统的很多组件互相操作。Spark可以运行在新一代资源管理框架YARN上，它还可以读取已有并存放在Hadoop上的数据，这是个非常大的优势。

       è™½ç„¶Spark具有以上三大优点，但从目前Spark的发展和应用现状来看，Spark本身也存在很多缺陷，主要包括以下几个方面：

       â€“稳定性方面，由于代码质量问题，Spark长时间运行会经常出错，在架构方面，由于大量数据被缓存在RAM中，Java回收垃圾缓慢的情况严重，导致Spark性能不稳定，在复杂场景中SQL的性能甚至不如现有的Map/Reduce。

       â€“不能处理大数据，单独机器处理数据过大，或者由于数据出现问题导致中间结果超过RAM的大小时，常常出现RAM空间不足或无法得出结果。然而，Map/Reduce运算框架可以处理大数据，在这方面，Spark不如Map/Reduce运算框架有效。

       â€“不能支持复杂的SQL统计;目前Spark支持的SQL语法完整程度还不能应用在复杂数据分析中。在可管理性方面，SparkYARN的结合不完善，这就为使用过程中埋下隐忧，容易出现各种难题。

       è™½ç„¶Spark活跃在Cloudera、MapR、Hortonworks等众多知名大数据公司，但是如果Spark本身的缺陷得不到及时处理，将会严重影响Spark的普及和发展。

如何在MaxCompute上运行HadoopMR作业

       MaxCompute（原ODPS）有一套自己的MapReduce编程模型和接口，简单说来，这套接口的输入输出都是MaxCompute中的Table，处理的数据是以Record为组织形式的，它可以很好地描述Table中的数据处理过程，然而与社区的Hadoop相比，编程接口差异较大。Hadoop用户如果要将原来的Hadoop MR作业迁移到MaxCompute的MR执行，需要重写MR的代码，使用MaxCompute的接口进行编译和调试，运行正常后再打成一个Jar包才能放到MaxCompute的平台来运行。这个过程十分繁琐，需要耗费很多的开发和测试人力。如果能够完全不改或者少量地修改原来的Hadoop MR代码就能在MaxCompute平台上跑起来，将是一个比较理想的方式。

       çŽ°åœ¨MaxCompute平台提供了一个HadoopMR到MaxCompute MR的适配工具，已经在一定程度上实现了Hadoop MR作业的二进制级别的兼容，即用户可以在不改代码的情况下通过指定一些配置，就能将原来在Hadoop上运行的MR jar包拿过来直接跑在MaxCompute上。目前该插件处于测试阶段，暂时还不能支持用户自定义comparator和自定义key类型，下面将以WordCount程序为例，介绍一下这个插件的基本使用方式。

       ä½¿ç”¨è¯¥æ’件在MaxCompute平台跑一个HadoopMR作业的基本步骤如下：

       1. 下载HadoopMR的插件

       ä¸‹è½½æ’件，包名为hadoop2openmr-1.0.jar，注意，这个jar里面已经包含hadoop-2.7.2版本的相关依赖，在作业的jar包中请不要携带hadoop的依赖，避免版本冲突。

       2. 准备好HadoopMR的程序jar包

       ç¼–译导出WordCount的jar包：wordcount_test.jar ，wordcount程序的源码如下:

       package com.aliyun.odps.mapred.example.hadoop;

       import org.apache.hadoop.conf.Configuration;

       import org.apache.hadoop.fs.Path;

       import org.apache.hadoop.io.IntWritable;

       import org.apache.hadoop.io.Text;

       import org.apache.hadoop.mapreduce.Job;

       import org.apache.hadoop.mapreduce.Mapper;

       import org.apache.hadoop.mapreduce.Reducer;

       import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

       import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

       import java.io.IOException;

       import java.util.StringTokenizer;

       public class WordCount {

       public static class TokenizerMapper

       extends Mapper<Object, Text, Text, IntWritable>{

       private final static IntWritable one = new IntWritable(1);

       private Text word = new Text();

       public void map(Object key, Text value, Context context

       ) throws IOException, InterruptedException {

       StringTokenizer itr = new StringTokenizer(value.toString());

       while (itr.hasMoreTokens()) {

       word.set(itr.nextToken());

       context.write(word, one);

       }

       }

       }

       public static class IntSumReducer

       extends Reducer<Text,IntWritable,Text,IntWritable> {

       private IntWritable result = new IntWritable();

       public void reduce(Text key, Iterable<IntWritable> values,

       Context context

       ) throws IOException, InterruptedException {

       int sum = 0;

       for (IntWritable val : values) {

       sum += val.get();

       }

       result.set(sum);

       context.write(key, result);

       }

       }

       public static void main(String[] args) throws Exception {

       Configuration conf = new Configuration();

       Job job = Job.getInstance(conf, "word count");

       job.setJarByClass(WordCount.class);

       job.setMapperClass(TokenizerMapper.class);

       job.setCombinerClass(IntSumReducer.class);

       job.setReducerClass(IntSumReducer.class);

       job.setOutputKeyClass(Text.class);

       job.setOutputValueClass(IntWritable.class);

       FileInputFormat.addInputPath(job, new Path(args[0]));

       FileOutputFormat.setOutputPath(job, new Path(args[1]));

       System.exit(job.waitForCompletion(true) ? 0 : 1);

       }

       }

       3. 测试数据准备

       åˆ›å»ºè¾“入表和输出表

       create table if not exists wc_in(line string);

       create table if not exists wc_out(key string, cnt bigint);

       é€šè¿‡tunnel将数据导入输入表中

       å¾…导入文本文件data.txt的数据内容如下：

       hello maxcompute

       hello mapreduce

       ä¾‹å¦‚可以通过如下命令将data.txt的数据导入wc_in中，

       tunnel upload data.txt wc_in;

       4. 准备好表与hdfs文件路径的映射关系配置

       é…ç½®æ–‡ä»¶å‘½åä¸ºï¼šwordcount-table-res.conf

       {

       "file:/foo": {

       "resolver": {

       "resolver": "c.TextFileResolver",

       "properties": {

       "text.resolver.columns.combine.enable": "true",

       "text.resolver.seperator": "\t"

       }

       },

       "tableInfos": [

       {

       "tblName": "wc_in",

       "partSpec": { },

       "label": "__default__"

       }

       ],

       "matchMode": "exact"

       },

       "file:/bar": {

       "resolver": {

       "resolver": "openmr.resolver.BinaryFileResolver",

       "properties": {

       "binary.resolver.input.key.class" : "org.apache.hadoop.io.Text",

       "binary.resolver.input.value.class" : "org.apache.hadoop.io.LongWritable"

       }

       },

       "tableInfos": [

       {

       "tblName": "wc_out",

       "partSpec": { },

       "label": "__default__"

       }

       ],

       "matchMode": "fuzzy"

       }

       }

本大数据框架Hadoop学习书籍推荐

       Hadoop，一个用Java编写的Apache开源框架，旨在分布式处理大型数据集。它简化了编程模型，让用户在无需了解分布式底层细节的情况下开发分布式程序。Hadoop成为大数据处理平台的首选，广泛应用于各种生产环境。以下是本关于Hadoop学习的推荐书籍，涵盖了从入门到深入的各个方面。

       《Hadoop权威指南》

       本书结合理论与实践，由浅入深地介绍了Hadoop这一高性能的海量数据处理和分析平台。读者能探索如何利用Hadoop分析大量数据集，以及如何安装和运行Hadoop集群。

       《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》

       本书从源代码的角度对MapReduce的架构设计与实现原理进行了详细的解析。适合Hadoop的二次开发人员、应用开发工程师和运维工程师阅读。

       《Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理》

       本书同样以源代码为基础，深入剖析了Common和HDFS的架构设计与实现原理，适合相关领域专业人士阅读。

       《Hadoop技术内幕：深入解析YARN架构设计与实现原理》

       本书系统讲解了YARN的基本库和组件用法、应用程序设计方法、以及YARN上流行的计算框架。适合对YARN有深入研究的读者。

       《深入理解Hadoop》

       作者基于实践经验，深入浅出地讲解了Hadoop框架，包含大量实例和技巧，帮助开发者快速掌握分布式系统。

       《Hadoop 2.X HDFS源码剖析》

       本书基于Hadoop 2.6.0源码，详细剖析了HDFS 2.X中各个模块的实现细节，适合从架构设计和源码实现角度了解HDFS的读者。

       《Hadoop实战》

       本书深入浅出地介绍了Hadoop框架和编写数据处理程序所需的实践技能，适合需要处理大量离线数据的云计算程序员、架构师和项目经理。

       《Hadoop海量数据处理：技术详解与项目实战》

       本书从理论到实践，适合Hadoop初学者，也可作为高等院校相关课程的参考教材。

       《Hadoop基础教程》

       本书着重讲解了如何搭建Hadoop工作系统并完成任务，适合对Hadoop有初步了解的读者。

       《Hadoop构建数据仓库实践》

       本书适合数据库管理员、大数据技术人员、Hadoop技术人员和数据仓库技术人员，也是高等院校相关专业的教学参考。

       《Hadoop应用架构》

       本书提供了专业的架构指导，适用于设计Hadoop应用或集成Hadoop到现有数据基础架构的读者。

       《Hadoop技术详解》

       本书全面介绍Hadoop的各项操作，从设计到安装和设置，帮助读者构建稳定可靠的系统。适合希望深入理解Hadoop工作原理的开发者。