1.hadoop å®è£
å
çåºå«ãå¨çº¿ç谢谢åä½ã
2.hadoop和hadoop有什么区别?
3.å¦ä½å¨ubuntuä¸å®è£
hadoop
hadoop å®è£ å çåºå«ãå¨çº¿ç谢谢åä½ã
hadoop-2.6.0-src.tar.gzæ¯æºç å缩æ件ãå¯ä»¥ç¨eclipseå¯¼å ¥ç 究æºç ï¼æè Mavenæ建ç¼è¯æå ã
hadoop-2.6.0.tar.gzæ¯å·²ç»å®æ¹åå¸çå缩å ï¼å¯ä»¥ç´æ¥ä½¿ç¨ãä¸è¿å®ç½ä¸è½½çhadoopåå¸çæ¬åªéåxç¯å¢ï¼è¥è¦xçåéè¦Mavenéæ°æ建ã
*.mds æ¯æè¿°æ件ï¼è®°å½å缩å çMD5ï¼SHA1çä¿¡æ¯ã
hadoop和hadoop有什么区别?
1、源码运行模式不同:单机模式是安装Hadoop的默认模式。这种模式在一台单机上运行,源码没有分布式文件系统,安装echop源码而是源码直接读写本地操作系统的文件系统。
伪分布模式这种模式也是安装在一台单机上运行,但用不同的源码Java进程模仿分布式运行中的各类结点。
2、安装配置不同:
单机模式(standalone)首次解压Hadoop的源码源码包时,Hadoop无法了解硬件安装环境,安装便保守地选择了最小配置。源码如何看懂opensees源码在这种默认模式下所有3个XML文件均为空。安装当配置文件为空时,源码Hadoop会完全运行在本地。安装
伪分布模式在“单节点集群”上运行Hadoop,源码其中所有的携程528 源码守护进程都运行在同一台机器上。
3、节点交互不同:
单机模式因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的金龙狂舞源码最新应用逻辑。
伪分布模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。
扩展资料:
核心架构:
1、源码工作台HDFS:
HDFS对外部客户机而言,HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。存储在 HDFS 中的文件被分成块,然后将这些块复制到多个计算机中(DataNode)。这与传统的 RAID 架构大不相同。块的大小和复制的块数量在创建文件时由客户机决定。
2、NameNode
NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到 DataNode 上的复制块上。
3、DataNode
DataNode 也是在 HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织,机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是:机架内部节点之间的传输速度快于机架间节点的传输速度。
百度百科-Hadoop
å¦ä½å¨ubuntuä¸å®è£ hadoop
1ãå建hadoop管çåå¸å·
ç´æ¥å¨ç»ç«¯æ§è¡å¦ä¸å½ä»¤è¡ï¼
1 sudo adduser hadoop
ç¶åè¦æ±ä½ 设置hadoopå¸æ·å¯ç ï¼è¿ä¸ªå½ä»¤æ¯æ·»å ä¸ä¸ªå为hadoopçæ åå¸æ·ï¼æ们éè¦çæ¯ç®¡çåå¸å·
å¯ä»¥ç´æ¥å¨å¾å½¢çé¢ä¸ä¿®æ¹hadoopæéï¼å°é¼ æ ç¹å»å³ä¸è§çä¸ä¸ªäººå¤´å¤ï¼æµ®ç°å表ï¼ç¹å»âç¨æ·è´¦æ·âï¼è§£éï¼ç¶åæ´æ¹ä¸ºç®¡çåæé
2ãå®è£ sshæå¡
sshå¯ä»¥å®ç°è¿ç¨ç»å½å管çï¼è¯¦ç»æ åµè¯·googleç¾åº¦
ubuntué»è®¤å¹¶æ²¡æå®è£ sshæå¡ï¼å¦æéè¿sshé¾æ¥ubuntuï¼éè¦èªå·±æå¨å®è£ ssh-serverãå½ä»¤è¡ï¼
1 sudo apt-get install ssh openssh-server
3ãsshæ å¯ç éªè¯ç»å½
å建ssh-keyï¼è¿éæ们éç¨rsaæ¹å¼ï¼å½ä»¤è¡å¦ä¸ï¼
1 ssh-keygen -t rsa -P ""
åºç°ä¸ä¸ªå¾å½¢ï¼åºç°çå¾å½¢å°±æ¯å¯ç ï¼ä¸ç¨ç®¡å®
1 cat ~/.ssh/id_rsa.pub >> authorized_keys
ç¶åå³å¯æ å¯ç éªè¯ç»å½äºï¼å¦ä¸ï¼
1 ssh localhost
éåºå½ä»¤è¡ä¸ºï¼
exit
4ã解åhadoopæºç å
ç»ç«¯ä¸è¿å ¥hadoopæºç å æå¨ç®å½ï¼ä½¿ç¨å¤å¶å½ä»¤æhadoopæºç å å¤å¶å°/home/hadoopä¸
1 cp hadoop-1.2.1.tar.gz /home/hadoop
ç¶å解å,å½ä»¤è¡å¦ä¸
tar -xzvf *.tag.gz
5ãé ç½®hadoopçhadoop/confä¸çhadoop-env.shï¼core-site.xmlï¼mapred-site.xmlï¼hdfs-site.xml
é ç½®hadoop-1.2.1/conf/hadoop-env.shï¼å½ä»¤è¡ï¼
1 gedit /home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh
ctrl + f æç´¢å°JAVA_HOME
æåé¢ç#å»æï¼å ä¸æ¬ç³»ç»jdkè·¯å¾ï¼ä¿åéåº
é ç½®hadoop-1.2.1/conf/core-site.xmlï¼å½ä»¤è¡ï¼
gedit /home/hadoop/hadoop-1.2.1/conf/core-site.xml
å¨hadoopæ°å»ºhadoop_tmpç®å½ï¼
å°å¦ä¸<configuration> </configuration>ä¹é´çæ·»å è¿å ¥ï¼ä¿åéåº
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.2.1/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
é ç½®hadoop-1.2.1/conf/mapre-site.xmlï¼å½ä»¤è¡ï¼
1 gedit /home/hadoop/hadoop-1.2.1/conf/mapre-site.xml.xml
å°å¦ä¸<configuration> </configuration>ä¹é´çæ·»å è¿å ¥ï¼ä¿åéåº
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:</value>
</property>
</configuration>
é ç½®hadoop-1.2.1/conf/hdfs-site.xmlï¼å½ä»¤è¡ï¼
1 gedit /home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml
å°å¦ä¸<configuration> </configuration>ä¹é´çæ·»å è¿å ¥ï¼ä¿åéåº
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
è³æ¤hadoopçå®è£ é 置已ç»å®æ¯ï¼ç¨åçæ¯hadoopçå次è¿è¡æä½
6ãæ ¼å¼åhdfsæ件系ç»
è¿å ¥hadoop-1.2.1
/bin/hadoop namenode -format
7ãå¯å¨hadoopæå¡
/bin/start-all.sh
åºç°å¦ä¸ç»é¢
jps
jpsæ¯æ¥çjavaèææºè¿è¡çjava线ç¨
ç¶ååºç°å¦ä¸ç»é¢
ä¸è®¡jpsï¼æäºä¸ªhadoopç¸å ³çº¿ç¨ï¼æåä½ ï¼hadoopå®è£ é ç½®æåï¼è¿è¡æ£å¸¸ã
ç¶åå¯ä»¥éåºhadoopãï¼ä»¥ååç¨æ¶åå¯å¨ï¼å¯¼å ¥æ°æ®