【红花郎溯源码】【神器指标源码】【f棋牌源码】eclipse查看hadoop源码_eclipse中hadoop

2024-12-23 02:14:43 来源:asp动漫源码 分类:探索

1.如何在win7下的eclipse中调试Hadoop2.2.0的程序
2.eclipse安装hadoop插件时没有DFS locations图标,有map/reduce location窗口,但是不能配置,

eclipse查看hadoop源码_eclipse中hadoop

如何在win7下的eclipse中调试Hadoop2.2.0的程序

       åœ¨ä¸Šä¸€ç¯‡åšæ–‡ä¸­ï¼Œæ•£ä»™å·²ç»è®²äº†Hadoop的单机伪分布的部署,本篇,散仙就说下,如何eclipse中调试hadoop2.2.0,红花郎溯源码如果你使用的还是hadoop1.x的版本,那么,也没事,散仙在以前的博客里,也写过eclipse调试1.x的hadoop程序,两者最大的不同之处在于使用的eclipse插件不同,hadoop2.x与hadoop1.x的API,不太一致,所以插件也不一样,我们只需要使用分别对应的插件即可. 

       ä¸‹é¢å¼€å§‹è¿›å…¥æ­£é¢˜: 

       åºå·    åç§°    æè¿°    

       1    eclipse    Juno Service Release 4.2的本    

       2    æ“ä½œç³»ç»Ÿ    Windows7    

       3    hadoop的eclipse插件    hadoop-eclipse-plugin-2.2.0.jar    

       4    hadoop的集群环境    è™šæ‹ŸæœºLinux的Centos6.5单机伪分布式    

       5    è°ƒè¯•ç¨‹åº    Hellow World    

       é‡åˆ°çš„几个问题如下: 

       Java代码  

       java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.    

       è§£å†³åŠžæ³•: 

       åœ¨org.apache.hadoop.util.Shell类的checkHadoopHome()方法的返回值里写固定的 

       æœ¬æœºhadoop的路径,散仙在这里更改如下: 

       Java代码  

       private static String checkHadoopHome() {   

       // first check the Dflag hadoop.home.dir with JVM scope  

       //System.setProperty("hadoop.home.dir", "...");  

       String home = System.getProperty("hadoop.home.dir");  

       // fall back to the system/user-global env variable  

       if (home == null) {   

       home = System.getenv("HADOOP_HOME");  

       }  

       try {   

       // couldn't find either setting for hadoop's home directory  

       if (home == null) {   

       throw new IOException("HADOOP_HOME or hadoop.home.dir are not set.");  

       }  

       if (home.startsWith("\"") && home.endsWith("\"")) {   

       home = home.substring(1, home.length()-1);  

       }  

       // check that the home setting is actually a directory that exists  

       File homedir = new File(home);  

       if (!homedir.isAbsolute() || !homedir.exists() || !homedir.isDirectory()) {   

       throw new IOException("Hadoop home directory " + homedir  

       + " does not exist, is not a directory, or is not an absolute path.");  

       }  

       home = homedir.getCanonicalPath();  

       } catch (IOException ioe) {   

       if (LOG.isDebugEnabled()) {   

       LOG.debug("Failed to detect a valid hadoop home directory", ioe);  

       }  

       home = null;  

       }  

       //固定本机的hadoop地址  

       home="D:\\hadoop-2.2.0";  

       return home;  

       }  

       ç¬¬äºŒä¸ªå¼‚常,Could not locate executable D:\Hadoop\tar\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries.  找不到win上的执行程序,可以去下载bin包,覆盖本机的hadoop跟目录下的bin包即可 

       ç¬¬ä¸‰ä¸ªå¼‚常: 

       Java代码  

       Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://...:/user/hmail/output/part-, expected: file:///   

       at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:)   

       at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:)   

       at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:)   

       at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:)   

       at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:)   

       at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:)   

       at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:)   

       at com.netease.hadoop.HDFSCatWithAPI.main(HDFSCatWithAPI.java:)   

       å‡ºçŽ°è¿™ä¸ªå¼‚常,一般是HDFS的路径写的有问题,解决办法,拷贝集群上的core-site.xml和hdfs-site.xml文件,放在eclipse的src根目录下即可。 

       ç¬¬å››ä¸ªå¼‚常: 

       Java代码  

       Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z    

       å‡ºçŽ°è¿™ä¸ªå¼‚常,一般是由于HADOOP_HOME的环境变量配置的有问题,在这里散仙特别说明一下,如果想在Win上的eclipse中成功调试Hadoop2.2,就需要在本机的环境变量上,添加如下的环境变量: 

       ï¼ˆ1)在系统变量中,新建HADOOP_HOME变量,属性值为D:\hadoop-2.2.0.也就是本机对应的hadoop目录 

       (2)在系统变量的Path里,追加%HADOOP_HOME%/bin即可 

       ä»¥ä¸Šçš„问题,是散仙在测试遇到的,经过对症下药,我们的eclipse终于可以成功的调试MR程序了,散仙这里的Hellow World源码如下: 

       Java代码  

       package com.qin.wordcount;  

       import java.io.IOException;  

       import org.apache.hadoop.fs.FileSystem;  

       import org.apache.hadoop.fs.Path;  

       import org.apache.hadoop.io.IntWritable;  

       import org.apache.hadoop.io.LongWritable;  

       import org.apache.hadoop.io.Text;  

       import org.apache.hadoop.mapred.JobConf;  

       import org.apache.hadoop.mapreduce.Job;  

       import org.apache.hadoop.mapreduce.Mapper;  

       import org.apache.hadoop.mapreduce.Reducer;  

       import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  

       import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  

       import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  

       import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;  

       /*** 

       *  

       * Hadoop2.2.0测试 

       * æ”¾WordCount的例子 

       *  

       * @author qindongliang 

       *  

       * hadoop技术交流群:   

       *  

       *  

       * */  

       public class MyWordCount {   

       /** 

       * Mapper 

       *  

       * **/  

       private static class WMapper extends Mapper<LongWritable, Text, Text, IntWritable>{   

       private IntWritable count=new IntWritable(1);  

       private Text text=new Text();  

       @Override  

       protected void map(LongWritable key, Text value,Context context)  

       throws IOException, InterruptedException {   

       String values[]=value.toString().split("#");  

       //System.out.println(values[0]+"========"+values[1]);  

       count.set(Integer.parseInt(values[1]));  

       text.set(values[0]);  

       context.write(text,count);  

       }  

       }  

       /** 

       * Reducer 

       *  

       * **/  

       private static class WReducer extends Reducer<Text, IntWritable, Text, Text>{   

       private Text t=new Text();  

       @Override  

       protected void reduce(Text key, Iterable<IntWritable> value,Context context)  

       throws IOException, InterruptedException {   

       int count=0;  

       for(IntWritable i:value){   

       count+=i.get();  

       }  

       t.set(count+"");  

       context.write(key,t);  

       }  

       }  

       /** 

       * æ”¹åŠ¨ä¸€ 

       * (1)shell源码里添加checkHadoopHome的路径 

       * (2)行,FileUtils里面 

       * **/  

       public static void main(String[] args) throws Exception{   

       //      String path1=System.getenv("HADOOP_HOME");  

       //      System.out.println(path1);  

       //      System.exit(0);  

       JobConf conf=new JobConf(MyWordCount.class);  

       //Configuration conf=new Configuration();  

       //conf.set("mapred.job.tracker","...:");  

       //读取person中的数据字段  

       // conf.setJar("tt.jar");  

       //注意这行代码放在最前面,进行初始化,否则会报  

       /**Job任务**/  

       Job job=new Job(conf, "testwordcount");  

       job.setJarByClass(MyWordCount.class);  

       System.out.println("模式:  "+conf.get("mapred.job.tracker"));;  

       // job.setCombinerClass(PCombine.class);  

       // job.setNumReduceTasks(3);//设置为3  

       job.setMapperClass(WMapper.class);  

       job.setReducerClass(WReducer.class);  

       job.setInputFormatClass(TextInputFormat.class);  

       job.setOutputFormatClass(TextOutputFormat.class);  

       job.setMapOutputKeyClass(Text.class);  

       job.setMapOutputValueClass(IntWritable.class);  

       job.setOutputKeyClass(Text.class);  

       job.setOutputValueClass(Text.class);  

       String path="hdfs://...:/qin/output";  

       FileSystem fs=FileSystem.get(conf);  

       Path p=new Path(path);  

       if(fs.exists(p)){   

       fs.delete(p, true);  

       System.out.println("输出路径存在,已删除!");  

       }  

       FileInputFormat.setInputPaths(job, "hdfs://...:/qin/input");  

       FileOutputFormat.setOutputPath(job,p );  

       System.exit(job.waitForCompletion(true) ? 0 : 1);    

       }  

       }  

       æŽ§åˆ¶å°ï¼Œæ‰“印日志如下: 

       Java代码  

       INFO - Configuration.warnOnceIfDeprecated() | mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address  

       æ¨¡å¼ï¼š  local  

       è¾“出路径存在,已删除!  

       INFO - Configuration.warnOnceIfDeprecated() | session.id is deprecated. Instead, use dfs.metrics.session-id  

       INFO - JvmMetrics.init() | Initializing JVM Metrics with processName=JobTracker, sessionId=  

       WARN - JobSubmitter.copyAndConfigureFiles() | Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.  

       WARN - JobSubmitter.copyAndConfigureFiles() | No job jar file set.  User classes may not be found. See Job or Job#setJar(String).  

       INFO - FileInputFormat.listStatus() | Total input paths to process : 1  

       INFO - JobSubmitter.submitJobInternal() | number of splits:1  

       INFO - Configuration.warnOnceIfDeprecated() | user.name is deprecated. Instead, use mapreduce.job.user.name  

       INFO - Configuration.warnOnceIfDeprecated() | mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.value.class  

       INFO - Configuration.warnOnceIfDeprecated() | mapred.mapoutput.value.class is deprecated. Instead, use mapreduce.map.output.value.class  

       INFO - Configuration.warnOnceIfDeprecated() | mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class  

       INFO - C

eclipse安装hadoop插件时没有DFS locations图标,有map/reduce location窗口,但是神器指标源码不能配置,

       产生这个错误信息,是由于之前已经添加过该插件,然后被自动保存在Eclipse中了,解决方法如下:

       1、首先重启Eclipse,在Windows|Preferences目录下,会多出Hadoop Map/Reduce选项。f棋牌源码

       2、在Eclipse中,选择Window|Preferences选择“Hadoop Map/Reduce”,php 考试 源码点击Browse,选择Hadoop文件夹的路径。

       3、棋牌赌博源码点击OK后,出现Map/Reduce Locations选项卡。

       4、出现Map/Reduce Locations选项卡,如下图所示。

       5、最后就可以在Project Explorer中展开DFS的目录查看了,如图所示。

更多资讯请点击:探索

热门资讯

icaller 源码

2024-12-23 02:02621人浏览

powermill源码

2024-12-23 01:211202人浏览

qrmaker源码

2024-12-23 00:372440人浏览

oneko源码

2024-12-23 00:232768人浏览

推荐资讯

福建加强不合格食品生产企业监管开展抽检核查处置技术帮扶

中国消费者报福州讯记者张文章)为有效解决抽检不合格食品生产企业存在的风险隐患,督促主体责任全面落实,今年以来,福建省市场监管部门针对食品安全抽检监测发现不合格的食品企业,在按照“四个最严”要求依法处置

kfree 源码

1.字符设备中的几个函数分析2.用C语言写的计算器源代码3.十大程序编译器?字符设备中的几个函数分析 1.在内核中, dev_t 类型(在 <linux/ty