| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
jopen
11年前发布

Hadoop入门之Hadoop中的HelloWorld程序

初步接触Hadoop,必不可少的就是运行属于Hadoop的Helloworld程序——wordcount,其实,安装好的Hadoop集群上已有相应的程序,但是我想在window平台,eclipse上执行。

在linux平台上执行wordcount,有官方示例,相应的jar包放在hadoop-2.0.0-cdh4.5.0\share\hadoop\mapreduce1下的hadoop-examples-2.0.0-mr1-cdh4.5.0.jar(注:本人用的是CDH4.5.0版本),我们首先需要准备好数据:

echo "Hello World Hello Hadoop" > 1.txt  echo "Hello Hadoop Bye  " >2.txt

 

然后把数据put到HDFS里:

hadoop fs -mkdir /input  hadoop fs -put /root/1.txt /input  hadoop fs -put /root/2.txt /input

再然后进入到jar所在的目录里“

cd hadoop-2.0.0-cdh4.5.0\share\hadoop\mapreduce1

执行命令:

hadoop jar hadoop-mapreduce-examples-2.0.0-cdh4.5.0.jar WordCount /input /output

其中,/output是执行结果输出目录。

到此,HelloWorld就顺利执行了,你可以用hadoop fs -cat  /output/part 命令来查看结果.

接下来,我们在看看在window上的eclipse如何执行。

首先贴出代码:

public class WordCount {      // mapper      public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {          private static IntWritable one = new IntWritable(1);            private Text word = new Text();            @Override          public void map(LongWritable key, Text value, Context context) throws IOException,                  InterruptedException {              String line = value.toString();              StringTokenizer token = new StringTokenizer(line);              while (token.hasMoreElements()) {                  word.set(token.nextToken());                  context.write(word, one);              }            };      }        // reduce      public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {          protected void reduce(Text key, Iterable<IntWritable> values, Context context)                  throws IOException, InterruptedException {              int sum = 0;              for (IntWritable value : values) {                  sum += value.get();              }              context.write(key, new IntWritable(sum));          };      }        public static void main(String[] args) throws Exception {            Configuration conf = new Configuration();          System.setProperty("HADOOP_USER_NAME", "root");//这句话很重要,要不然会告你没有权限执行          Job job = new Job(conf);                    String[] ioArgs = new String[] { "hdfs://192.168.1.101:7001/input",                  "hdfs://192.168.1.101:7001/output" };          String[] otherArgs = new GenericOptionsParser(conf, ioArgs).getRemainingArgs();            job.setJarByClass(WordCount.class);            FileInputFormat.addInputPath(job, new Path(otherArgs[0]));          FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));            job.setMapperClass(Map.class);          job.setReducerClass(Reduce.class);          job.setOutputKeyClass(Text.class);          job.setOutputValueClass(IntWritable.class);            System.exit(job.waitForCompletion(true) ? 0 : 1);        }  }

然后在eclipse上点执行即可,在执行时可能发现jvm内存不够,添加-Xmx1024M参数执行即可。

来自:http://my.oschina.net/savez/blog/203542

 本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1393488476865.html
Hadoop 分布式/云计算/大数据