| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
jopen
9年前发布

Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作等

HadoopDemo

Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用等


运行环境:

java 1.8
hadoop1.1.2
zookeeper3.4.5
采用伪分布模式下eclipse工具进行开发的java project。


org.conan.myhadoop.hdfs

该包下是HDFS类的基本操作。包括文件的创建,复制,删除, 查看数据,文件重命名,从hdfs下载文件到本地系统等
请参考我的博客:Hadoop-利用java API操作HDFS文件


org.conan.myhadoop.mr

该包下是一个单词统计的MapReduce任务类。
完成对文件中单词的统计。
请参看我的博客:Hadoop-MapReduce初步应用-统计单词个数


org.conan.myhadoop.mr.kpi

该包下是一个web日志的分析的四个MapReduce任务类。
完成对一天中粉丝日志网站的web日志的分析。包括独立IP统计、资源访问次数统计、每小时访问量统计、客户端类型统计。
请参看我的博客:Hadoop-web日志信息挖掘MapReduce简单应用


org.conan.myzk

该包下是对zookeeper工具的简单使用。
需要安装zookeeper。代码中使用的是zookeeper3.4.5版本。
请查看我的博客:Zookeeper命令行以及java API简单使用


source目录

source目录内是项目中使用到的资源文件


最后感谢代码原创作者@bsspirit。
原项目地址:请点击这里
原项目采用eclipse+Maven构建的。我在原有基础上没有使用Maven。使用eclipse构建。

提示:

各位在学习代码时,需要把代码中相关的配置信息改成自己对应的配置信息。例如主机地址、端口号等。

项目主页:http://www.open-open.com/lib/view/home/1449196403202

 本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1449196403202.html
Hadoop 分布式/云计算/大数据