Hadoop集群搭建(-v1.2.1)
Hadoop集群搭建(-v1.2.1)
<p>@[hadoop]</p>1. 官网下载安装包(版本: 1.2.1)
2. 安装依赖
- Java 和 ssh
3. 解压安装包,添加HADOOP_HOME变量到/etc/profile
4. 搭建集群
- 机器规划(三台小集群)
主机名 | IP | Node | Tracker |
---|---|---|---|
master | 192.168.10.1 | NameNode | JobTracker |
slave1 | 192.168.10.1 | DateNode | TaskTracker |
slave2 | 192.168.10.2 | DateNode | TaskTracker |
slave3 | 192.168.10.3 | DateNode | TaskTracker |
在三台机器上创建相同的用户: hadoop
在三台机器上分别配置
/etc/hosts
192.168.10.1 master slave1
192.168.10.2 slave2
192.168.10.3 slave3在三台机器上建立ssh-key,并设置免密码登陆
$ ssh-keygen -t dsa $ cat ~/ssh/id_dsa.pub >> ~/ssh/authorized_keys
将
authorized_keys
文件内容复制到另外两台主机的~/ssh/authorized_keys
文件中将Hadoop安装包复制到三台机器中,修改Hadoop中的配置文件
- conf/Hadoop-env.sh
export JAVA_HOME=path-to-jdk
- conf/core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/tmp/hadoop</value> </property> </configuration>
- conf/hdfs-site.xml
<configuration> <property> <name>dfs.repliation</name> <value>3</value> <!--value的值跟slave数一致 --> </property> </configuration>
- conf/mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>hdfs://master:9001</value> </property> </configuration>
- conf/master
master
- conf/slave
slave1 slave2 slave3
- conf/Hadoop-env.sh
5. 启动Hadoop服务
$ bin/hadoop namenode -format #格式化hdfs $ bin/start-all.sh # 启动所有进程 查看集群状态: http://localhost:50030 # MapReduce的Web页面 http://localhost:50070 # HDFS的Web页面 或 $ hadoop dfsadmin -report
6. 停止Hadoop服务
bin/stop-all.sh
本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
转载本站原创文章,请注明出处,并保留原始链接、图片水印。
本站是一个以用户分享为主的开源技术平台,欢迎各类分享!