| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
jopen
10年前发布

Hadoop集群搭建(-v1.2.1)

Hadoop集群搭建(-v1.2.1)

<p>@[hadoop]</p>

1. 官网下载安装包(版本: 1.2.1)
2. 安装依赖

  • Java 和 ssh

3. 解压安装包,添加HADOOP_HOME变量到/etc/profile
4. 搭建集群

  1. 机器规划(三台小集群)
主机名 IP Node Tracker
master 192.168.10.1 NameNode JobTracker
slave1 192.168.10.1 DateNode TaskTracker
slave2 192.168.10.2 DateNode TaskTracker
slave3 192.168.10.3 DateNode TaskTracker
  1. 在三台机器上创建相同的用户: hadoop

  2. 在三台机器上分别配置/etc/hosts

    192.168.10.1 master slave1
    192.168.10.2 slave2
    192.168.10.3 slave3

  3. 在三台机器上建立ssh-key,并设置免密码登陆

    $ ssh-keygen -t dsa  $ cat ~/ssh/id_dsa.pub >> ~/ssh/authorized_keys

    authorized_keys文件内容复制到另外两台主机的~/ssh/authorized_keys文件中

  4. 将Hadoop安装包复制到三台机器中,修改Hadoop中的配置文件

    • conf/Hadoop-env.sh
      export JAVA_HOME=path-to-jdk
    • conf/core-site.xml
      <configuration>  <property>  <name>fs.default.name</name>  <value>hdfs://master:9000</value>  </property>  <property>  <name>hadoop.tmp.dir</name>  <value>/var/tmp/hadoop</value>  </property>  </configuration>
    • conf/hdfs-site.xml
      <configuration>  <property>  <name>dfs.repliation</name>  <value>3</value>  <!--value的值跟slave数一致 -->  </property>  </configuration>
    • conf/mapred-site.xml
      <configuration>  <property>  <name>mapred.job.tracker</name>  <value>hdfs://master:9001</value>  </property>  </configuration>
    • conf/master
      master
    • conf/slave
      slave1  slave2  slave3

5. 启动Hadoop服务

$ bin/hadoop namenode -format  #格式化hdfs  $ bin/start-all.sh  # 启动所有进程  查看集群状态:  http://localhost:50030  # MapReduce的Web页面  http://localhost:50070  # HDFS的Web页面  或  $ hadoop dfsadmin -report

6. 停止Hadoop服务
bin/stop-all.sh

 本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1411613091375.html
Hadoop 分布式/云计算/大数据