新版本日志系统预计存储在TB级别，并且需要统计分析一些数据（离线统计，非即时），所以选择廉价linux服务器搭建一个hadoop集群，1个namenode，1个resourcemanager(mapreduce新框架yarn，去掉了原来的 jobtracker和tasktracker，取而代之的是ResourceManager, ApplicationMaster 与 NodeManager)，3个datanonde。

1.配置hosts

各linux版本hosts文件位置可能不同，我的是在 /etc/hosts，在master上编辑之：

172.17.0.1    master

172.17.0.2    resorucemanager

172.17.0.3    datanode1

172.17.0.4    datanode2

172.17.0.5    datanode3

然后copy到其余四台服务器，然后分别执行 /bin/hostsname hostsname

例如：master上执行 /bin/hostsname master，使之生效。

2.配置ssh

a.创建hadoop用户

注意：hadoop有两种运行模式，安全模式和非安全模式。安装模式是以指定在健壮的，基于身份验证上运行的，如果无需运行在非安全模式下，可以直接使用root用户。

安全模式下要确保hdfs和yarn以不同的用户身份运行，如hdfs和yarn，还有确保mapreduce jobhistory server以user mapred运行。推荐这三个身份使用一个组名为hadoop

用户：组	运行进程
hdfs:hadoop	NameNode, Secondary NameNode, Checkpoint Node, Backup Node, DataNode
yarn:hadoop	ResourceManager, NodeManager
mapred:hadoop	MapReduce JobHistory Server

首先在master主机上创建用户hdfs，执行操作：

groupadd hadoop

useradd -g hadoop hdfs

然后在其余四台服务器上创建用户yarn，执行操作：

groupadd hadoop

useradd -g hadoop yarn

最后在MapReduce JobHistory服务器上（我的为resourcemanager）创建用户mapred

groupadd hadoop

useradd -g hadoop mapred

b. 配置master无密码ssh各服务器

在master执行操作：

su hdfs

ssh-keygen -t rsa，然后一直回车

在/home/hdfs/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub

cat id_rsa.pub > ./authorized_keys

然后复制到其他服务器（若没有.ssh文件夹需要自行创建）

scp authorized_keys yarn@resourcemanager:/home/yarn/.ssh/

scp authorized_keys mapred@resourcemanager:/home/yarn/.ssh/

scp authorized_keys yarn@datanode1:/home/yarn/.ssh/

scp authorized_keys yarn@datanode2:/home/yarn/.ssh/

scp authorized_keys yarn@datanode3:/home/yarn/.ssh/

验证能否无密码ssh，在master服务器上执行操作：

ssh hdfs@master

ssh yarn@resourcemanager

ssh mapred@resourcemanager

ssh yarn@datanode1

ssh yarn@datanode2

ssh yarn@datanode3

注意：第一次可能会提示输入yes or no，之后就可以直接ssh到其他主机上去了。

3.配置jdk和hadoop环境变量

版本：jdk1.7.0_55 hadoop-2.4.0

下载并解压到

/opt/tools/jdk1.7.0_55 

/opt/hadoop-2.4.0

编辑 /etc/profile，在最后加上

export JAVA_HOME=/opt/tools/jdk1.7.0_55
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-2.4.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

保存退出，执行 source /etc/profile 生效

执行java -version 和 hadoop version，能看到版本号那么环境配置ok

4.配置hadoop

配置文件在hadoop-2.4.0/etc/hadoop/ 目录下

a.在yarn-env.sh 和hadoop-env.sh文件中加上jdk路径

export JAVA_HOME=/opt/tools/jdk1.7.0_55

b.core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
        <final>true</final>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/tmp/hadoop-${user.name}</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
</configuration>

c.hdfs-site.xm

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

d.mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description>Execution framework set to Hadoop YARN.</description>
    </property>

</configuration>

e.yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>jobtracker:9001</value>
        <description>The address of the applications manager interface in the RM.</description>
    </property>

    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>jobtracker:18030</value>
        <description>The address of the scheduler interface,in order for the RM to obtain the resource from scheduler</description>
    </property>

    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>jobtracker:18025</value>
        <description>The address of the resource tracker interface for the nodeManagers</description>
    </property>

    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>jobtracker:18035</value>
        <description>The address for admin manager</description>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>jobtracker:18088</value>
        <description>The address of the RM web application.</description>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

f.slaves

在该文件中添加

datanode1
datanode2
datanode3

注意：上面配置文件中出现的目录需要自己创建。配置文件需要复制到各个服务器上，并且个服务器目录结构要相同。

5.运行hadoop

在master上执行：

hdfs namenode -format

/opt/hadoop-2.4.0/sbin/start-dfs.sh

在resourcemanager上执行：

/opt/hadoop-2.4.0/sbin/start-yarn.sh

若一切顺利，在各服务器上输入jps，

master显示：

30739 Jps
9547 NameNode
9746 SecondaryNameNode

resourcemanager显示：

2917 Jps
27910 ResourceManager

datanode显示：

24334 Jps
1594 NodeManager
1027 DataNode

至此，一个完全分布式hadoop集群搭建成功