Hadoop安装配置（入门）

概述：

本文主要记录Hadoop-0.20.2安装过程，包括安装过程中的关键问题的解决。这里将安装过程分为三步：

第一步，打通筋脉，也就是配置各个节点间的环境，如创建hadoop用户和用户组，配置节点间ssh无密码连接；

第二步，战略部署，部署Hadoop程序，配置环境变量，修改配置参数；

第三步，准备战斗，也就是启动Hadoop集群，检查集群是否正常运行。

第一步：打通筋脉

创建hadoop用户

后续hadoop启动、停止等操作都使用进行，如果是测试环境需要部署多个Hadoop版本，可以通过建立多个用户来隔离处理。

具体操作：

groupadd MrStone //创建用户组

useradd -s /bin/bash -g MrStone MrStone //创建用户

passwd MrStone //为新创建的用户设置密码

在slave1和slave2上执行上面三步操作操作

配置master和slave间ssh无密码互联

master 和slave间ssh无密码互联是Hadoop集群正常运行的前提，因为master和slave间的一部分内部操作都是通过ssh来进行的。本文以三台机器为例master1、slave1、slave2进行说明。master1是主节点，它主动发起ssh连接到slave1和slave2。

ssh 无密码连接原理：slave1和slave2启动ssh服务作为服务端，master1作为客户端访问slave1和slave2的服务。为了保证连接的安全性，master1需要生成一个密钥对，也就是一个私钥，一个公钥。将公钥拷贝到slave1和slave2上，这样当master1向slave1 发起ssh连接时，slave1会生成一个随机数，并使用公钥进行加密，然后将加密的随机数发送给master1，master1收到后使用私钥进行解密，然后将解密后的随机数发送给slave1，slave1确认解密数正确后允许master1进行连接。

具体操作：

su MrStone //使用MrStone用户登陆

ssh-keygen -t rsa -f ~/.ssh/id_rsa // 创建RSA秘钥对，在~/.ssh/目录下会生成秘钥id_rsa和公钥id_rsa.pub两个文件

scp id_rsa.pub slave1_IP:/~/.ssh/ //这里要将slave1,替换为对应的ip，将公钥（id_rsa.pub）拷贝到slave1和slave2上

登陆到slave1和slave2进行操作，mkdir ~/.ssh //在创建.ssh文件夹

chmod 700 ~/.ssh //在slave1和slave2上操作，修改权限，这一步非常重要，如果权限太大，ssh是不会工作的

cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys //在slave1和slave2上操作，将公钥拷贝到~/.ssh/authorized_keys

chmod 644 ~/.ssh/authorized_keys //在slave1和slave2上操作，修改权限，如果权限太大，ssh服务拒绝工作

测试从master ssh到slave1 和slave2 检查是否需要密码验证，如果成功，则配置完成