| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
jopen
7年前发布

搭建hadoop/spark集群环境

hadoop和spark集群的搭建,主要用到了hadoop2.5.2、spark1.2.0、scala2.11.4

hadoop2.5.2的安装可以参照

http://blog.csdn.net/greensurfer/article/details/39450369

jdk下载地址

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

hadoop下载地址

http://mirrors.cnnic.cn/apache/hadoop/common/

这篇文章中没有说配置环境的事,我在这里简单说一下,为了能使虚机启动后环境变量就直接可用,我将jdk和hadoop直接配置到~/.bashrc文件中

# set java environment  export JAVA_HOME=/usr/lib/java/jdk1.7.0_71  export SCALA_HOME=/usr/lib/scala/scala-2.11.4  export SPARK_HOME=/usr/local/spark/spark-1.2.0-bin-hadoop2.4  export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:/usr/local/hadoop/hadoop-2.5.2/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

配置完成后,使用source使命令生效


我主要说一下spark集群的安装

先去scala和spark的官网下载scala-2.11.4.tgz、spark-1.2.0-bin-hadoop2.4.tgz
安装scala
创建目录

mkdir /usr/lib/scala

在新建的目录中解压scala

tar zxvf scala-2.11.4.tgz

将scala添加到环境变量中

vim ~/.bashrc

在文件最下面添加

export SCALA_HOME=/usr/lib/scala/scala-2.11.4  export PATH=$PATH:$SCALA_HOME/bin

保存退出后,用source使命令生效

source ~/.bashrc

查看scala是否安装成功

[root@master scala]# scala -version  Scala code runner version 2.11.4 -- Copyright 2002-2013, LAMP/EPFL

这样在master上就完成了scala的安装,由于spark要运行在master、slave1、slave2三个虚机上,所以我们可以用scp命令将~/.bashrc从master拷贝到slave机器上

安装spark

创建目录

mkdir /usr/local/spark

将已下载的spark-1.2.0-bin-hadoop2.4.tgz解压到此目录中

tar zxvf spark-1.2.0-bin-hadoop2.4.tgz

设置环境变量

vim ~/.bashrc

在文件中添加一行

export SPARK_HOME=/usr/local/spark/spark-1.2.0-bin-hadoop2.4

修改文件的PATH为

export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin

如果要把jdk和hadoop也一起加入的话,那最后结果为

# set java environment  export JAVA_HOME=/usr/lib/java/jdk1.7.0_71  export SCALA_HOME=/usr/lib/scala/scala-2.11.4  export SPARK_HOME=/usr/local/spark/spark-1.2.0-bin-hadoop2.4  export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:/usr/local/hadoop/hadoop-2.5.2/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

使用source使命令生效

source ~/.bashrc

配制spark,进入到spark的conf目录

[root@master scala]# cd /usr/local/spark/spark-1.2.0-bin-hadoop2.4/conf

使用cp命令复制一份spark-env.sh

 cp spark-env.sh.template spark-env.sh

修改此文件,在文件末尾添加

###jdk安装目录  export JAVA_HOME=/usr/lib/java/jdk1.7.0_71  ###scala安装目录  export SCALA_HOME=/usr/lib/scala/scala-2.11.4  ###spark集群的master节点的ip  export SPARK_MASTER_IP=192.168.1.3  ###指定的worker节点能够最大分配给Excutors的内存大小  export SPARK_WORKER_MEMORY=1g  ###hadoop集群的配置文件目录  export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.5.2/etc/hadoop

修改conf目录下面的slaves文件将worker节点都加进去

[root@master conf]# cat slaves  # A Spark Worker will be started on each of the machines listed below.  master  slave1  slave2

保存退出,这样master中spark就安装完成了,slave节点和maser一样的设置

成功后如下图

搭建hadoop/spark集群环境

 

另外说一些实用的界面

查看spark-shell状态

http://master:4040/stages/

搭建hadoop/spark集群环境

查看sprak中worker的状态

http://master:8080

搭建hadoop/spark集群环境

 

查看dfs(datanode)的状态

http://master:50070

搭建hadoop/spark集群环境

 

查看nodes的状态

http://master:8088

搭建hadoop/spark集群环境

 本文由用户 jopen 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1419490748562.html
分布式/云计算/大数据 Spark