1 参考博文
http://blog.sina.com.cn/s/blog_75f4e17c0101h5x4.html
http://www.cnblogs.com/end/archive/2012/08/13/2636645.html2 安装准备
1. Ubuntu 14.04
2. JDK 版本 1.8.0_25
3. Hadoop 版本 Hadoop-2.6.0
3 安装步骤
3.1 Linux 安装
因为设备数量有限,所以在本地使用的是VMware Workstation虚拟机搭建的一个Ubuntu 32位桌面版本。网上资料很多就不多做详述,需要花费些时间。
3.2 JDK安装
3.2.1 JDK下载
本地选择的是 JDK 1.8.0_25下在地址为:
3.2.2 JDK安装
下载好后放入指定位置(如/usr/java),使用如下命令安装
tar zxvf jdk-xxx-linux-xxx.tar.gz |
(参考:)
3.2.3 JDK配置
1.进入/etc目录
2.将JDK配置信息加入profile文件
# The following configuration is for Javaexport JAVA_HOME=/usr/java/jdk1.8.0_25export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:JAVA_HOME/lib:$JAVA_HOME/jre/lib
3.使用下面组合命令使配置生效
chmod +x profile (这条命令需要超级权限) source profile |
4.使用下面,验证JDK安装
java -version |
如果安装版本信息显示则安装成功
3.3 Hadoop安装
3.3.1 Hadoop下载
地址为:
3.3.2 Hadoop安装
将下载下来的Hadoop放入指定目录(/usr/hadoop),使用如下命令安装
tar xzf hadoop-2.6.0.tar.gz |
3.3.3 Hadoop配置
1.linux profile(路径:/etc)配置,如下图
# The following configuration is for hadoopexport HADOOP_INSTALL=/usr/hadoop/hadoop-2.6.0export PATH=$PATH:$HADOOP_INSTALL/bin
2.hadoop-env.sh(路径:$HADOOP_HOME/etc/hadoop)中把JAVA_HOME指向JDK安装根目录,如下
# The java implementation to use.export JAVA_HOME=/usr/java/jdk1.8.0_25
3.yarn-env.sh(路径:$HADOOP_HOME/etc/hadoop)中把JAVA_HOME指向JDK安装根目录,如下
# some Java parameters exportJAVA_HOME=/usr/java/jdk1.8.0_25
4.打开conf/core-site.xml(路径:$HADOOP_HOME/etc/hadoop)文件,编辑如下:
fs.default.name hdfs://localhost:9000
5.打开conf/mapred-site.xml(路径:$HADOOP_HOME/etc/hadoop)文件,编辑如下:
mapred.job.tracker localhost:9001
6.打开conf/hdfs-site.xml(路径:$HADOOP_HOME/etc/hadoop)文件,编辑如下:
dfs.name.dir /usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2 dfs.data.dir /usr/local/hadoop/data1,/usr/local/hadoop/data2 dfs.replication 2
4 Hadoop启动
新版本启动命令Apache推荐使用下面两个命令
先进入$HADOOP_HOME/sbin下
1 ./start-dfs.sh
2 ./start-yarn.sh
另 ./start-all.sh依然可以使用,只是会提示“不推荐使用”,他内部分自动导向上面两个shell脚本
启动后如输入jps可以看下图信息,可以发现和1.x版本的区别,没有了JobTracker和TaskTracker,由ResourceManager和NodeManager代替。而且你在sbin下可以看到多出了yarn的脚本!
若执行jps后存在如下五个服务,说明hadoop单机环境配置成功。
5 测试安装
Hadoop自带服务测试
5.1 验证1
启动完后,可用jps查看,可看到两个服务己经启动
启动WebAppProxyServer服务,在命令行输入如下命令:
$HADOOP_HOME/sbin/yarn-daemon.sh start proxyserver --config $HADOOP_CONF_DIR |
启动JobHistoryServer服务,在命令行输入如下命令:
$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver --config $HADOOP_CONF_DIR |
5.2 验证2
启动完后可以使用下面三个连接进行查看
a. 打开NameNode web界面
b. 打开JobHistory web界面
c. 打开cluster web界面
5.3 验证3
启动Hadoop自带的map reduce程序
进入 $ HADOOP_HOME/share/hadoop/mapreduce输入下面命令
hadoop jar hadoop-mapreduce-examples-2.6.0.jar pi 10 100 |
如果正常运行结束则OK