博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ubuntu单机版搭建hadoop环境笔记
阅读量:6851 次
发布时间:2019-06-26

本文共 3037 字,大约阅读时间需要 10 分钟。

hot3.png

1 参考博文

http://blog.sina.com.cn/s/blog_75f4e17c0101h5x4.html

http://www.cnblogs.com/end/archive/2012/08/13/2636645.html

2 安装准备

1.     Ubuntu 14.04

2.     JDK 版本 1.8.0_25

3.     Hadoop 版本 Hadoop-2.6.0

3 安装步骤

3.1 Linux 安装

  因为设备数量有限,所以在本地使用的是VMware Workstation虚拟机搭建的一个Ubuntu 32位桌面版本。网上资料很多就不多做详述,需要花费些时间。

3.2 JDK安装

3.2.1 JDK下载

  本地选择的是 JDK  1.8.0_25下在地址为:

3.2.2 JDK安装

  下载好后放入指定位置(如/usr/java),使用如下命令安装

 tar zxvf jdk-xxx-linux-xxx.tar.gz

(参考:)

3.2.3 JDK配置

  1.进入/etc目录

  2.将JDK配置信息加入profile文件

# The following configuration is for Javaexport JAVA_HOME=/usr/java/jdk1.8.0_25export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:JAVA_HOME/lib:$JAVA_HOME/jre/lib

  3.使用下面组合命令使配置生效

  chmod +x profile (这条命令需要超级权限)

  source profile

  4.使用下面,验证JDK安装

 java -version

  如果安装版本信息显示则安装成功

3.3 Hadoop安装

3.3.1 Hadoop下载

   地址为: 

3.3.2 Hadoop安装

   将下载下来的Hadoop放入指定目录(/usr/hadoop),使用如下命令安装

  tar xzf hadoop-2.6.0.tar.gz

3.3.3 Hadoop配置

   1.linux profile(路径:/etc)配置,如下图

# The following configuration is for hadoopexport HADOOP_INSTALL=/usr/hadoop/hadoop-2.6.0export PATH=$PATH:$HADOOP_INSTALL/bin

  2.hadoop-env.sh(路径:$HADOOP_HOME/etc/hadoop)中把JAVA_HOME指向JDK安装根目录,如下

# The java implementation to use.export JAVA_HOME=/usr/java/jdk1.8.0_25

  3.yarn-env.sh(路径:$HADOOP_HOME/etc/hadoop)中把JAVA_HOME指向JDK安装根目录,如下

# some Java parameters exportJAVA_HOME=/usr/java/jdk1.8.0_25

  4.打开conf/core-site.xml(路径:$HADOOP_HOME/etc/hadoop)文件,编辑如下:

  
    
    
  
      
fs.default.name
      
hdfs://localhost:9000
      
    

  5.打开conf/mapred-site.xml(路径:$HADOOP_HOME/etc/hadoop)文件,编辑如下:

  
    
        
         
           
mapred.job.tracker
          
localhost:9001
          
        

  6.打开conf/hdfs-site.xml(路径:$HADOOP_HOME/etc/hadoop)文件,编辑如下:

  
  
dfs.name.dir
  
/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2
  
  
  
dfs.data.dir
  
/usr/local/hadoop/data1,/usr/local/hadoop/data2
  
  
  
dfs.replication
  
2
  
  

4 Hadoop启动

新版本启动命令Apache推荐使用下面两个命令

先进入$HADOOP_HOME/sbin下

1 ./start-dfs.sh

2 ./start-yarn.sh

另 ./start-all.sh依然可以使用,只是会提示“不推荐使用”,他内部分自动导向上面两个shell脚本

启动后如输入jps可以看下图信息,可以发现和1.x版本的区别,没有了JobTracker和TaskTracker,由ResourceManager和NodeManager代替。而且你在sbin下可以看到多出了yarn的脚本!

若执行jps后存在如下五个服务,说明hadoop单机环境配置成功。

 153220_TB0h_2285247.png

5 测试安装

Hadoop自带服务测试

5.1 验证1

启动完后,可用jps查看,可看到两个服务己经启动

   启动WebAppProxyServer服务,在命令行输入如下命令:

$HADOOP_HOME/sbin/yarn-daemon.sh start proxyserver --config $HADOOP_CONF_DIR

   启动JobHistoryServer服务,在命令行输入如下命令:

$HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver --config $HADOOP_CONF_DIR

5.2 验证2

启动完后可以使用下面三个连接进行查看

a. 打开NameNode web界面

 

b. 打开JobHistory web界面

 

c. 打开cluster web界面

 

5.3 验证3

启动Hadoop自带的map reduce程序

进入 $ HADOOP_HOME/share/hadoop/mapreduce输入下面命令

hadoop jar hadoop-mapreduce-examples-2.6.0.jar pi 10 100

如果正常运行结束则OK

转载于:https://my.oschina.net/u/2285247/blog/352814

你可能感兴趣的文章
企业分布式微服务云SpringCloud SpringBoot mybatis (六)分布式配置中心(Spring Cloud Config)...
查看>>
java B2B2C springmvc mybatis多租户电子商城系统-(四)断路器(Hystrix)
查看>>
Spring Boot2.0 整合 Kafka
查看>>
Jackson异常情况处理
查看>>
Windows Server 2008R2 ADRMS 群集部署SOP
查看>>
squid+iptables实现透明代理
查看>>
phpMyWind本地伪静态设置方法_已迁移
查看>>
CentOS相关知识
查看>>
按钮特效
查看>>
Django 之 模板语言
查看>>
常用的敏捷测试工具
查看>>
JavaEE程序员必读图书大推
查看>>
CKEditor使用配置
查看>>
变频电源与变频器不同浅释
查看>>
利用HTML5将摄像头视频流转换成ascii码流,通过websocket实时传输给其它浏览器展示。...
查看>>
运维之道:16 张图片带你 1 小时学会 Ansible
查看>>
分享:IT管理员都喜欢用的Outlook超大附件系统
查看>>
objective-c设计模式之---单例
查看>>
golang读取json格式的天气预报
查看>>
每周一书《大数据搜索引擎原理分析及编程实现》分享!
查看>>