hadoop如何部署-创新互联

这篇文章将为大家详细讲解有关hadoop如何部署，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

Hadoop的三种模式：
Standalone Operation 单机模式 不开发  不生产  没有进程
Pseudo-Distributed Operation 伪分布式 开发 不生产  独立进程 但是只部署在1台机器
Fully-Distributed Operation 分布式 开发 生产  独立进程 但是只部署在n台机器

部署：
1.解压
命令：tar -xzvf  hadoop-2.8.1.tar.gz


2.配置hosts文件
vi /etc/hosts 然后再尾部加上自己的IP和机器名字
如：


3.修改权限



4.配置文件
part1:
切换到hadoop用户后再切换到我的hadoop资源目录


从官网获取配置代码，添加到configuration配置里

更改localhost为我们自己的ID

part2:指令：vi etc/hadoop/hdfs-site.xml修改文件hdfs-site.xml



5.无密码ssh
输入指令ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa


继续执行cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
            chmod 0600 ~/.ssh/authorized_keys

指令执行完成后用ssh 192.168.137.252来检查，如果结果仍然是自己的话就成功了。

这里可能会要给hadoop用户设置进入密码，可以去root用户使用命令passwd hadoop（可以是你的hadoop用户名）设定。


6.namenode格式化
首先切换用户到hadoop用户，然后我们跳转到/opt/software/hadoop.... 即hadoop的文件目录下了，输入指令bin/hdfs namenode -format，此事如果报错为（WARN net.DNS: Unable to determine local hostname -falling back to "localhost" java.net.UnknownHostException: ruozehadoop001.localdomain: ruozehadoop001.localdomain: unknown error
），我们需要进入文件/etc/sysconfig/network中，vi编辑它，变成如图：

如果没有报错则结果为：


7.启动
还是在hadoop文件目录下vi进入文件vi etc/hadoop/hadoop-env.sh，按I修改文件尾部添加内容为如图：
输入指令：sbin/start-dfs.sh得到如图结果则为成功:
输入JPS查看结果为：

关于“hadoop如何部署”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。