重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。但是后来启动集群,一开始是主节点没启动起来,因为配置文件看走眼,配错了,然后又重新初始化了一次,然后可能因为重复初始化,导致datanode又没了,然后一直在尝试,一直在搜到底什么原因。目前根据搜索到的以及老师说的总结起来有三点:
1.配置文件出错了
2.ssh免密没做好
3.重复初始化
这三个问题应该在之前不断循环往复的出现…
直到这周终于把集群启动起来并且能够正常工作了。
虽然配置的可能优点问题,但是还是可以参考我们课上讲的配置文件,因为至少可以成功运行:
Hadoop集群配置运行
建议直接复制粘贴配置文件的内容,因为打错了又找不到错误的感觉,真的很难受。
检查ssh免密ssh免密最好每次启动前都检查一次,因为ip地址极有可能悄悄发生改变
记得ssh自己也得做
记得ssh自己也得做
记得ssh自己也得做
别能ssh别人,ssh自己不了
ssh免密方法可以参考:
Unbuntu使用手机热点创建两台电脑的集群(实现ssh免密通信)
同时,网速也得快点,因为如果延迟很大,就极有可能掉节点,导致问题出现,不过如果节点并不多,网速开百度能秒开,应该问题不是很大。
看网上说,重复初始化导致namenode的id和datanode的id不一致导致了节点的丢失,没事,那咱们就把初始化出来的文件删了,重新初始化就行了。
至于文件的位置,看配置文件里的位置
拿我的配置来说:
core-site.xml中
fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /home/bigdata3/hadoopdata1
其中/home/bigdata3/hadoopdata1这个文件就是初始化生成的文件。
在集群里的所有电脑都把这个文件得删了
在集群里的所有电脑都把这个文件得删了
在集群里的所有电脑都把这个文件得删了
然后
重新初始化:
hadoop namenode -format
我们会看到这个文件重新生成了,那就是初始化生成的。
切记重新初始化的操作得集群没启动的时候做,如果你的集群已经启动了
就先:
stop-all.sh
把集群先关了再操作
总结如果上述三条都检查了一遍,然后启动集群
start-all.sh
不出意外应该是能够正常运行的。
我们就是这样,一个坑接着一个坑,先是配置文件没搞好,然后发现ssh免密偶尔失效,最后是确定配置文件没问题,ssh免密刚做好,然后删文件重新初始化,就成功启动了。
可以检查一下节点情况
jps
此时如果可以访问
http://master:8080
http://master:50070
并且能够传文件上去,那应该没什么问题了。
如果上述三条都做了还是不能启动成功,那我也爱莫能助了…
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧