重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
###注意:严格按照下面的步骤
2.5启动zookeeper集群(分别在itcast04、itcast05、itcast06上启动zk)
cd/itcast/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看状态:一个leader,两个follower
./zkServer.sh status
2.6启动journalnode(在itcast01上启动所有journalnode,注意:是调用的hadoop-daemons.sh这个脚本,注意是复数s的那个脚本)
cd/itcast/hadoop-2.2.0
sbin/hadoop-daemons.sh start journalnode
#运行jps命令检验,itcast04、itcast05、itcast06上多了JournalNode进程
2.7格式化HDFS
(首次或需要重新格式时执行)
#在itcast01上执行命令:
hdfs namenode-format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件,这里我配置的是/itcast/hadoop-2.2.0/tmp,然后将/itcast/hadoop-2.2.0/tmp拷贝到itcast02的/itcast/hadoop-2.2.0/下。
scp-r tmp/ itcast02:/itcast/hadoop-2.2.0/
2.8格式化ZK(在itcast01上执行即可)
(首次或需要重新格式时执行)
hdfs zkfc-formatZK
2.9启动HDFS(在itcast01上执行)
sbin/start-dfs.sh
2.10启动YARN(#####注意#####:是在itcast03上执行start-yarn.sh,把namenode和resourcemanager分开是因为性能问题,因为他们都要占用大量资源,所以把他们分开了,他们分开了就要分别在不同的机器上启动)
sbin/start-yarn.sh
到此,hadoop2.2.0配置完毕,可以统计浏览器访问:
http://192.168.1.201:50070 NameNode 'itcast01:9000' (active)
http://192.168.1.202:50070 NameNode 'itcast02:9000' (standby)
验证HDFS HA
首先向hdfs上传一个文件
hadoop fs-put /etc/profile /profile
hadoop fs-ls /
然后再kill掉active的NameNode
kill-9
通过浏览器访问:http://192.168.1.202:50070 NameNode 'itcast02:9000' (active)
这个时候itcast02上的NameNode变成了active
在执行命令:
hadoop fs-ls /
-rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile
刚才上传的文件依然存在!!!
手动启动那个挂掉的NameNode
sbin/hadoop-daemon.sh start namenode
通过浏览器访问:http://192.168.1.201:50070 NameNode 'itcast01:9000' (standby)
验证YARN:
运行一下hadoop提供的demo中的WordCount程序:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out