重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
这篇文章主要为大家展示了“Hadoop1.2.1集群如何搭建”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Hadoop1.2.1集群如何搭建”这篇文章吧。
创新互联建站专注为客户提供全方位的互联网综合服务,包含不限于成都网站设计、成都网站制作、外贸网站建设、和田县网络推广、微信小程序定制开发、和田县网络营销、和田县企业策划、和田县品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联建站为所有大学生创业者提供和田县建站搭建服务,24小时服务热线:13518219792,官方网址:www.cdcxhl.com
1. 官网下载安装包(版本: 1.2.1)2. 安装依赖
Java 和 ssh
3. 解压安装包,添加HADOOP_HOME变量到/etc/profile
4. 搭建集群
机器规划(三台小集群)
主机名 | IP | Node | Tracker |
---|---|---|---|
master | 192.168.10.1 | NameNode | JobTracker |
slave1 | 192.168.10.1 | DateNode | TaskTracker |
slave2 | 192.168.10.2 | DateNode | TaskTracker |
slave3 | 192.168.10.3 | DateNode | TaskTracker |
在三台机器上创建相同的用户: hadoop
在三台机器上分别配置/etc/hosts
192.168.10.1 master slave1 192.168.10.2 slave2 192.168.10.3 slave3
在三台机器上建立ssh-key,并设置免密码登陆
$ ssh-keygen -t dsa $ cat ~/ssh/id_dsa.pub >> ~/ssh/authorized_keys
将authorized_keys
文件内容复制到另外两台主机的~/ssh/authorized_keys
文件中 5. 将Hadoop安装包复制到三台机器中,修改Hadoop中的配置文件 - conf/Hadoop-env.sh export JAVA_HOME=path-to-jdk
- conf/core-site.xml xml
- conf/hdfs-site.xml xml
- conf/mapred-site.xml xml
- conf/master master
- conf/slave text slave1 slave2 slave3
5. 启动Hadoop服务
$ bin/hadoop namenode -format #格式化hdfs $ bin/start-all.sh # 启动所有进程 查看集群状态: http://localhost:50030 # MapReduce的Web页面 http://localhost:50070 # HDFS的Web页面 或 $ hadoop dfsadmin -report
6. 停止Hadoop服务bin/stop-all.sh
以上是“Hadoop1.2.1集群如何搭建”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!