mapreduce搭建-创新互联

一.虚拟机安装CentOS7并配置共享文件夹
二.CentOS 7 上hadoop伪分布式搭建全流程完整教程
三.本机使用python操作hdfs搭建及常见问题
四.mapreduce搭建
五.mapper-reducer编程搭建

成都网站设计、成都网站建设服务团队是一支充满着热情的团队，执着、敏锐、追求更好，是创新互联的标准与要求，同时竭诚为客户提供服务是我们的理念。成都创新互联公司把每个网站当做一个产品来开发，精雕细琢，追求一名工匠心中的细致，我们更用心！
mapreduce搭建

• • 一、配置
  • • 1.创建mapred-site.xml文件
    • 2.编辑mapred-site.xml
  • 二、打开hadoop
  • • 0.删除data文件夹
    • 1.格式化 namenode
    • 2.启动集群
    • 3.启动 namenode 和 datanode
    • 4.查看服务
    • 5.web访问
  • 三、执行测试历程

一、配置 1.创建mapred-site.xml文件

cd /usr/local/hadoop/etc/hadoop/

cp mapred-site.xml.template mapred-site.xml

2.编辑mapred-site.xml

sudo gedit mapred-site.xml

替换

为

mapreduce.framework.nameyarn[huangqifa@hadoop4 hadoop]$ sudo gedit yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffle

二、打开hadoop 0.删除data文件夹

删除/home/huangqifa/data（core-site.xml、hdfs-site.xml中的存储路径）

1.格式化 namenode

hadoop namenode -format 

2.启动集群

sh /usr/local/hadoop/sbin/start-all.sh

3.启动 namenode 和 datanode

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

4.查看服务

[huangqifa@hadoop4 ~]$ jps
3012 NameNode
3562 ResourceManager
4044 Jps
3869 NodeManager
3374 SecondaryNameNode
3167 DataNode

5.web访问

三、执行测试历程

cd /usr/local/hadoop/share/hadoop/mapreduce/

hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 3 3

其中第一个3的含义是指开启3个map任务，第二个3是每个map里面投掷3次，这两个参数可以修改

参考网址：https://blog.csdn.net/jjjjjjabnannnan/article/details/110239351

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧

分享名称：mapreduce搭建-创新互联
转载注明：http://cqcxhl.cn/article/djciis.html