利用Hadoop怎么对多Job进行并行处理

利用Hadoop怎么对多Job进行并行处理？相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。

铜梁网站制作公司哪家好，找成都创新互联公司！从网页设计、网站建设、微信开发、APP开发、响应式网站设计等网站项目制作，到程序开发，运营维护。成都创新互联公司自2013年起到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选成都创新互联公司。

首先做如下配置：

1、修改mapred-site.xml添加调度器配置：


 mapred.jobtracker.taskScheduler
 org.apache.hadoop.mapred.FairScheduler

2、添加jar文件地址配置：


 hadoopTest.jar
 所生成jar的地址

Java基本代码如下：

// 获取各个Job，有关Job的创建，这里就不贴上来了。
Job job_base = (Job) 。。。;
Job job_avg = (Job) 。。。;
Job job_runCount = (Job) 。。。;
Job job_activeUser = (Job) ....;


job_base.setJarByClass(CapuseDateTimerTask.class);
job_avg.setJarByClass(CapuseDateTimerTask.class);
job_runCount.setJarByClass(CapuseDateTimerTask.class);
job_activeUser.setJarByClass(CapuseDateTimerTask.class);


// 执行完job_base才开始并行以下三个Job；
if (job_base.waitForCompletion(true)) {
FileUtil.hdfsFileHandle(jobBase);


// 并行Job
job_avg.submit();
job_runCount.submit();
job_activeUser.submit();
}

boolean bln1 = job_avg.isComplete();
boolean bln2 = job_runCount.isComplete();
boolean bln3 = job_activeUser.isComplete();


// 计算Job是否完成
while (!bln1 || !bln2 || !bln3) {
bln1 = job_avg.isComplete();
bln2 = job_runCount.isComplete();
bln3 = job_activeUser.isComplete();
}

最后将这些代码组装至Main方法，使用Hadoop执行命令运行：

hadoop jar jar包名称方法入口所在的类

如：

hadoop jar hadoopTest.jar ch03.test Test

可以通过50030端口来监控Job的并行状态，这里就不多说了！！

解释：

1、配置Jar地址可以解决打包所生成的jar包后，运行时出现ClassNotFound的问题；

2、给多个Job设定setJarByClass，经测试，如果不设定此类，运行时会出现ClassNotFound错误，其中CapuseDateTimerTask为Main方法所在的类名；

3、waitForCompletion与submit方法是有区别的，waitForCompletion是串行，而submit是并行，正是因为submit是并行所以后续的代码操作需要取其执行是否完成的状态来做判断处理即：isComplete()；

4、以上Job采用的是：org.apache.hadoop.mapreduce.Job

看完上述内容，你们掌握利用Hadoop怎么对多Job进行并行处理的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注创新互联行业资讯频道，感谢各位的阅读！

标题名称：利用Hadoop怎么对多Job进行并行处理
本文地址：http://cqcxhl.cn/article/jehdcj.html

重庆分公司，新征程启航

利用Hadoop怎么对多Job进行并行处理

其他资讯