如何构建Spark集群

这篇文章主要讲解了“如何构建Spark集群”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“如何构建Spark集群”吧！

创新互联主要业务有网站营销策划、网站设计、网站制作、微信公众号开发、小程序制作、H5高端网站建设、程序开发等业务。一次合作终身朋友，是我们奉行的宗旨；我们不仅仅把客户当客户，还把客户视为我们的合作伙伴，在开展业务的过程中，公司还积累了丰富的行业经验、成都全网营销推广资源和合作伙伴关系资源，并逐渐建立起规范的客户服务和保障体系。 

从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：

从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！

第三步：启动yarn集群

使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：

而在SparkWorker1和SparkWorker2上则分别启动了NodeManager进程：

在SparkMaster上访问http://SparkMaster:8088 可以通过Web控制台查看ResourceManager运行状态：

在SparkMaster上访问http://SparkWorker1:8042  可以通过Web控制台查看SparkWorker1上的NodeManager运行状态：

在SparkMaster上访问http://SparkWorker2:8042  可以通过Web控制台查看SparkWorker2上的NodeManager运行状态：

接下来使用“mr-jobhistory-daemon.sh”来启动JobHistory Server：

启动后可以通过http://SparkMaster:19888 在Web控制台上看到JobHistory中的任务执行历史信息：

感谢各位的阅读，以上就是“如何构建Spark集群”的内容了，经过本文的学习后，相信大家对如何构建Spark集群这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！