如何远程提交Spark应用到集群

本篇内容主要讲解“如何远程提交Spark应用到集群”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“如何远程提交Spark应用到集群”吧!

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：域名注册、虚拟空间、营销软件、网站建设、乐昌网站维护、网站推广。

介绍如何在集群之外提交Spark任务到集群。

Spark目前支持三种集群，分别是Spark自实现的standalone集群、mesos集群和YARN集群。

使用standalone集群，提交应用时使用–master参数指定集群地址，如 --master spark://masternode:7077

所以只需要有spark的客户端，可以很方便的远程提交应用到指定的集群。

使用mesos集群，同样是指定–master参数为集群地址，如 --master mesos://master66:5050。这种形式和standalone集群很相似，也可以很方便的通过远程来提交应用。

使用YARN集群，–master参数指定为YARN，但是要求预先设置HADOOP_CONF_DIR或者YARN_CONF_DIR的环境变量，这个环境变量指向hadoop相关配置的目录。spark客户端会读取并解析其中的配置文件，并使用其中的配置信息来连接集群管理器。

如果要在远程提交应用到Yarn集群，最简单的方式就是从集群把这些配置下载下来，然后配置环境变量。

具体可以参考资料：

1. Remote Spark Jobs on YARN

2. Spark submit YARN mode HADOOP_CONF_DIR contents

3. How to submit a spark job on a remote master node in yarn client mode?

我想，或许我们可以找出spark需要的配置项，然后通过命令行的方式来指定，而不用通过配置目录的环境变量，这样我可以灵活的切换不同的集群，而我确实有这个需要。

这一个方向还有待探索。

在windows系统提交应用的示例：

1

set HADOOP_CONF_DIR=E:LOCALCLUSTERSERVICE-HADOOP-a1e7b238d7f044d6b70185654c855c52 &

到此，相信大家对“如何远程提交Spark应用到集群”有了更深的了解，不妨来实际操作一番吧！这里是创新互联网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！