windows下spark如何搭建

这篇文章主要为大家展示了“windows下spark如何搭建”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“windows下spark如何搭建”这篇文章吧。

创新新互联，凭借10多年的网站设计制作、成都网站设计经验，本着真心·诚心服务的企业理念服务于成都中小企业设计网站有成百上千家案例。做网站建设，选成都创新互联。

系统：windows x64

内存：4G

spark版本：spark-1.6.0-bin-hadoop2.6

JDK版本：jdk1.7.0_031

spark安装步骤：

          1.spark安装包，下载地址 https://spark.apache.org/downloads.html

          2.解压下载好的安装包，似乎路径最好不要含空格（没有试过含空格会怎么样）

          3.环境变量中配置SPARK_HOME，path中指定到SPARK_HOME下的bin目录。

          4.现在运行的是本地模式，可以不用安装hadoop，但是windows下需要配置HADOOP_HOME，并在HADOOP_HOME/bin下放一个winutils.exe的文件，具体见https://github.com/spring-projects/spring-hadoop/wiki/Using-a-Windows-client-together-with-a-Linux-cluster

           5.打开CMD，试试spark-shell命令能否运行成功。

           可能遇到问题1：关于xerces.jar包的问题，可能是jar包冲突导致，最直接解决办法：重新下载一个jdk

           可能遇到问题2：spark-shell throws java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable.这个错误，似乎是hive的一个BUG，具体可以见https://issues.apache.org/jira/browse/SPARK-10528

配置Eclipse的java开发环境：

            java开发spark程序是依赖一个jar，位于SPARK_HOME/lib/spark-assembly-1.6.0-hadoop2.6.0.jar,直接导入eclipse即可，spark运行只支持1.6以上java环

最后附上一个WordCount程序，是通过hdfs读取和输出的文件

SparkConf conf = new SparkConf().setAppName("WordCount").setMaster("local");

JavaSparkContext context = new JavaSparkContext(conf);

JavaRDD textFile = context.textFile("hdfs://192.168.1.201:8020/data/test/sequence/sequence_in/file1.txt");
JavaRDD words = textFile.flatMap(new FlatMapFunction() {
    public Iterable call(String s) {return Arrays.asList(s.split(" "));}
});
JavaPairRDD pairs = words.mapToPair(new PairFunction() {
    public Tuple2 call(String s) { return new Tuple2(s, 1); }
});
JavaPairRDD counts = pairs.reduceByKey(new Function2() {
    public Integer call(Integer a, Integer b) { return a + b; }
});
counts.saveAsTextFile("hdfs://192.168.1.201:8020/data/test/sequence/sequence_out/");

以上是“windows下spark如何搭建”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！