详解IntelliJ IDEA创建spark项目的两种方式

湛蓝之海

这篇文章主要介绍了详解IntelliJ IDEA创建spark项目的两种方式，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
intellij是进行scala开发的一个非常好用的工具，可以非常轻松查看scala源码，当然用它来开发java也是很爽的，之前一直在用scala ide和eclipse，现在换成intellij简直好用到飞起，但是有些人不知道怎么用intellij去创建一个spark项目，这里介绍两种
1、选择file->new project->java->scala,这里scala版本是2.11.8

2 .之后一路点击next，直到finish，创建完的项目见下图，这时候已经可以创建scala文件了，接下来就可以添加spark相关的jar包了，从官网下载http://spark.apache.org/downloads.html，我这里用的是spark-2.2.1-bin-hadoop2.7，你可以根据自己需要选择相应的版本，下载完压缩包后解压

3 . 选择file->project structure->libraries,点击+，选择java，选择之前下载的spark2.2-hadoop2.7解压后的jars文件夹，将该文件夹下的jar包全部引进该项目，见下图

4 . 之后在libraries中点击+，选择scala sdk，这里选择系统版本的scala，为2.11.8版本,添加见下图

5 . 添加完毕后project structure类似于下面这种格式

6 .现在该项目有了spark的jar和scala的sdk，之后创建一个scala文件进行测试,代码及运行结果见下图

7 .出现上面这些内容表明intellij创建spark项目成功，总结一下这种方式需要引入scala sdk以及spark的jar包，还有另外一种方式是见下图，选择file->new project->scala->idea，选择next

8 .之后指定项目名称和项目所处位置，点击finish，创建项目

9 .这时候创建的项目如下，这种情况下可以直接右键new 创建scala文件，不需要在额外添加scala sdk

10 .接下来的操作和上面那种一样，添加spark jar包即可，添加完后测试一下

11 .成功输出，表明intellij创建spark项目成功，当然前提是intellij安装了scala插件，在file->settings->plugins,搜索scala，根据查找的结果进行安装后重启intellij即可，下图是我已经安装好的

以上就是两种创建spark项目的方式，希望对大家的学习有所帮助，也希望大家多多支持CodeAE代码之家。
原文链接：https://blog.csdn.net/a532672728/article/details/79455024

[Java] 详解IntelliJ IDEA创建spark项目的两种方式

相关帖子

浅谈Mysql8和mysql5.7的区别

动态在线扩容root根分区大小的方法详解

MySQL视图和索引专篇精讲

Java8的Lambda和排序

Spring Security登陆流程讲解

如何将本地已有项目添加到git仓库

湛蓝之海 LV3