Windows下基于eclipse的Spark应用开发环境搭建
原创文章，转载请注明： 转载自www.cnblogs.com/tovin/p/3822985.html
一、软件下载
maven下载安装 ：http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip
jdk下载安装：
http://10.100.209.243/share/soft/jdk-7u60-windows-i586.exe（32位）
http://10.100.209.243/share/soft/jdk-7u60-windows-x64.exe（64位）
eclipse下载安装：
http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/r elease/kepler/SR2/eclipse-jee-kepler-SR2-win32.zip（32位）
http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/r elease/kepler/SR2/eclipse-jee-kepler-SR2-win32-x86_64.zip（64位）
scala下载安装：http://www.scala-lang.org/files/archive/scala-2.10.4.msi
二、环境变量配置
JAVA_HOME=C:\Program Files\Java\jdk1.7.0_17
M2_HOME=D:\soft\apache-maven-3.2.1
SCALA_HOME=D:\soft\scala-2.10
PATH=%PATH%;%JAVA_HOME%\bin;%M2_HOME%\bin;%SCALA_HOME%\bin
三、Eclipse配置
1、eclipse scala插件安装
在Eclipse中，依次选择“Help” –> “Eclipse Marketplace”，输入scala安装Scala IDE
2、eclipse配置jdk
进入Window->Preferences配置jdk
3、eclipse配置maven
四、Spark应用开发
1、创建maven工程
2、修改pom.xml添加依赖包
注意：如果有依赖除hadoop、spark之外的包，打包时需要把依赖包也加进去。为了将依赖包加入，需要在pom.xml中加入如下内容
3、转成java工程（方便使用Spark Java API进行开发）
4、编写代码编译、打包
工程点右键选择分别执行Maven clean、Maven install，至此在工程项目下target目录会有目标jar包生成
5、运行Spark应用
上传编译好的jar包至spark集群client，执行以下命令运行程序
/usr/local/spark/bin/spark-submit --class YourMainClass --master yarn-cluster YourJarPath
YourMainClass：main函数类名
YourJarPath：jar包绝对路径
原创文章，转载请注明： 转载自www.cnblogs.com/tovin/p/3822985.html