Spark1.0.0源码阅读环境搭建(win7)
准备工作:
jdk-7u51-windows-i586.exe
scala-2.10.3.msi
sbt-0.13.2.msi
spark-1.0.0.tgz
scala-SDK-3.0.3-2.10-win32.win32.x86.zip
1.1. 安装JDK
安装jdk-7u51-windows-i586.exe,按默认设置即可。假设安装至目录d:\jdk1.7;
安装结束后,将d:\jdk1.7\bin添加至环境变量PATH中;
1.2. 安装Scala
安装scala-2.10.3.msi,按默认设置即可。假设安装至目录d:\scala2.10.3;
安装结束后可以在cmd窗口执行:
可以看到安装的scala版本号;
1.3. 安装sbt
安装sbt-0.13.2.msi,按默认设置即可。假设安装至目录d:\sbt0.13.2;
安装结束后可以在cmd窗口执行:
可以看到安装的sbt的版本号;
1.4. 安装Scala-SDK
直接解压scala-SDK-3.0.3-2.10-win32.win32.x86.zip即可。
1.5. 为Spark创建eclipse工程文件
直接解压spark-1.0.0.tgz,至工程目录,比如e:\java\spark;
在该目录下面执行sbt,编译(耗时较长,耐心等待,直至出现提示符):
在该提示符下面执行eclipse命令,生成eclipse工程文件(这一步耗时更长,耐心等待, 直接再次出现提示符)。
最后打开Scala-SDK,导入Spark工程:
2. 问题
在1.5步很可能出现连接超时的问题,如果上外网需要代理,那么需要修改d:\sbt0.13.2\conf\sbtconfig.txt文件。增加如下代理设置:
# Set the java args to high
-Xmx512M
-XX:MaxPermSize=256m
-XX:ReservedCodeCacheSize=128m
# Set the extra SBT options
-Dsbt.log.format=true
-Dsbt.boot.directory=D:/sbt0.13.2/sbt/boot/
-Dsbt.ivy.home=D:/sbt0.13.2/sbt
-Dhttp.proxyHost=*****
-Dhttp.proxyPort=80
-Dhttps.proxyHost=******
-Dhttps.proxyPort=80
注意http和https都要添加。
如果没有代理还连接超时,那么只能多试几次了,还是能成功的。