1、首先安装配置jdk1.8以上,建议全部的安装路径不要有空格
2、安装spark
2.1 下载
下载地址http://spark.apache.org/downloads.html我下载的是 spark-2.2.1-bin-hadoop2.7.tgz
2.2 安装
解压到指定路径下即可比如 D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7
2.3 配置环境变量
在系统变量Path添加一条D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7\bin 即可
3、安装hadoop
3.1 下载
3.2 安装
解压到指定路径下即可比如 D:\Company\bigdata\hadoop-2.7.1
3.3 配置环境变量
在系统变量里添加 HADOOP_HOMED:\Company\bigdata\hadoop-2.7.1
3.4 下载winutils.exe
将其复制到 %HADOOP_HOME% 即D:\Company\bigdata\hadoop-2.7.1\bin
3.5 解决/temp/hive 不可写错误
执行以下语句D:\Company\bigdata\hadoop-2.7.1\bin\winutils.exe chmod 777 /tmp/hive 即可参考http://mangocool.com/1473838702533.html
3.6 运行验证spark
在命令行输入spark-shell出现如下图所示即为成功(其中warn信息已在日志配置文件里去掉)
image
4、安装对应版本的scala(scala-2.11.8.msi)
4.1 下载
4.2 安装
一键式安装到指定目录D:\Company\bigdata\scala
4.3 配置环境变量
安装过程中已经自动配好
4.4 验证
输入scala -version 查看版本号 输入scala 进入scala的环境
image
5、在eclipse上安装scala插件
5.1安装
在Eclipse中选择Help->Install new Software
image
等待一会儿
image
然后下一步下一步
中间有一个警告点ok即可最后根据提示重启eclipse即可安装完成
5.1运行scala程序
5.1.1 新建scala project
image
image
5.1.2 将默认的sacala版本改为之前安装的版本
image
5.1.3 编写salca程序即可像运行java一样运行scala
image
image
6、安装sbt
6.1 下载(sbt-1.1.1.msi)
6.2 安装
一键式安装到指定目录D:\Company\bigdata\scala-sbt
6.3 配置环境变量
SBT_HOMED:\Company\bigdata\scala-sbt
path%SBT_HOME%\bin
6.3 配置本地仓库
编辑conf/sbtconfig.txt
# Set the java args to high
-Xmx512M
-XX:MaxPermSize256m
-XX:ReservedCodeCacheSize128m
# Set the extra SBT options
-Dsbt.log.formattrue
-Dsbt.boot.directoryD:/Company/bigdata/scala-sbt/boot/
-Dsbt.global.baseD:/Company/bigdata/scala-sbt/.sbt
-Dsbt.ivy.homeD:/Company/bigdata/scala-sbt/.ivy2
-Dsbt.repository.configD:/Company/bigdata/scala-sbt/conf/repo.properties
增加文件 conf/repo.properties
[repositories]
local
Nexus osc : https://code.lds.org/nexus/content/groups/main-repo
Nexus osc thirdparty : https://code.lds.org/nexus/content/groups/plugin-repo/
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
typesafe2: http://repo.typesafe.com/typesafe/releases/
sbt-plugin: http://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/
sonatype: http://oss.sonatype.org/content/repositories/snapshots
uk_maven: http://uk.maven.org/maven2/
ibibli: http://mirrors.ibiblio.org/maven2/
repo2: http://repo2.maven.org/maven2/
6.4 验证
输入sbt
(第一次使用会下载复制一些文件)
7、安装eclipse的sbt插件sbteclipse
sbteclipse是eclipse的sbt插件但与一般eclipse插件的配置及使用并不相同。
sbteclipse项目源码托管在github上https://github.com/typesafehub/sbteclipse
(7.1和7.2不确定是否是必须的,一台机器不需要另一台因在~/.sbt文件下没有1.0和0.13文件夹执行这两步即可)
7.1 下载项目
git clone https://github.com/sbt/sbteclipse.git
或下载zip再解压
7.2 编译
进入到sbteclipse目录下输入
sbt compile
7.3 添加全局配置文件
新建/.sbt/1.0/plugins/plugins.sbt(网上好多说是/.sbt/0.13/plugins/plugins.sbt但我两个电脑都不行)
addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "5.2.4")
7.4 进入到之前创建的项目ScalaDemo目录下
添加sbt配置文件build.sbt
name : "ScalaDemo"
version : "1.0"
scalaVersion : "2.11.8"
javacOptions Seq("-source", "1.8", "-target", "1.8")
libraryDependencies Seq(
"org.apache.spark" %% "spark-core" % "2.2.1"
)
输入 sbt 然后输入eclipse 等待相关的依赖下载完就可以在eclipse 看到依赖的jar了
image
7.5 最后将src bulid path 一下就可以在scala代码里导入spark包了
image
image
8、 如果想调用本地spark在SparkConf或者在SparkSession设置matser为local(本地模式)即可