3-spark学习路线-Spark安装

   1.从https://spark.apache.org/获得Spark的安装包
　　2.解压并安装Spark
　　　tar –zxvf  spark-****-bin-hadoop2.7.tgz
　　3.配置Spark
　　　在YARN平台上运行Spark需要配置HADOOP_CONF_DIR、YARN_CONF_DIR和HDFS_CONF_DIR环境变量
　　　3.1 vim /etc/profile
	　　　export HADOOP_CONF_DIR=$HADOOP_HOME/home/lyb/hadoop
	　　　export HDFS_CONF_DIR=$HADOOP_HOME/home/lyb/hadoop
	　　　export YARN_CONF_DIR=$HADOOP_HOME/home/lyb/hadoop
　　　	   保存关闭后执行 
　　　3.2 source /etc/profile
　　　 	 使环境变量生效
　　　3.3 修改spark-env.sh
	　　　cp spark-env.sh.tmplate  spark-env.sh
	　　　vim spark-env.sh
	　　　JAVA_HOME=/home/lyb/jdk
　　　4.验证Spark安装
		计算圆周率PI的值
	　　　进入Spark安装主目录
	　　　./bin/spark-submit
	　　　    --class org.apache.spark.examples.SparkPi 
	　　　    --master yarn-cluster  模式选择(yarn-client;local)
		　　　--num-executors 3      进程数
		　　　--driver-memory 1g 	  驱动内存
		　　　--executor-memory 1g   运行时内存
		　　　--executor-cores 1     核数
	　	  　　/home/lyb/spark/examples/jars/spark-examples*.jar 10