1：Spark的編譯

Spark可以通過SBT（Scala Build Tool）或者Maven來編譯，官方提供的二進制安裝文件是用Maven編譯，如果是要在YARN集群上運行的話，還需要再用SBT編譯一下，生成YARN client端使用的jar包；最好是直接對源碼使用SBT進行編譯而生成YARN client端使用的jar包。筆者在測試過程中，對Maven編譯過的Spark進行SBT二次編譯后，在運行部分例子的時候有錯誤發生。

A：Maven編譯

筆者使用的環境曾經編譯過Hadoop2.2.0（參見hadoop2.2.0源碼編譯(CentOS6.4)），所以不敢確定Maven編譯過程中，Spark是不是需要編譯Hadoop2.2.0中使用的部分底層軟件（看官方資料是需要Protobuf2.5）。除了網絡下載不給力而不斷的中止、然后重新編譯而花費近1天的時間外，編譯過程還是挺順利的。

maven編譯時，首先要進行設置Maven使用的內存項配置：

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

然后用Maven編譯：

mvn -Pnew-yarn -Dhadoop.version=2.2.0 -Dyarn.version=2.2.0 -DskipTestspackage

參考文檔：Building Spark with Maven

B：SBT編譯

Spark源碼和二進制安裝包都綁定了SBT。值得注意的是，如果要使用Scala進行Spark應用開發，必須使用和Spark版本相對應版本的Scala，如：Spark0.8.1對應的Scala2.9.3。對于不匹配的Scala應用開發可能會不能正常工作。

SBT編譯命令：

SPARK_HADOOP_VERSION=2.2.0 SPARK_YARN=true ./sbt/sbt assembly

二種編譯都是在Spark根目錄下運行。在SBT編譯過程中如果網絡不給力，手工中斷編譯（ctrl+z）后要用kill-9 將相應的進程殺死后，然后再重新編譯，不然會被之前的sbt進程鎖住而不能重新編譯。

2：Spark運行

Spark可以單獨運行，也可以在已有的集群上運行，如Amazon EC2、Apache Mesos、Hadoop YARN。下面用Spark自帶的例程進行測試，運行的時候都是在Spark的根目錄下進行。如果需要知道運行更詳細的信息，可以使用log4j，只要在根目錄下運行：

cp conf/log4j.properties.template conf/log4j.properties

A：本地運行

./run-example org.apache.spark.examples.SparkPi local

也可以多線程方式運行，下面的命令就是開4個線程。

./run-example org.apache.spark.examples.SparkPi local[4]

B：YARN集群

啟動Hadoop2.2.0集群

確保環境變量HADOOP_CONF_DIR或YARN_CONF_DIR已經設置

在YARN集群中運行Spark應用程序的命令：

SPARK_JAR=<SPARK_ASSEMBLY_JAR_FILE> ./spark-classorg.apache.spark.deploy.yarn.Client \ 
  --jar <YOUR_APP_JAR_FILE> \ 
  --class <APP_MAIN_CLASS> \ 
  --args <APP_MAIN_ARGUMENTS> \ 
  --num-workers <NUMBER_OF_WORKER_MACHINES> \ 
  --master-class <ApplicationMaster_CLASS> 
  --master-memory <MEMORY_FOR_MASTER> \ 
  --worker-memory <MEMORY_PER_WORKER> \ 
  --worker-cores <CORES_PER_WORKER> \ 
  --name <application_name> \ 
  --queue <queue_name> \ 
  --addJars <any_local_files_used_in_SparkContext.addJar> \ 
  --files <files_for_distributed_cache> \ 
  --archives <archives_for_distributed_cache> 

例1計算PI，可以看出程序運行時是先將運行文件上傳到Hadoop集群的，所以客戶端最好是和Hadoop集群在一個局域網里。

SPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubating-hadoop2.2.0.jar \ 
    ./spark-class org.apache.spark.deploy.yarn.Client \ 
      --jar examples/target/scala-2.9.3/spark-examples-assembly-0.8.1-incubating.jar \ 
      --class org.apache.spark.examples.SparkPi \ 
      --args yarn-standalone \ 
      --num-workers 3 \ 
      --master-memory 2g \ 
      --worker-memory 2g \ 
      --worker-cores 1 

例2計算TC

SPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubating-hadoop2.2.0.jar \ 
    ./spark-class org.apache.spark.deploy.yarn.Client \ 
      --jar examples/target/scala-2.9.3/spark-examples-assembly-0.8.1-incubating.jar \ 
      --class org.apache.spark.examples.SparkTC \ 
      --args yarn-standalone \ 
      --num-workers 3 \ 
      --master-memory 2g \ 
      --worker-memory 2g \ 
      --worker-cores 1 

點擊Tracking UI中的相應鏈接可以查看Spark的運行信息：