英特爾開源分布式深度學習庫BigDL：支持高性能大數據分析
近日，英特爾開源了一個運行在 Apache Spark 上的分布式深度學習庫 BigDL，其可以利用已有的 Spark 集群來運行深度學習計算，并且還能簡化從 Hadoop 的大數據集的數據加載。
據介紹，在 Xeon 服務器上的測試表明，BigDL 相比于 Caffe、Torch 或 TensorFlow 等開源框架實現了顯著的速度提升。其速度可與主流的 GPU 相媲美，而且 BigDL 也能擴展到多達數十個 Xeon 服務器。
BigDL 庫支持 Spark 1.5、1.6 和 2.0，并且允許將深度學習嵌入到已有的基于 Spark 的程序中。其中包含了將 Spark RDD(Resilient Distributed Datasets，彈性分布式數據集)轉換成 BigDL 定義的 Dataset 的方法，并且也可以直接運用到 Spark ML Pipelines 上。
為了進行模型訓練，BigDL 應用了一個同步小批量隨機梯度下降(synchronous mini-batch SGD)，該過程在跨多個執行器(executor)的單個 Spark 任務中執行。每一個執行器都執行一個多線程引擎并處理一部分微批量數據(micro-batch data)。在當前的版本中，所有的訓練和驗證數據都會加載到內存(memory)中。
BigDL 是用 Scala 實現的，并且模仿了 Torch。類似于 Torch，它也提供了一個 Tensor 類，其使用了 Intel MKL 庫進行計算。Intel MKL 是英特爾的數學核心函數庫(Math Kernel Library)的縮寫，其中包含了一系列為計算優化過的歷程，其中包括 FFT(快速傅立葉變換)和矩陣乘法等等，這些計算在深度學習模型訓練中有廣泛的應用。另外受到 Torch 的 nn 包(https://github.com/torch/nn)的啟發，BigDL 借鑒了 Torch，提出了 Module 的概念，用于表示單個神經網絡層、Table 和 Criterion。
BigDL 還提供了一個 AWS EC2 鏡像和一些案例，其中包括：文本分類(使用卷積神經網絡)、圖像分類、以及將 Torch 或 Caffe 中預訓練的模型加載到 Spark 中用于預測計算的方法。目前社區討論區上大多數用戶請求 BigDL 支持 Python，以及開發 MKL-DNN(MKL 的深度學習擴展)。
以下是 BigDL GitHub 項目的 README.md 介紹：
BigDL：在 Apache Spark 上的分布式深度學習
BigDL 是什么?
BigDL 是一個用于 Apache Spark 的分布式深度學習庫。使用 BigDL，用戶可以像編寫標準 Spark 程序一樣編寫深度學習應用，并且可以直接將其運行在已有的 Spark 或 Hadoop 集群上。BigDL 有哪些優點呢?
豐富的深度學習支持。類似 Torch，BigDL 提供了全面的深度學習支持，包括數值計算(通過 Tensor)和高層面的神經網絡;此外，用戶還可以使用 BigDL 將預訓練的 Caffe 或 Torch 模型加載到 Spark 程序中。
極高的性能。為了實現高性能，BigDL 在每一個 Spark 任務中都使用了 Intel MKL 和多線程編程。從而使得 BigDL 在單節點 Xeon(與主流 GPU 媲美)上能夠實現比當前開源的 Caffe、Torch 或 TensorFlow 快幾個數量級的表現。
有效的擴展。BigDL 可以利用 Apache Spark(一種超快的分布式數據處理框架)以及同步 SGD 的有效實現和在 Spark 上的 all-reduce 通信來進行有效地擴展，從而可在「大數據規模」上執行數據分析。
為什么選擇 BigDL?
如果你滿足以下條件，你就應該使用 BigDL 來編寫你的深度學習程序：
- 你想在數據存儲(比如以 HDFS、HBase、Hive 等方式)于的同一個大數據(Hadoop/Spark)集群上進行大量數據的分析。
- 你想為你的大數據(Spark)程序和/或工作流添加深度學習功能(不管是訓練還是預測)。
- 你想使用已有的 Hadoop/Spark 集群來運行你的深度學習應用，然后將其動態地共享給其它工作負載(如 ETL、數據倉庫、特征工程、經典機器學習、圖分析等等)。
