【51CTO.com原創稿件】在萬物智能互聯時代，數以億計的智能互聯設備及其產生的數據洪流帶來了產業的數字化變革。越來越多的企業希望借助機器學習與深度學習，從海量數據中獲取切實可行的洞察以指導企業決策、創造更多價值。借助計算、存儲和網絡等基礎設施的優勢，英特爾在數據分析與人工智能領域深耕已久，并通過與合作伙伴的合作，給用戶提供了端到端的軟硬件全平臺解決方案。近期，由O'Reilly Media和Cloudera聯合舉辦的Strata Data Conference大會在京召開。期間，筆者受邀采訪了英特爾公司軟件與服務事業部副總裁、系統技術和優化部門大數據技術總監馬子雅，英特爾大數據首席架構師、資深首席工程師戴金權，Cloudera聯合創始人兼首席技術官Amr Awadallah，以及Cloudera 大中華區總經理、公司副總裁凌琦，就英特爾與Cloudera在數據分析和人工智能方面的合作話題進行了探討。

　　倍數提升的數據分析性能

　　7月12日，英特爾正式推出了至強可擴展處理器，由于采用全新的內核微架構、核內互聯和內存控制器，因此基于至強可擴展處理器的平臺提供了更加優化的數據中心和網絡基礎設施所需的性能、可靠性和可管理性，使得企業獲得更高性能，將洞察付諸實施、實現業務連續性，并滿足實時服務交付方面的需求。

[[197629]]

　　英特爾提供的數據顯示，與上一代產品相比，英特爾至強可擴展處理器的整體性能提升達1.65倍，OLTP倉庫負載比當前系統提高達5倍。借助英特爾AVX-512以及集成英特爾OPA端口，英特爾至強可擴展處理器可將每秒浮點運算性能最高提升到2倍。相比上一代產品，英特爾至強可擴展處理器的大數據工作負載基本性能提升了2.7倍，針對深度學習訓練和推理可提供高達2.2倍的性能。結合可加快交付人工智能服務的軟件優化，相比3年前未經優化的服務器系統，全新的處理器可實現113倍深度學習性能的提升。

　　除了硬件升級之外，英特爾與Cloudera深度合作，在軟件方面進行了全面優化。優化之后，Hbase非堆存儲讀操作性能提升了5.6倍，在沒有增加任何硬件成本的情況下，阿里巴巴在“雙11”時把HBase的Throughput提升了30%，吞吐量提升了30%。此外，把MKL應用到用戶Spark機器學習的工作負載中，并實現了4.3倍的性能提升。

　　英特爾公司軟件與服務事業部副總裁，系統技術和優化部門大數據技術總監馬子雅表示，英特爾通過硬件升級和軟件優化來幫助推進技術民主化，至強可擴展處理器已經正式推出，硬件升級已經完成。通過與合作伙伴的合作，對軟件進行全面優化，性能和性價比都有了前所未有的提升。并且，英特爾已經將所有的軟件優化代碼全部貢獻給了開源，并包含在最新的Cloudera發行版中。

　　深度學習存在著四大痛點

　　很多用戶認為深度學習的主要痛點是性能，只要有足夠強大的性能，即可以解決深度學習存在的各種問題。在馬子雅看來，性能并非深度學習的主要痛點，用戶的真正痛點主要有四個方面。

　　一是如何利用已有的海量數據分析平臺，比如Hadoop、Spark，或者是跟已有的分析應用程序直接結合，而不是單獨作為一個分開訓練的功能存在。

　　二是如何將深度學習在一個集群上進行擴展，不是在一個或者兩個分布式的節點上。這也是當前許多軟件公司開始把Spark跟Caffe、TensorFlow進行結合，把已有的深度學習框架跟Spark可擴展性結合到一塊兒，來解決高效可擴展性痛點。當然，由于 Caffe、TensorFlow并不是為擴展性設計的，也不是為Spark設計的，當把兩個方案結合到一塊兒時，根本無法實現數據并行跟模型訓練并行，只是表面把這兩個產品黏合到一塊兒去，根本無法做到真正的分布式的深度學習的功能。

　　三是如何解決深度學習高昂代價的問題，用戶不希望部署一個非常昂貴的新集群，而是利用已有集群添加深度學習功能。

　　四是如何用高性能來縮短模型訓練的周期。

　　基于以上四大痛點，英特爾推出了BigDL。BigDL是在Spark的基礎上構建了分布式深度學習的框架，將以往的深度學習框架同Spark結合之后，優勢非常突出。

　　首先，BigDL深度學習功能與已有深度學習框架功能完全一致，例如Caffe、Torch、TensorFlow等，功能相當豐富。第二，BigDL能夠無縫與Spark和Hadoop進行結合，直接在大數據平臺中應用。第三，BigDl能夠利用Spark的可擴展性做到數據并行，擁有強大的可擴展性，可以在一個集群上進行擴展，并且非常容易擴展到上百個節點。第四，低成本。由于可以利用BigDL在已有的集群上直接生成深度學習，所以成本非常低。最后，高性能。通過利用英特爾優化過的數學核心函數庫和多線程優化方法來提升BigDL的性能，特別是在至強服務器上，性能優勢非常明顯。

　　馬子雅表示，今年第一季度，BigDL已經發布了一個版本，第二版本將會在今年7月推出，與第一版本相比，它在Python API的支持，尤其是對支持載入Caffe、Torch、TensorFlow的預訓練模型上有了很大的提升。另外，在用戶體驗，包括提供一些更豐富的RNN的支持上，第二版本將會更加全面。

　　深度合作推動人工智能落地

　　英特爾與Cloudera主要在三個方面達成了深度合作，一個是英特爾將會與Cloudera共同進行軟件優化，并利用英特爾最新的硬件技術來做一些合作。二是在開源方面英特爾與Cloudera的所有合作都是最先到開源，貢獻給開源。之后Cloudera會把功能從開源里再放到自己的解決方案和產品當中去。三是共同合作項目，一起幫助用戶解決問題。

[[197630]]

　　Cloudera聯合創始人兼首席技術官Amr Awadallah表示，Cloudera數據科學平臺是一個非常好的深度學習解決方案，滿足了不同的甚至是相互沖突的訴求。數學科學家利用Cloudera平臺編程，開發諸如Spark或者是Python等等不同的語言，并能夠加入一些新的庫，例如TensorFlow和BigDL。他表示，目前正處在人類歷史上最偉大、最重要的一次轉型，那就是決策的自動化，它的重要意義絕對不會弱于先前出現的工業革命，Cloudera和英特爾密切合作共同推動浪潮向前發展。

　　馬子雅表示，英特爾在數據分析應用和人工智能方面的承諾從來沒有改變，我們希望給用戶友好的用戶體驗。一是通過硬件的升級和軟件優化來推進技術民主化;二是為新興的需求提供新興的解決方案;三是跟用戶合作，推動創新，為用戶解決最新、最復雜的問題，來幫助用戶最大化其商業價值。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】