【51CTO.com原創稿件】這是一家人工智能創業公司，成立之日尚短，剛完成A輪融資。

　　創始團隊中有三位分別來自美國東北大學、北卡羅來納州立大學及威廉瑪麗學院的本領域知名教授。

　　它聚焦于端側AI的實現，致力于在不額外增加人工智能專用硬件的情況下，讓現有處理器能實時地處理人工智能應用。

　　它就是CoCoPIE——在一條少有人走的路上摸索前行的AI領域新星。

　　這家名字有點可愛的AI技術公司在近日迎來了其新任負責人李曉峰博士。李曉峰曾擔任OPPO軟件首席架構師、華為技術副總裁、華米美國分公司總經理兼技術副總裁，擁有豐富的技術研發和管理經驗。對于終端設備的智能化趨勢，他有何見解？AI創業公司眾多，他為何選擇掌舵CoCoPIE？結合CoCoPIE的技術和應用前景，他如何規劃公司的當下和未來？就這些問題，李曉峰接受了51cto記者的專訪。

?[[430021]]??

　　挑戰：如何在終端設備上實現AI應用實時化

　　隨著5G和物聯網技術的普及，人工智能在終端設備上的應用并不少見，大眾對于人臉識別、視頻監控、工業質檢、遠程維護等場景也算得上耳熟能詳。但受限于終端設備的算力、功耗、內存等因素，終端設備的智能化之路依舊荊棘叢生。

　　李曉峰指出：AI算法目前的主要技術是基于深度學習的，這就意味著，一般而言，比較大的模型才有可能獲得較好的準確度。但模型大了之后就必然導致對算力的較高要求，而這一點在當前的終端設備上卻很難被滿足。

　　當前AI在主流終端硬件上的實現方式是，設備將數據發送至云端進行運算處理，處理完畢后再發回至設備。這種方法固然是解決了算力問題，但一來服務器成本和帶寬成本較高，二來應用體驗會有時延。因此，如何實現AI運算本地化就成為了技術突破的焦點。

　　李曉峰介紹：面對這一問題，業界常用的解決方法有兩種，一是研發AI專用芯片或定制ASIC芯片；二是對模型進行大幅度壓縮，降低對算力的要求。但就目前來說，這兩種方法都存在明顯不足。專用芯片固然能針對性解決算力問題，但成本高、研發周期長、通用性弱、風險性高，另一方面，模型壓縮往往以準確度的下降為代價，也許能解一時之急，但終究很難在精準度和效率間取得平衡。

　　要推廣普及終端設備智能化，就必須解決這一困境。當CoCoPIE團隊洞悉這一點時，他們敏銳覺察到：機會來了。他們并未拘囿于現有的解決方案，而是從第一性原理出發，分析AI任務的算力要求的本質，選擇了一條少有人走的路進行探索。

　　選擇：CoCoPIE的另辟蹊徑

　　為什么AI任務在現有硬件上表現不好？李曉峰總結主因有二：“一方面是現有的AI計算中有很多冗余計算，另一方面現有的運行引擎沒能充分發揮芯片的潛力。”

　　通俗來說，專用芯片之所以更適合AI任務，是因為具有大量的矢量計算單元，能夠適合大規模并行計算的需求。但事實上，當前主流芯片也基本都有了矢量計算單元。CoCoPIE團隊認為，在深度學習模型本地化運算的過程中，CPU、GPU、DSP等主流硬件尚有很大潛力沒有被開發。相比于AI專用芯片，這些通用芯片固然能力要弱一些，但執行當前的AI任務也基本夠用。

　　如何充分發揮這些通用芯片的潛力？李曉峰解釋道，前提是必須有“優異的編譯器”，通過精巧的設計將AI任務轉換為合適的矢量計算，同時控制好總體的計算量。基于這一認識，CoCoPIE設計了一種人工智能模型的壓縮-編譯協同方案，能夠使得以往無法運行在終端設備上的神經網絡得以在終端上運行，進而在現有的終端設備硬件條件下，實現端側智能的高效實時化。此外，這種軟件協同模型亦可有效加速各種新生代AI硬件。

　　李曉峰認為，CoCoPIE的技術路線在端側AI領域有巨大的成長空間。早在CoCoPIE成立之前他就與創始團隊認識并參與過初期討論，后續也在持續關注其進展。李曉峰選擇在CoCoPIE的發展關鍵期加入，對雙方來說都是恰逢其會。

　　對李曉峰來說，他高度認可CoCoPIE的技術實力，相信其能在端側AI大有可為。他提到：端側AI的潛在市場是萬億美元規模。能有機會在這樣的發展風口參與其中，通過自身努力改變人們的生活，是幸事也是樂事。

　　對CoCoPIE來說，李曉峰之前的工作經歷和團隊管理經驗會為公司帶來關鍵的助益。無論是在英特爾、華米、華為還是OPPO，圍繞端側設備展開的一系列工作都讓他深刻體察到——端側計算的重要性在不斷擴展，端側用戶價值在不斷提升。

　　在英特爾時，李曉峰曾帶領團隊負責Android系統在英特爾移動平臺上的性能、功耗和流暢性，并開發了業界第一個Android評測套件；在華米時曾領導團隊進行健康手環產品的軟件和算法研發；在擔任華為技術副總裁時，曾帶領團隊研發應用于移動設備的智能感知算法；在OPPO時，曾發明基于感知觸發的新型應用技術……這些經歷讓他對端側AI的技術發展和市場需求擁有深刻的理解，對于端側設備智能化的發展趨勢和構建方式有深層的洞見，也讓他對于掌舵CoCoPIE更有信心。

　　內核：在“協同設計”中走出的第三種可能

　　對一家技術公司來說，如果說掌舵者代表劍之所指、心之所向，那么核心技術永遠是筑基之石、立身之本。在業界普遍認為硬件是限制當前終端設備進行實時推理的主要因素，故而針對芯片的競爭趨向白熱化的當口，CoCoPIE的另辟蹊徑反而提供了一種的新的可能和想象空間。

　　CoCoPIE，即Compression-Compilation co-design for Performance, Intelligence, and Efficiency，意為一種高性能、高智能和高效率的壓縮-編譯協同設計方式。從這個名字我們可以直觀地看到CoCoPIE的技術核心和優勢所在。

　　李曉峰對此做了進一步說明：壓縮和編譯是在硬件上擬合深度學習模型以實現高效執行的兩個關鍵步驟。CoCoPIE技術的核心在于二者的“協同設計”，這是CoCoPIE的首創技術。這個技術的關鍵在于，在設計壓縮的時候考慮編譯器及硬件的偏好從而選擇壓縮的方式，在設計編譯器的時候利用壓縮模型的特點來設計相應的編譯優化方法。

　　要做到這一點，尋找合適的模型壓縮方式是關鍵。模型壓縮需要在不影響模型準確度的前提下，減少模型的參數（權重）數量，從而降低模型本身訓練及推理復雜度。

　　以往權重剪枝主要有兩種方式：針對任意權重的非結構化剪枝和針對過濾器或通道的結構化剪枝。非結構化剪枝能夠優化任意權重，保證了準確率，但是由于剪枝不規則，對硬件優化不友好，不利于實現并行運算，計算能耗也會因此升高。結構化剪枝對所有通道和過濾器都做統一剪枝，由于剪枝方式規則，有利于硬件加速，但隨之而來的是準確率的降低。

　　兩者各有利弊，綜合權衡下，CoCoPIE開創性提出了第三種方案——一種基于模式（pattern）的權重剪枝方法。

　　李曉峰解釋，這種方法的基本思想是，針對不同的運行環境及模型特性，找到其特定的模式，對過濾器可以選取不同的模式進行剪枝。這種壓縮方式本質上是一種“細粒度的結構化剪枝”，可以保證在有效減少計算量的前提下依然保證準確率不變。同時，編譯器可以基于該模式對過濾器進行重新排列及代碼生成，有利于最大化地實現計算并行化和內存優化。這樣將壓縮和編譯完美地結合起來，實現了準確率和高效率的二者兼得。

　　對應壓縮和編譯兩個步驟，CoCoPIE設計了兩個組件：CoCo-Gen和CoCo-Tune。CoCo-Gen通過將基于模式的深度神經網絡（DNN）剪枝與基于模式的代碼生成相協同，生成高效的 DNN 執行代碼；CoCo-Tune則基于軟件工程中可組構性的概念，將整個網絡當做很多的組件模塊的結合，其中每個模塊由一系列CNN層組成。CoCo-Tune對這些可復用的訓練模塊進行預訓練并將結果用于之后的網絡，從而顯著縮短DNN模型壓縮及訓練的過程。

　　CoCoPIE帶來的性能提升是非常可觀的，它的加持不僅可以使很多曾經無法在端側通用芯片上運行的模型得以高效運行，而且效率表現也遠優于專用芯片。在對照實驗中:

　　同樣是VGG-16神經網絡，用通用芯片和谷歌TPU-V2作比，使用CoCoPIE后在移動設備Samsung Galaxy S10上比在TPU-V2上能效提高了近18倍；

　　同樣是Samsung Galaxy S10平臺，運行行為識別的C3D和S3D兩個任務，CoCoPIE的速度比Pytorch分別提高了17倍和22倍；

　　另外，對功耗測試的結果顯示，CoCoPIE與TVM相比，執行時間縮短了9倍以上，功率卻僅多消耗了不到10%。

　　產品：拓展智能泛在化的空間

　　對一家人工智能創業公司來說，要尋求發展，除了在技術上不斷精進外，建立完善的產品和服務體系也是重中之重。對此，李曉峰已經有了清晰的概念。

　　在他看來，公司當前的發展重點是建立高技術壁壘的可以放量的產品體系，真正把領先的技術轉化為可以直接服務于大規模客戶需求的產品體系。同時要把團隊建設、產品戰略、業務戰略這些公司發展的核心閉環打造堅實，與合作生態形成良性互動，這樣就可以把雪球滾動起來，不斷積累，加速成長。

　　在創新技術的產品轉化方面，李曉峰強調，他更側重的是智能技術的泛在化（ubiquitous）。這里的“泛在化”更多意指無處不在的，而不是單單的普適化、大眾化。

　　他認為，過去在設備里植入芯片能跑一個或一些應用，就被認為是智能設備（Smart Devices）。但實際上這里的“智能”實現要依賴云端、依賴網絡，一旦這些外部條件出現變化或故障，均有可能帶來不可預計的損失。何況很多業務本身對于隱私安全、運行安全都有要求，這些不可控因素會使人不敢將業務部署在端側。這種狀況在很大程度上也限制了端側AI的發展。

　　因此要真正推動Smart Devices（智能設備）向Intelligent Devices（智慧設備）演進，必須拓展其發展空間，使AI真正無處不在，讓端側智能在本地真正實現，而不是受限于外因。CoCoPIE目前在做的就是加速這一進程。CoCoPIE的技術實質是讓AI任務在芯片平臺上實現高效執行，也就是起到連接AI任務和硬件平臺的作用，這個環節為端側AI的本地實時化提供了路徑，重塑了Intelligent Devices的想象空間。

　　李曉峰介紹，目前CoCoPIE的技術已經擁有了比較多樣的落地場景。具體來看可以分為三類：AI應用的優化執行，比如助力實現實時的視頻增強；智能設備AI賦能，比如攝像頭的活動檢測；芯片平臺的一體化設計，比如為芯片平臺設計和集成AI運行棧。

　　基于這些場景，CoCoPIE可以為用戶提供三類服務：其一，通過供完整的工具鏈和SDK來賦能客戶；其二，通過云側SaaS提供大規模的自動化AI模型優化服務；其三，深入合作提供定制化服務。

　　目前CoCoPIE的合作客戶有騰訊、滴滴、美國交通部、高知特（Cognizant）等等，涵蓋了互聯網廠商、移動設備制造商、芯片平臺提供商等多個領域。

　　遠方不遠：萬物智能互聯，想象無遠弗屆

　　無論是個人還是企業的發展都離不開時代。我們正身處一個怎樣的時代？

　　5G發展如火如荼，物聯網也在多年沉寂后走到了聚光燈下，萬物互聯開始成為時代的技術夢想。無數的終端設備猶如繁星，在這個夢想中明滅起伏，不可輕忽。CoCoPIE窺見了其中光景，于是在這個玩家眾多的賽道欣然入局。

　　李曉峰說：“設備是為人服務的，是人的能力的延伸。”

　　在他看來，端側設備是人與數字世界進行交互的載體，端側能力的發展趨勢就是讓人可以自由地在物理世界和數字世界之間進出。未來，越來越多的端側設備一定會協同起來，讓這個進出的過程更加流暢、自然、無感。

　　要達成這一目的，必須滿足兩方面的要求：一方面，端側必須能夠理解人，清楚人的意圖和環境，才能定位優質服務，做好數字世界的入口；另一方面，端側必須能夠給人以愉悅真實的體驗，才能輸出優質服務，做好數字世界的出口。這兩者都需要端側設備更加“聰明”，既能知道人的需要，又能滿足人的需要，做到“交互智慧化、體驗真實化”。發展端側AI的重要性就在于此，CoCoPIE也正是為此而生，長路漫漫，它亦期待著更多同行者，相攜數程，得見未來。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】