人工智能已經(jīng)成為
一股強(qiáng)大的變革和推動(dòng)趨勢(shì),
慢慢進(jìn)入了各行各業(yè)。
特別在企業(yè)級(jí)用戶領(lǐng)域,
AI的融入與應(yīng)用更為引人注目。
”
政策利導(dǎo)下的企業(yè)級(jí)AI價(jià)值在哪里?
IDC報(bào)告顯示,未來三年,在中國,人工智能整體市場的年復(fù)合增長率將超過50%,到了2020年,中國人工智能市場的整體規(guī)模將到達(dá)150.2億人民幣,其中政府、金融、醫(yī)療、制造等行業(yè)將占整體人工智能應(yīng)用市場規(guī)模的一半以上。
如此重要的未來趨勢(shì),如此重要的市場潛力,自然受到了來自政府和行業(yè)的深切關(guān)注。
從國家政策角度看,從2015年開始,國務(wù)院和相關(guān)部委頻繁發(fā)布相關(guān)政策,推動(dòng)人工智能的發(fā)展。比如在《中國制造2025》、“互聯(lián)網(wǎng) +”行動(dòng)計(jì)劃、“十三五規(guī)劃”中,紛紛將人工智能列為著重發(fā)展的領(lǐng)域, 國家發(fā)改委2016年9月還將人工智能納入“互聯(lián)網(wǎng) +”建設(shè)專項(xiàng)。
2017年7月20日,國務(wù)院正式印發(fā)《新一代人工智能發(fā)展規(guī)劃》,明確提出了中國人工智能“三步走”戰(zhàn)略、八大關(guān)鍵技術(shù)研究、數(shù)十個(gè)產(chǎn)業(yè)落地、AI人才的培養(yǎng)和引進(jìn)、以及成立人工智能規(guī)劃推進(jìn)辦公室等戰(zhàn)略規(guī)劃。
這一系列的國家政策發(fā)文的激勵(lì)與引領(lǐng)下,人工智能已經(jīng)從國家戰(zhàn)略層面登上了中國的歷史舞臺(tái),并逐漸在多個(gè)行業(yè)里面“生根發(fā)芽”。
以全球的眼光看重,盡管中國人工智能基礎(chǔ)支撐能力還存在不足,但是,中國已經(jīng)在深度學(xué)習(xí)技術(shù)及應(yīng)用創(chuàng)新平臺(tái)的構(gòu)建上發(fā)力了。同時(shí)在支撐大規(guī)模密集型計(jì)算、海量數(shù)據(jù)訓(xùn)練、計(jì)算機(jī)視聽覺、生物特征識(shí)別、復(fù)雜環(huán)境感知、新型人機(jī)交互、 機(jī)器翻譯等技術(shù)的研發(fā)和工程化方面,不斷進(jìn)取,以提升深度學(xué)習(xí)算法的綜合運(yùn)用能力。
不過,按照國家在AI領(lǐng)域的發(fā)展大規(guī)劃,中國在AI人才培養(yǎng)上還需要下大力氣,依托更為豐富、堅(jiān)實(shí)的人才基礎(chǔ),然后構(gòu)建中國的人工智能技術(shù)標(biāo)準(zhǔn)、服務(wù)體系和產(chǎn)業(yè)生態(tài)鏈。其最終目標(biāo)就是要將人工智能核心產(chǎn)業(yè)規(guī)模發(fā)展到1500多億元,并帶動(dòng)相關(guān)產(chǎn)業(yè)規(guī)模超過1萬億元。
為此,國家AI層面也帶動(dòng)了行業(yè)AI轉(zhuǎn)型,從“互聯(lián)網(wǎng)+”到“人工智能+”,一個(gè)以人工智能為技術(shù)核心的新生態(tài)與新業(yè)態(tài)慢慢在形成。并且在幾個(gè)重要的行業(yè)中,AI所能發(fā)揮出來的價(jià)值已經(jīng)獲得了業(yè)界的認(rèn)可。比如在金融行業(yè),人工智能在風(fēng)險(xiǎn)監(jiān)測、反欺詐、信用評(píng)估等方面發(fā)揮了重要等作用;在制造行業(yè),工業(yè)物聯(lián)網(wǎng)+實(shí)時(shí)數(shù)據(jù)分析則可用于故障診斷、個(gè)性化定制等。
不僅如此,在醫(yī)療行業(yè),利用深度學(xué)習(xí)等技術(shù)可進(jìn)行診療圖像處理、輔助診斷應(yīng)用,未來還可以從就診前交互環(huán)節(jié)向下延伸至臨床診療、精準(zhǔn)用藥,向上拓展至新藥研發(fā)環(huán)節(jié),形成醫(yī)療AI生態(tài)鏈;在物流行業(yè),倉儲(chǔ)及物流環(huán)節(jié)的無人車、無人機(jī)也正在成為新潮流。
業(yè)內(nèi)專家評(píng)論道:國家政策利導(dǎo),企業(yè)級(jí)AI的價(jià)值逐漸顯現(xiàn),并在未來的發(fā)展中將會(huì)發(fā)揮著前所未有的作用。
企業(yè)級(jí)AI需要什么樣的基礎(chǔ)架構(gòu)平臺(tái)?
行業(yè)在發(fā)展,企業(yè)級(jí)AI的價(jià)值如此重要,也如此引人注目,那么企業(yè)級(jí)AI到底需要什么樣的基礎(chǔ)架構(gòu)平臺(tái)來支撐呢?
對(duì)此,中科院自動(dòng)化所所長徐波表示:“我們始終堅(jiān)持以智能技術(shù)作為研究所戰(zhàn)略發(fā)展的主要方向,并與戴爾中國共建聯(lián)合實(shí)驗(yàn)室,將進(jìn)一步加強(qiáng)研究所的計(jì)算平臺(tái)優(yōu)勢(shì),增強(qiáng)科研與產(chǎn)業(yè)的融合創(chuàng)新,助力研究所在人工智能領(lǐng)域的創(chuàng)新發(fā)展。”
一個(gè)幫助企業(yè)實(shí)現(xiàn)基于深度學(xué)習(xí)的大數(shù)據(jù)分析,快速步入人工智能時(shí)代的先進(jìn)人工智能深度學(xué)習(xí)平臺(tái)“諸葛·深知”也就這樣誕生了。
作為中科院自動(dòng)化所和戴爾聯(lián)合開發(fā)對(duì)AI成果,“諸葛·深知”以業(yè)界領(lǐng)先的企業(yè)級(jí)深度學(xué)習(xí)應(yīng)用與服務(wù)平臺(tái),幫助企業(yè)用戶提供深度學(xué)習(xí)工具包的統(tǒng)一接口,以及眾多成熟算法模型。這就明顯方便了企業(yè)用戶在AI領(lǐng)域的應(yīng)用與進(jìn)步。
尤其是對(duì)于大量技術(shù)力量薄弱的中小企業(yè)來說更是需要“諸葛·深知”這樣的企業(yè)級(jí)AI平臺(tái)。因?yàn)楫?dāng)前深度學(xué)習(xí)框架、工具庫眾多,很多都是開源版本,適用場景各有不同,如何構(gòu)建一個(gè)統(tǒng)一、高效的深度學(xué)習(xí)管理平臺(tái),滿足多種深度學(xué)習(xí)框架及工具庫的安裝、配置、管理,以及多重框架的并行工作,這對(duì)多數(shù)企業(yè)和機(jī)構(gòu)是一個(gè)巨大的挑戰(zhàn)。“諸葛·深知”有著先進(jìn)的基礎(chǔ)架構(gòu)支撐,將各種工具集成在一個(gè)AI平臺(tái)上,對(duì)于企業(yè)用戶的AI應(yīng)用來說,可謂一步到位。
不過,要實(shí)現(xiàn)這樣的企業(yè)級(jí)AI平臺(tái),其基礎(chǔ)架構(gòu)的構(gòu)建卻不是一步就可以到位的。
事實(shí)上,“諸葛·深知”對(duì)于基礎(chǔ)設(shè)施的需求較高,針對(duì)中科院自動(dòng)化所用戶數(shù)量多、種類多、應(yīng)用多的實(shí)際情況,系統(tǒng)對(duì)于計(jì)算能力和存儲(chǔ)能力的需求都非常大。如在影像處理方面,要求800MB/s單線程帶寬訪問,能夠存儲(chǔ)32GB的數(shù)據(jù)文件。在訓(xùn)練計(jì)算方面,要求GPU運(yùn)算至少能支撐十幾個(gè)應(yīng)用并發(fā)等等,在計(jì)算和存儲(chǔ)方面有著不同于傳統(tǒng)企業(yè)級(jí)用戶的需求。
企業(yè)級(jí)深度學(xué)習(xí)應(yīng)用與服務(wù)平臺(tái)第一、二期架構(gòu)圖
從總體基礎(chǔ)架構(gòu)設(shè)計(jì)來看,“諸葛·深知”企業(yè)級(jí)深度學(xué)習(xí)應(yīng)用與服務(wù)平臺(tái)項(xiàng)目分為兩期進(jìn)行。第一期的目標(biāo)是基礎(chǔ)設(shè)施建設(shè),即搭建先進(jìn)的通用計(jì)算平臺(tái)。第二期的目標(biāo)是通過增強(qiáng)存儲(chǔ)和計(jì)算能力、增強(qiáng) GPU能力等,滿足深度學(xué)習(xí)和機(jī)器人平臺(tái)的需求。
從“諸葛·深知” 實(shí)際建設(shè)的過程來看,深度學(xué)習(xí)應(yīng)用與服務(wù)平臺(tái)真正需要滿足的企業(yè)級(jí)AI基礎(chǔ)架構(gòu)有著三大關(guān)鍵。
其一,先進(jìn)性和高性能,能滿足深度學(xué)習(xí)領(lǐng)域?qū)Ω咝阅苡?jì)算和算法優(yōu)化等先進(jìn)性的需求。
其二,穩(wěn)定性和高可靠性,可以保證深度學(xué)習(xí)平臺(tái) IT 架構(gòu)的性能穩(wěn)定和安全可靠。
其三,可擴(kuò)展性和靈活選擇,IT平臺(tái)具有可擴(kuò)展性,能夠滿足未來應(yīng)用的需求和提高 IT投資回報(bào)率。同時(shí),由于在深度學(xué)習(xí)領(lǐng)域有非常多的算法和框架, 企業(yè)或機(jī)構(gòu)的用戶使用時(shí)可能有多種選擇,如何讓用戶按需加載他們需要的文件或?qū)W習(xí)庫是深度學(xué)習(xí)應(yīng)用平臺(tái)需要解決的一大問題。
“諸葛·深知”正式發(fā)布之后,隨著一系列深度學(xué)習(xí)框架及工具集的推出,操作人員相比以往更容易在高性能計(jì)算集群上針對(duì)應(yīng)用進(jìn)行深度學(xué)習(xí)建模、訓(xùn)練、測試和調(diào)優(yōu),并且可以利用GPU技術(shù)實(shí)現(xiàn)成倍的浮點(diǎn)計(jì)算性能加速。
如何構(gòu)建企業(yè)級(jí)AI應(yīng)用的入口?
不僅企業(yè)級(jí)AI的基礎(chǔ)架構(gòu)平臺(tái)建設(shè)如此重要,同時(shí)AI對(duì)于企業(yè)用戶業(yè)務(wù)與發(fā)展的重要性也得到了業(yè)界到肯定,AI自身市場的高復(fù)合增長也進(jìn)一步加深了大家對(duì)構(gòu)建企業(yè)級(jí)AI應(yīng)用的最佳入口的重視。
來自埃森哲的研究數(shù)據(jù)顯示,到2035年,人工智能有望將企業(yè)盈利能力提升38%,同時(shí)可能為中國經(jīng)濟(jì)增長率增加1.6個(gè)百分點(diǎn)。另據(jù)預(yù)測, 到2020年,全球深度學(xué)習(xí)系統(tǒng)市場規(guī)模將超過13億美元,2016~2020年間的復(fù)合年增長率將達(dá)到38.73%。
那么,如何構(gòu)建企業(yè)級(jí)AI應(yīng)用的入口,對(duì)戴爾、對(duì)中科院自動(dòng)化所來說,無論是IT技術(shù)廠商還是科研機(jī)構(gòu),還是直接的企業(yè)用戶,這都顯得非常重要。
當(dāng)前,“諸葛·深知”為數(shù)據(jù)密集、價(jià)值型行業(yè)提供以深度學(xué)習(xí)為基礎(chǔ)的大數(shù)據(jù)挖掘解決方案和計(jì)算平臺(tái),逐漸成為累企業(yè)級(jí)人工智能應(yīng)用的入口。
為了保障這個(gè)企業(yè)級(jí)AI應(yīng)用入口的獲得穩(wěn)定、高效的運(yùn)行,戴爾借助自身和合作伙伴在計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等多個(gè)領(lǐng)域等基礎(chǔ)架構(gòu)優(yōu)勢(shì)資源, 與科研資源強(qiáng)強(qiáng)聯(lián)合,推動(dòng)人工智能跨越發(fā)展。
在“諸葛·深知”平臺(tái)建設(shè)過程中,中科院自動(dòng)化所采用了戴爾及合作伙伴的先進(jìn)技術(shù)和產(chǎn)品,包括戴爾高性能服務(wù)器、NVIDIA Tesla GPU、戴爾存儲(chǔ)服務(wù)器和戴爾大容量存儲(chǔ)設(shè)備、Intel Lustre高性能并行存儲(chǔ)、高性能Mellanox網(wǎng)絡(luò)產(chǎn)品,以及業(yè)界領(lǐng)先的BrightComputing HPC/Deep Learning軟件,并由戴爾中國的專業(yè)服務(wù)實(shí)施團(tuán)隊(duì)進(jìn)行安裝部署。
“諸葛·深知”軟硬件基礎(chǔ)架構(gòu)圖
從軟硬件系統(tǒng)的組成來看,硬件系統(tǒng)由CPU計(jì)算集群、GPU計(jì)算集群、大內(nèi)存節(jié)點(diǎn)集群、高性能存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)等組成。軟件系統(tǒng)由操作系統(tǒng)、集群管理和資源管理軟件組成。可以提供高性能計(jì)算平臺(tái)、大數(shù)據(jù)平臺(tái)和云平臺(tái)。用戶的訪問非常靈活,可以通過Web Portal、SSH登錄和ftp文件訪問。同時(shí),通用計(jì)算平臺(tái)特別構(gòu)建了由用戶設(shè)定的服務(wù)體系以及安全體系。
企業(yè)級(jí)AI平臺(tái)架構(gòu)特別在哪里?
企業(yè)級(jí)AI應(yīng)用的入口需要的不只是某一個(gè)服務(wù)器或某幾臺(tái)服務(wù)器集群發(fā)揮出來的價(jià)值,更需要的是一個(gè)整體的軟硬件發(fā)揮出高性能。但是想要獲得突出的高性能,一個(gè)成功的企業(yè)級(jí)AI平臺(tái)架構(gòu),必然在具體的高性能計(jì)算與應(yīng)用方面有著非常特別而又實(shí)用的設(shè)計(jì)。
如前文所提到的“諸葛·深知”平臺(tái)建設(shè)分為一期通用計(jì)算平臺(tái)和二期針對(duì)深度學(xué)習(xí)和機(jī)器人應(yīng)用的平臺(tái),這分步驟建設(shè)的平臺(tái)架構(gòu)中有所側(cè)重,自然有著特別之處。
在一期通用計(jì)算平臺(tái)中,采用12臺(tái)戴爾PowerEdge C4130 GPU服務(wù)器組成了高性能計(jì)算集群,同時(shí)搭建了容量為960TB的并行存儲(chǔ)系統(tǒng)Lustre。
其中,戴爾PowerEdge C4130高性能服務(wù)器針對(duì)HPC作業(yè)和VDI環(huán)境,1U空間擁有高密度的PCI插槽,并且支持1TB大內(nèi)存,以及最大4個(gè)300W的加速器和2 顆Intel Xeon E5-2600 v4 CPU,增強(qiáng)了IO能力的同時(shí),還支持InfiniBand FDR、NVIDIA GPU DIRECT和Intel Omni-Path架構(gòu),對(duì)計(jì)算加速和網(wǎng)絡(luò)性能提供了更大的靈活性。
此外,采用Intel Lustre并行存儲(chǔ)系統(tǒng),可以通過單文件系統(tǒng)命名空間,存儲(chǔ)容量和性能獲得同步輕松擴(kuò)展,滿足PB級(jí)文件存儲(chǔ)的高要求。其動(dòng)態(tài)存儲(chǔ)擴(kuò)展功能,實(shí)現(xiàn)了18.5GB/s的讀取速 率和15.1GB/s的寫入速率。
與此同時(shí),搭配了Intel Hadoop Adapter for Lustre(HAL)大數(shù)據(jù)工作負(fù)載的解決方案設(shè)計(jì),將HPC和Hadoop的數(shù)據(jù)融合到一整套存儲(chǔ)系統(tǒng)中,數(shù)據(jù)處理速度得到大大提升。
為了配合高性能計(jì)算和并行存儲(chǔ)獲得更高到效率,網(wǎng)絡(luò)方面采用了基于Intel Omni-Path架構(gòu)的戴爾Networking H系列交換機(jī)與每端口速率高達(dá)100Gb/s的Mellanox EDR InfiniBand高效網(wǎng)絡(luò)方案 。
在二期主要針對(duì)深度學(xué)習(xí)和機(jī)器人應(yīng)用方面,針對(duì)深度學(xué)習(xí)和機(jī)器人應(yīng)用進(jìn)行了存儲(chǔ)系統(tǒng)的分別配置,同樣采用了12臺(tái)戴爾PowerEdge C4130 GPU服務(wù)器組成集群,對(duì)應(yīng)2個(gè)容量為480TB和240TB的NFS存儲(chǔ)系統(tǒng)用于深度學(xué)習(xí)。采用另外2臺(tái)C4130 GPU服務(wù)器和一個(gè) 240TB的NFS存儲(chǔ)系統(tǒng)用于機(jī)器人應(yīng)用平臺(tái)。如一期工程那樣采用多種計(jì)算平臺(tái)和多種高速網(wǎng)絡(luò)結(jié)合的方案, 以滿足深度學(xué)習(xí)和機(jī)器人浮點(diǎn)計(jì)算強(qiáng)度以及網(wǎng)絡(luò)傳輸需求。
其中,戴爾NFS解決方案的優(yōu)化設(shè)計(jì)配置,提供最高的數(shù)據(jù)吞吐量和峰值可達(dá)6.07GB/2.23GB的讀寫性能,很好滿足了深度學(xué)習(xí)和機(jī)器人平臺(tái)的性能嚴(yán)苛需求。
需要著重指出的是,戴爾Bright Cluster Manager(BCM)集群管理軟件與NVIDIA GPU這樣性能加速的關(guān)鍵部件的很好配合,在直接集成了NVIDIA驅(qū)動(dòng)、工具集及管理API的情況下,用戶可以在各種深度學(xué)習(xí)框架下運(yùn)行GPU,支持深度學(xué)習(xí)應(yīng)用跨越多臺(tái)物理設(shè)備的GPU資源。同時(shí),BCM軟件還對(duì)NVIDIA GPU卡運(yùn)行狀態(tài)、以及業(yè)界常用的人工智能與深度學(xué)習(xí)框架、工具集、函數(shù)庫與硬件驅(qū)動(dòng)進(jìn)行有效管理。
當(dāng)然,既然“諸葛·深 知”平臺(tái)由戴爾與中科院自動(dòng)化所聯(lián)合推出,因而也充分利用了雙方的技術(shù)優(yōu)勢(shì),中科院的成熟算法模型,以及深度學(xué)習(xí)工具包的靈活調(diào)用,對(duì)于企業(yè)AI應(yīng)用與進(jìn)階之旅有著立竿見影的作用。
企業(yè)級(jí)AI 未來已來
好的基礎(chǔ)架構(gòu)平臺(tái)自然可以構(gòu)建好的企業(yè)級(jí)AI應(yīng)用,企業(yè)級(jí)AI平臺(tái)架構(gòu)在高性能計(jì)算、并行存儲(chǔ)、高效網(wǎng)絡(luò)、強(qiáng)大集群管理軟件等共同配合下,也讓企業(yè)用戶可以用好AI得到了有效的保障。
隨著“諸葛· 深知”等全新認(rèn)知的人工智能平臺(tái)的推出,為企業(yè)和機(jī)構(gòu)打開了利用人工智能的應(yīng)用窗口。
“諸葛· 深知”幫助用戶快速構(gòu)建企業(yè)級(jí)AI應(yīng)用,為企業(yè)用戶在AI領(lǐng)域的整體創(chuàng)新實(shí)力提升創(chuàng)造了基礎(chǔ)條件。在企業(yè)級(jí)AI應(yīng)用的進(jìn)一步深入下,公共交通、營銷和媒體、法律服務(wù)、金融服務(wù)、 醫(yī)療保健服務(wù)、石油和天然氣等行業(yè)的業(yè)務(wù)創(chuàng)新與效率提升也將因此而改變,相關(guān)應(yīng)用企業(yè)也獲得了行業(yè)競爭力的增強(qiáng),并加速企業(yè)用戶邁向數(shù)字化轉(zhuǎn)型。
顯然,以“諸葛·深知”為代表的
企業(yè)級(jí)AI應(yīng)用最佳選擇平臺(tái),
也加快了行業(yè)用戶基于大數(shù)據(jù)的
人工智能與深度學(xué)習(xí)的探索。
企業(yè)級(jí)AI 未來已來,
為此,我們有理由相信,
未來隨著企業(yè)級(jí)AI平臺(tái)的
不斷創(chuàng)新、發(fā)展與完善,
將會(huì)有更多的行業(yè)和企業(yè)從中受益。