華為云發(fā)布深度學習服務,企業(yè)智能從此不求人
近日,華為云發(fā)布了深度學習服務,要讓企業(yè)智能從此不求人。那么華為云的深度學習服務有哪些能力,為什么能夠做到讓企業(yè)智能從此不求人呢。
化繁為簡—無需編程,自動訓練企業(yè)業(yè)務模型
企業(yè)進行深度學習訓練的***個困難是技術難度高。企業(yè)要進行深度學習的模型訓練,有很高的技術門檻。比如要自己搭建深度學習平臺,要有懂得編程的技術人員,還要有海量的訓練數(shù)據(jù)等等。而華為云深度學習服務,可以提供深度學習平臺以及業(yè)界常用的深度學習引擎,免除企業(yè)自己搭建深度學習平臺之苦。
同時,華為云深度學習服務,內(nèi)置大量基于開源數(shù)據(jù)集訓練好的模型,并支持模型選擇自動化。用戶在進行企業(yè)自己的模型訓練時,只需要把企業(yè)標注好的數(shù)據(jù)加載到華為云深度學習服務中,該服務就可以快速自動的訓練出企業(yè)的業(yè)務模型,這樣就免除了模型訓練的編程過程。比如在企業(yè)的生產(chǎn)場景,一般都有環(huán)境健康安全(EHS)檢查。以前企業(yè)的EHS檢查主要基于人工實現(xiàn),耗時費力。現(xiàn)在企業(yè)人員基于華為的深度學習服務,自行加載標注好的環(huán)境健康安全檢查項目標注圖片,就可以很快生成EHS圖片檢測模型,后續(xù)企業(yè)進行EHS檢查時,只需要拍攝現(xiàn)場照片,輸入模型,就可以實現(xiàn)企業(yè)自動化EHS檢查。
環(huán)境健康安全(EHS)檢查
風馳電掣—模型訓練速度快,億級圖片訓練時間由30天降到小時級
企業(yè)進行深度學習訓練的第二個困難是訓練計算量大,訓練時間長。由于深度學習需要使用海量數(shù)據(jù)來進行業(yè)務訓練,因此計算資源需求很大,動則幾十上百個GPU,甚至上千GPU等等;同時訓練時間也很長,每次訓練都是以天、周或甚至月年為單位。但是,開源的分布式訓練框架,在保證模型收斂的情況下,***集群規(guī)模只支持10塊GPU。這意味著在進行數(shù)據(jù)運算時,即時使用更多的GPU,計算效果也只相當于10塊GPU的能力,這樣訓練的時間將更加的漫長。
而華為云的深度學習服務,基于系統(tǒng)軟硬件結合方案,搭載華為云的云容器引擎CCE、GPU高性能計算、對象存儲服務(OBS)、高性能網(wǎng)絡等能力,并對分布式訓練的調(diào)度算法、分布式梯度壓縮等進行深度優(yōu)化后,在1000塊GPU的大規(guī)模集群中,分布式訓練線性加速比能達到0.8。這就意味著在億級圖片規(guī)模下的模型訓練,華為深度學習的分布式模型訓練時間可以從30天縮短至小時級。
不同GPU數(shù)量下模型訓練收斂時間
神機妙算—算法優(yōu)化,圖片模型訓練數(shù)量從***下降到千級
企業(yè)進行深度學習訓練的第三個困難是訓練數(shù)據(jù)量大。深度學習模型訓練,要使用大量的訓練數(shù)據(jù)。這已經(jīng)是深度學習模型訓練的常態(tài)。以圖像識別為例,通用場景的圖像識別算法模型,訓練時往往需要至少***別的訓練圖片。
但是,華為云深度學習服務平臺,對企業(yè)場景的算法模型進行了大量的優(yōu)化,使得針對企業(yè)特定場景的模型訓練數(shù)據(jù)需求大大降低。以企業(yè)特定場景的圖像識別業(yè)務為例,華為優(yōu)化的算法模型,只需要幾千張訓練圖片,就可以達到令人滿意的識別效果。以華為全球技術服務部的智能驗收項目為例,該項目需要實現(xiàn)對電信設備類型的自動識別。常規(guī)方法至少需要幾十萬甚至上百萬張訓練圖片。但是使用了華為優(yōu)化模型算法后,華為的AI算法工程師,只使用了4000張圖片,訓練模型的識別準確率就達到了99%。
電信設備識別
開放華為人工智能技術和實踐經(jīng)驗,做企業(yè)智能的使能者
華為云深度學習服務的發(fā)布,大幅降低了企業(yè)深度學習訓練的技術門檻、性能門檻和數(shù)據(jù)量門檻,因此,華為云深度學習服務的發(fā)布,讓企業(yè)智能從此不求人,也就順理成章了。那么,為什么華為云的深度學習服務具備這些能力呢。其實,如果讀者了解華為云企業(yè)智能服務的來歷,就不會感覺奇怪了。
華為從十多年前,就開始進行人工智能基礎的大數(shù)據(jù)技術研發(fā),并開發(fā)出了排名中國***的大數(shù)據(jù)軟件平臺;而人工智能技術興起后,華為的技術部門又開始進行人工智能技術的研發(fā),并廣泛應用于華為供應鏈、采購部、全球技術服務部、終端、以及產(chǎn)品研發(fā)的企業(yè)實踐中。基于這些實踐,華為的人工智能研發(fā)部門既加深了對技術的理解,同時了也積累了大量的人工智能實踐經(jīng)驗,相應也在實踐過程中對深度學習平臺進行了很多優(yōu)化,以降低內(nèi)部使用深度學習平臺進行模型訓練的難度。現(xiàn)在,華為云深度學習服務平臺秉承以服務的形式分享華為30年沉淀的數(shù)字化技術和實踐經(jīng)驗的理念,將華為內(nèi)部人工智能的技術研發(fā)成果與實踐成果分享給企業(yè)用戶與合作伙伴,做企業(yè)智能的使能者,并與眾多企業(yè)用戶及合作伙伴一起,共創(chuàng)中國人工智能美好的明天。
了解華為云EI更多信息,請參考http://www.huaweicloud.com/product/dls.html