本文轉(zhuǎn)載自公眾號“讀芯術(shù)”(ID：AI_Discovery)。

數(shù)字化將DataOps這一概念引入人們生活的同時，大數(shù)據(jù)正引入一種新的范式——MLOps。鑒于DevOps和DataOps在實踐中越來越多的運用，該項業(yè)務(wù)需要機器學(xué)習(xí)模型使用過程中的所有參與者一直保持合作與互動，包括業(yè)務(wù)人員、工程師、大數(shù)據(jù)開發(fā)人員(數(shù)據(jù)科學(xué)家和機器學(xué)習(xí)專家)。

[[358454]]

MLOps還是一個比較新的概念，但人們對它的需求卻在與日俱增。2018年左右，在谷歌舉辦的一場演講之后，業(yè)內(nèi)專業(yè)人士首次公開談及工業(yè)運行(生產(chǎn))中機器學(xué)習(xí)生命周期集成化管理的必要性。

將機器學(xué)習(xí)模型引入實際業(yè)務(wù)這一實踐，并不局限于數(shù)據(jù)準(zhǔn)備、開發(fā)、神經(jīng)網(wǎng)絡(luò)或其他機器學(xué)習(xí)算法的訓(xùn)練方面。從驗證數(shù)據(jù)集，再到可靠的大數(shù)據(jù)生產(chǎn)環(huán)境下測試和部署數(shù)據(jù)集，產(chǎn)品解決方案的質(zhì)量受到諸多因素的影響。

這意味著，預(yù)測或分類的實際結(jié)果不僅取決于數(shù)據(jù)科學(xué)家提出的神經(jīng)網(wǎng)絡(luò)架構(gòu)和機器學(xué)習(xí)方法，還取決于開發(fā)團隊如何實現(xiàn)這一模型，以及管理員如何在集群環(huán)境中部署這一模型。輸入數(shù)據(jù)的質(zhì)量，接收數(shù)據(jù)的來源、渠道和頻率也很重要，這都屬于數(shù)據(jù)工程師的職責(zé)范圍。

在機器學(xué)習(xí)解決方案的開發(fā)、測試、部署和支持過程中，多學(xué)科專家在互動中會遇到許多組織難題和技術(shù)障礙，這不僅延長了產(chǎn)品創(chuàng)建的時間，還降低了產(chǎn)品帶給該項業(yè)務(wù)的實際價值。

為了消除這些障礙，MLOps這一概念應(yīng)運而生。與DevOps和DataOps類似，MLOps旨在提高自動化程度和工業(yè)機器學(xué)習(xí)解決方案的質(zhì)量，同時兼顧監(jiān)管需求和業(yè)務(wù)利益。

因此，MLOps是結(jié)合系統(tǒng)開發(fā)和運營支持(包括集成、測試、發(fā)布、部署、基礎(chǔ)設(shè)施管理等操作)，以實現(xiàn)機器學(xué)習(xí)系統(tǒng)生命周期復(fù)合化和自動化管理的文化理念和應(yīng)用實例。

可以說，MLOps借助敏捷的方法和技術(shù)工具擴展了CRISP-DM方法論(CRISP-DM跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程)，從而可以自動執(zhí)行包括數(shù)據(jù)、機器學(xué)習(xí)模型、代碼和環(huán)境在內(nèi)的操作。

這些工具中包括了Cloudera公司的數(shù)據(jù)科學(xué)工作臺——ClouderaData Science Workbench，將MLOps付諸實踐有助于數(shù)據(jù)科學(xué)家在CRISP-DM經(jīng)典階段規(guī)避常見陷阱和問題。

MLOps帶給業(yè)務(wù)和數(shù)據(jù)科學(xué)的十大好處

實施MLOps帶來的所有好處中，最為突出的是機器學(xué)習(xí)工業(yè)部署細節(jié)中的敏捷方法：

• 通過可靠且有效的機器學(xué)習(xí)生命周期管理，減少時間，從而得到高質(zhì)量結(jié)果。
• 持續(xù)開發(fā)(CD)、持續(xù)集成(CI)、持續(xù)訓(xùn)練(CT)方法和工具保障了工作流程和模型的可重復(fù)性。
• 隨時隨地輕松部署高精度機器學(xué)習(xí)模型。
• 集成管理系統(tǒng)可連續(xù)監(jiān)測機器學(xué)習(xí)資源。
• 消除組織障礙，匯聚多學(xué)科機器學(xué)習(xí)專家的經(jīng)驗。

因此，使用MLOps可以優(yōu)化以下機器學(xué)習(xí)操作：

• 統(tǒng)一機器學(xué)習(xí)模型和關(guān)聯(lián)軟件產(chǎn)品的發(fā)布周期。
• 自動測試機器學(xué)習(xí)組件，如數(shù)據(jù)驗證、測試機器學(xué)習(xí)模型本身、及其集成到產(chǎn)品解決方案的過程。
• 在機器學(xué)習(xí)項目中踐行敏捷原則。
• 在CI、CD、CT系統(tǒng)中支持機器學(xué)習(xí)模型和數(shù)據(jù)集。
• 使用機器學(xué)習(xí)模型減輕技術(shù)債。

圖源：Google

值得注意的是，MLOps的實踐應(yīng)該與語言、框架、平臺和基礎(chǔ)設(shè)施無關(guān)。從技術(shù)角度來看，MLOps系統(tǒng)的總體架構(gòu)應(yīng)包括收集和聚合大數(shù)據(jù)平臺，為機器學(xué)習(xí)建模分析和準(zhǔn)備數(shù)據(jù)的應(yīng)用程序，執(zhí)行計算和分析的工具，以及自動移動機器學(xué)習(xí)模型及其生命周期中關(guān)聯(lián)數(shù)據(jù)、軟件產(chǎn)品的工具。

如此以來，數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師、機器學(xué)習(xí)專家、大數(shù)據(jù)解決方案的架構(gòu)師和開發(fā)人員、以及使用統(tǒng)一高效管道的DevOps工程師的工作任務(wù)有望實現(xiàn)部分或完全自動化。