以快速的步伐，許多機器學習技術已經從概念證明中遷移到為人們依靠每日依賴的重要技術供電。在嘗試捕捉這種新解鎖的價值時，許多團隊已經發(fā)現自己在生產機器的熱情中陷入了他們的產品，而無需正確的工具。

事實是，我們正在定義正確的工具套件的早期，用于構建，部署和迭代機器學習模型。在這件作品中，我們將討論唯一需要的3個機器學習工具，使您的團隊在產品中應用機器學習方面取得成功。

讓我們從過去中學習

在我們跳入我們的ML棧建議之前，讓我們快速地關注軟件工程行業(yè)已經解決的工具。一個關鍵觀察是沒有一個解決方案，用于構建，部署和監(jiān)視生產中的代碼。

換句話說，端到端的工具平臺不存在。相反，有一組工具，專注于軟件工程生命周期的特定部分。

> Image by Author

為了簡化軟件的創(chuàng)建，必須創(chuàng)建工具以跟蹤問題，管理版本歷史記錄，監(jiān)督構建，并在生產中出現問題時提供監(jiān)控和警報。

雖然不是每個工具都清晰適合其中一個桶，但這些工具類別中的每一個都代表了創(chuàng)建軟件過程中的不同摩擦點，這需要創(chuàng)建工具。

我以為這是關于機器學習?

正如開發(fā)軟件的過程一樣，開發(fā)機器學習模型的過程具有廣泛的類別，如研究，構建，部署和監(jiān)視模型所需的內容。

在這件作品中，我們將重點關注在解決實驗室外應用機器學習中的一些最大障礙過程中出現的基本ML工具類別。

要創(chuàng)建有效的機器學習工具箱，您真的只需要這3個基本工具：

• 特征存儲：處理離線和在線特征轉換
• 模型存儲：作為中心模型注冊表和跟蹤實驗
• 性能評估存儲：監(jiān)控和改善模型性能

> Image by Author

特征存儲

要開始，讓我們潛入潛水。要定義特征存儲的內容，讓我們從一個特征存儲開始為您的團隊啟用的東西。

特征存儲啟用應該是什么：

• 作為特征轉換的中心源
• 允許在離線訓練和在線服務中使用相同的特征轉換
• 使團隊成員能夠分享他們的實驗轉變
• 提供強大的版本控制特征轉換代碼

在一個特征存儲應該如何授權您的團隊，這是必須幫助您決定哪種功能存儲最適合您和您的團隊的功能。

您的功能存儲應該具有：

• 與您的數據存儲/湖集成
• 一種快速的方法，可以提供在線部署模型的特征轉換
• 快速輕松地部署到生產中的特征轉換代碼
• 與您的性能評估存儲集成以啟用數據和功能質量檢查

推薦：Tecton

模型存儲

既然您有一個存儲您的特征轉換的特征存儲，您需要一個目錄并跟蹤團隊模型創(chuàng)建歷史記錄的工具。這是模型存儲發(fā)揮的地方。

模型存儲啟用是什么：

• 作為所有模型和模型版本的中央存儲庫
• 允許每個型號版本的再現性
• 軌道模型歷史歷史

在這些核心功能之外，有許多模型存儲功能，您可能會發(fā)現真正有助于建設和部署模型。

您的模型商店應該有：

• 應該能夠為模型的每個版本，git提交，模型的工件(泡沫文件)的每個版本都能跟蹤引用的數據集(泡沫文件)
• 應該提供最新版本的任何型號才能提供E.G(v2.1)
• 如果需要，保持一致的譜系以回滾版本
• 與您的評估存儲集成，以跟蹤每個版本的模型的評估，以便針對模型回歸
• 與您的服務基礎架構集成，以促進模型部署和回滾

推薦：Weights & Biases / MLFlow

性能評估存儲

既然您的模型跟蹤并存儲在模型存儲中，您需要能夠選擇一個模型來運送和監(jiān)視它在生產中的性能表現方式。這是評估存儲可以提供幫助的地方。

評估存儲應該啟用什么：

• 在任何環(huán)境中的任何型號的聚合(或切片)中的性能度量，在任何環(huán)境中，生產，驗證，培訓
• 使用基線監(jiān)控和識別漂移，數據質量問題或異常性能降級
• 使團隊能夠將性能的變化連接到它們發(fā)生的原因
• 提供一個平臺，以幫助使用高質量和反饋循環(huán)連續(xù)提供型號，以進行改進 - 比較生產到培訓
• 為A / B測試模型版本提供實驗平臺

現在轉向我們對評估存儲的必備功能的關注，這里有幾件事讓特定的評估存儲值得考慮。

您的評估存儲應該有：

• 存儲模型評估：在環(huán)境中輸入，Shap值和輸出，適用于環(huán)境的每個型號版本：生產，驗證和訓練
• 自動化監(jiān)控以輕松地表面問題 - 基于來自評估存儲的基線
• 為任何類型的性能分析創(chuàng)建靈活的儀表板 - ML的DATADOG
• 與您的功能存儲集成以跟蹤功能漂移
• 與您的模型存儲集成，為每個型號版本具有模型性能的歷史記錄

推薦：Arize

可能適合您的其他工具

數據注釋平臺：

讓我們退后一步，并說你剛剛收集了你的數據，這可能是或可能沒有地面真理標簽。現代統(tǒng)計機器學習模型通常需要大量的培訓數據表現良好，并能夠用地面真理標簽注釋足夠的數據，使您的模型有效可以是挑戰(zhàn)。

不要擔心，數據注釋平臺將數據的批量分發(fā)到分布式的分布式年級集，每個分布式集會器都將根據您提供的指令標記您的數據。

推薦：

• Appen
• Scale 用于全自動數據注釋服務

模型服務平臺：

• 在應用機器學習的許多情況下，您需要某種形式的服務平臺可以將您的模型部署到您的用戶。簡而言之，服務平臺應提供您的團隊的一些核心功能。

適用于服務平臺的模型啟用是什么：

• 訪問控制圍繞模型服務，只有選擇一組人員應該有權更改部署哪些模型。
• 如果需要，將快速回滾機制到先前部署的模型版本
• 與模型服務集成，便于模型促銷
• 與評估存儲相結合，以實現生產的模型可觀察性。

推薦：Kubeflow & almorithmia

AI Orchestration平臺

在許多情況下，必須在端到端生命周期上工作的平臺并使團隊能夠協(xié)調整個工作流程。這些平臺可幫助團隊帶來各種來源，管理培訓工作流程，商店型號，服務，并連接到監(jiān)控平臺。在所有這些不同的工具中管理基礎架構都可以復雜，并且AI Orchestration層可幫助數據科學家和ML工程師專注于提供模型。

推薦：Spell

結論

尋找工作的正確工具有時會感到壓倒性，特別是對于新興領域。就像是軟件工程師今天的工具一樣，在生產，部署和監(jiān)控生產中的機器學習模型將不會結束終端平臺;但是只有這幾個工具，您應該能夠將您的型號從實驗室中趕出，并快速有效地進入客戶手中。

原文鏈接：https://towardsdatascience.com/the-only-3-ml-tools-you-need-1aa750778d33