[[349374]]

任務編排工具和工作流程

最近，出現了用于編排任務和數據工作流的新工具(有時稱為" MLOps")。 這些工具的數量眾多，因此很難選擇要使用的工具，也難以理解它們的重疊方式，因此我們決定對一些最受歡迎的工具進行比較。

> Airflow is the most popular solution, followed by Luigi. There are newer contenders too, and they'

總體而言，Apache Airflow既是最受歡迎的工具，也是功能最廣泛的工具，但是Luigi是類似的工具，上手起來比較簡單。 Argo是團隊已經在使用Kubernetes時經常使用的一種，而Kubeflow和MLFlow滿足了與部署機器學習模型和跟蹤實驗有關的更多利基要求。

在進行詳細比較之前，了解一些與任務編排相關的更廣泛的概念很有用。

什么是任務編排，為什么有用?

較小的團隊通常從手動管理任務開始，例如清理數據，訓練機器學習模型，跟蹤結果以及將模型部署到生產服務器。 隨著團隊規模和解決方案的增長，重復步驟的數量也隨之增加。 可靠地執行這些任務也變得更加重要。

這些任務相互依賴的復雜方式也在增加。 剛開始時，您可能需要每周或每月一次運行一系列任務。 這些任務需要按特定順序運行。 隨著您的成長，該管道變成具有動態分支的網絡。 在某些情況下，某些任務會引發其他任務，而這些可能取決于首先運行的其他幾個任務。

可以將該網絡建模為DAG(有向無環圖)，該模型對每個任務及其之間的依賴關系進行建模。

> A pipeline is a limited DAG where each task has one upstream and one downstream dependency at most

工作流程編排工具允許您通過指定所有任務以及它們如何相互依賴來定義DAG。 然后，該工具按正確的順序按計劃執行這些任務，然后在運行下一個任務之前重試任何失敗的任務。 它還會監視進度并在發生故障時通知您的團隊。

CI / CD工具(例如Jenkins)通常用于自動測試和部署代碼，這些工具與任務編排工具之間有很強的相似性-但也有重要的區別。 盡管從理論上講，您可以使用這些CI / CD工具來編排動態的，相互鏈接的任務，但在一定程度的復雜性下，您會發現改用Apache Airflow等更通用的工具會更容易。

總體而言，任何業務流程工具的重點都是確保集中，可重復，可重現和高效的工作流程：虛擬命令中心，用于您的所有自動化任務。 考慮到這種情況，讓我們看看一些最流行的工作流程工具是如何疊加的。

告訴我使用哪一個

您可能應該使用：

• Apache Airflow如果您需要功能最全，最成熟的工具，則可以花時間來學習它的工作原理，設置和維護。
• Luigi，如果您需要比Airflow更輕松的學習方法。 它具有較少的功能，但更容易上手。
• Argo，如果您已經對Kubernetes生態系統進行了深入投資，并希望將所有任務作為Pod進行管理，并在YAML(而不是Python)中定義它們。
• 如果您想使用Kubernetes，但仍使用Python而不是YAML定義任務，則使用KubeFlow。
• MLFlow，如果您更關心使用MLFlow的預定義模式來跟蹤實驗或跟蹤和部署模型，而不是尋找能夠適應現有自定義工作流程的工具。

比較表

> (Source: Author) – For more Machine Learning Tips — Get our weekly newsletter

為了快速瀏覽，我們比較了以下方面的庫：

• 成熟度：基于項目的年齡以及修復和提交的次數;
• 受歡迎程度：基于采用率和GitHub星級;
• 簡潔性：基于易于注冊和采用;
• 廣度：基于每個項目的專業性與適應性;
• 語言：基于您與工具互動的主要方式。

這些不是嚴格的基準或科學基準，但目的是讓您快速了解這些工具的重疊方式以及它們之間的區別。 有關更多詳細信息，請參見下面的正面對比。

Luigi 對比 Airflow

Luigi和Airflow解決了類似的問題，但是Luigi要簡單得多。 它包含在一個組件中，而Airflow有多個模塊，可以用不同的方式進行配置。 氣流具有更大的社區和一些其他功能，但學習曲線卻陡峭得多。 具體來說，Airflow在計劃方面要強大得多，它提供了日歷UI，可幫助您設置任務應在何時運行。 使用Luigi，您需要編寫更多的自定義代碼以按計劃運行任務。

兩種工具都使用Python和DAG定義任務和依賴項。 如果您的團隊較小并且需要快速上手，請使用Luigi。 如果您的團隊規模較大，可以使用Airflow，一旦您掌握了學習曲線，就可以從最初的生產力損失中獲得更大的動力。

Luigi 對比 Argo

Argo建立在Kubernetes之上，并且每個任務都作為單獨的Kubernetes容器運行。 如果您已經在大多數基礎架構中使用Kubernetes，這可能會很方便，但如果您沒有使用它，則會增加復雜性。 Luigi是一個Python庫，可以與Python包管理工具(如pip和conda)一起安裝。 Argo是Kubernetes擴展，使用Kubernetes安裝。 雖然這兩種工具都可以將任務定義為DAG，但使用Luigi時，您將使用Python編寫這些定義，而使用Argo時，您將使用YAML。

如果您已經對Kubernetes進行了投資，并且知道所有任務都是吊艙，請使用Argo。 如果要編寫DAG定義的開發人員對YAML比對Python更滿意，則還應該考慮一下。 如果您不是在Kubernetes上運行并且在團隊中擁有Python專業知識，請使用Luigi。

Luigi 對比 Kubeflow

Luigi是用于常規任務編排的基于Python的庫，而Kubeflow是專門用于機器學習工作流的基于Kubernetes的工具。 Luigi是為協調一般任務而構建的，而Kubeflow具有用于實驗跟蹤，超參數優化和為Jupyter筆記本服務的預構建模式。 Kubeflow由兩個不同的組件組成：Kubeflow和Kubeflow管道。 后者專注于模型部署和CI / CD，并且可以獨立于主要Kubeflow功能使用。

如果您需要協調從數據清理到模型部署的各種不同任務，請使用Luigi。 如果您已經使用Kubernetes并希望安排常見的機器學習任務(例如實驗跟蹤和模型訓練)，請使用Kubeflow。

Luigi 對比 MLFlow

Luigi是一個通用的任務編排系統，而MLFlow是一個更專業的工具，可以幫助管理和跟蹤您的機器學習生命周期和實驗。 您可以使用Luigi定義常規任務和依賴項(例如訓練和部署模型)，但是可以將MLFlow直接導入到機器學習代碼中，并使用其助手功能來記錄信息(例如您正在使用的參數)并 工件(例如訓練有素的模型)。 您還可以將MLFlow用作命令行工具，以服務使用通用工具(例如scikit-learn)構建的模型或將其部署到通用平臺(例如AzureML或Amazon SageMaker)。

Airflow 對比 Argo

Argo和Airflow都允許您將任務定義為DAG，但是在Airflow中，您可以使用Python進行此操作，而在Argo中，您可以使用YAML。 Argo作為Kubernetes窗格運行每個任務，而Airflow則生活在Python生態系統中。 在選擇Argo之前，Canva評估了這兩個選項，您可以觀看此演講以獲取詳細的比較和評估。

如果您想要更成熟的工具并且不關心Kubernetes，請使用Airflow。 如果您已經對Kubernetes進行了投資，并且想要運行以不同堆棧編寫的各種任務，請使用Argo。

Airflow 對比 Kubeflow

Airflow是一個通用的任務編排平臺，而Kubeflow則特別專注于機器學習任務，例如實驗跟蹤。 兩種工具都允許您使用Python定義任務，但是Kubeflow在Kubernetes上運行任務。 Kubeflow分為Kubeflow和Kubeflow管道：后一個組件允許您指定DAG，但它比常規任務更著重于部署和模型服務。

如果您需要一個成熟的，廣泛的生態系統來執行各種不同的任務，請使用Airflow。 如果您已經使用Kubernetes，并希望使用更多現成的機器學習解決方案模式，請使用Kubeflow。

Airflow 對比 MLFlow

Airflow是一個通用的任務編排平臺，而MLFlow是專門為優化機器學習生命周期而構建的。 這意味著MLFlow具有運行和跟蹤實驗以及訓練和部署機器學習模型的功能，而Airflow具有廣泛的用例，您可以使用它來運行任何任務集。 Airflow是一組用于管理和計劃任務的組件和插件。 MLFlow是一個Python庫，您可以將其導入到現有的機器學習代碼中，還可以使用命令行工具來將scikit-learn編寫的機器學習模型訓練和部署到Amazon SageMaker或AzureML。

如果您想以一種開明的，開箱即用的方式來管理機器學習實驗和部署，請使用MLFlow。 如果您有更復雜的要求并且想要更好地控制如何管理機器學習生命周期，請使用Airflow。

Argo 對比 Kubeflow

Kubeflow的某些部分(例如Kubeflow管道)建立在Argo之上，但是Argo的建立是為了編排任何任務，而Kubeflow則專注于特定于機器學習的任務，例如實驗跟蹤，超參數調整和模型部署。 Kubeflow管道是Kubeflow的一個獨立組件，專注于模型部署和CI / CD，并且可以獨立于Kubeflow的其他功能使用。 這兩種工具都依賴Kubernetes，如果您已經采用了它，那么可能會讓您更感興趣。 使用Argo，您可以使用YAML定義任務，而Kubeflow允許您使用Python接口。

如果您需要管理作為Kubernetes Pod運行的常規任務的DAG，請使用Argo。 如果您想要更專注于機器學習解決方案的工具，請使用Kubeflow。

Argo 對比 MLFlow

Argo是一個任務編排工具，可讓您將任務定義為Kubernetes Pod，并將其作為DAG運行(使用YAML定義)。 MLFlow是一種更加專業的工具，它不允許您定義任意任務或它們之間的依賴關系。 相反，您可以將MLFlow作為Python庫導入到現有的(Python)機器學習代碼庫中，并使用其助手功能記錄工件和參數，以幫助進行分析和實驗跟蹤。 您還可以使用MLFlow的命令行工具來訓練scikit學習模型，并將其部署到Amazon Sagemaker或Azure ML，以及管理Jupyter筆記本。

如果您需要管理常規任務并想在Kubernetes上運行它們，請使用Argo。 如果您希望采用一種自以為是的方法來使用托管云平臺管理機器學習生命周期，請使用MLFlow。

Kubeflow 對比 MLFlow

與諸如Airflow或Luigi之類的通用任務編排平臺相比，Kubeflow和MLFlow都是更小的，更專業的工具。 Kubeflow依賴Kubernetes，而MLFlow是一個Python庫，可幫助您將實驗跟蹤添加到現有的機器學習代碼中。 Kubeflow允許您構建完整的DAG，其中每個步驟都是Kubernetes窗格，但是MLFlow具有內置功能，可以將scikit學習模型部署到Amazon Sagemaker或Azure ML。