IBM 推出了一個(gè)名為 CodeFlare 的開(kāi)源框架，旨在用于簡(jiǎn)化大數(shù)據(jù)和人工智能工作流程在混合云上的整合和有效擴(kuò)展。根據(jù)介紹，CodeFlare 建立在 Ray 之上，Ray 是一個(gè)新興的用于機(jī)器學(xué)習(xí)應(yīng)用的開(kāi)源分布式計(jì)算框架。CodeFlare 通過(guò)增加特定的元素來(lái)擴(kuò)展 Ray 的能力，使工作流程的擴(kuò)展更加容易。

[[410431]]

IBM 方面指出，隨著數(shù)據(jù)和機(jī)器學(xué)習(xí)分析幾乎滲透到每個(gè)行業(yè)，任務(wù)變得越來(lái)越復(fù)雜。雖然為 AI 研究設(shè)計(jì)更大的數(shù)據(jù)集和更多系統(tǒng)很重要，但隨著這些工作流程變得越來(lái)越多，研究人員也正在花費(fèi)越來(lái)越多的時(shí)間來(lái)配置他們的設(shè)置，而不是完成數(shù)據(jù)科學(xué)。​​​​​​​

如今創(chuàng)建機(jī)器學(xué)習(xí)模型是一項(xiàng)密集的手動(dòng)任務(wù);研究人員必須訓(xùn)練和優(yōu)化模型，這涉及到了數(shù)據(jù)清洗、特征提取和模型優(yōu)化等任務(wù)。而 CodeFlare 則有助于簡(jiǎn)化這一過(guò)程。它使用基于 Python 編程語(yǔ)言的接口來(lái)創(chuàng)建管道，通過(guò)它可以更輕松地集成、并行化和共享數(shù)據(jù)。CodeFlare 框架的目的是統(tǒng)一跨多個(gè)平臺(tái)的管道工作流，而無(wú)需數(shù)據(jù)科學(xué)家學(xué)習(xí)新的工作流語(yǔ)言。

CodeFlare 管道可以部署在任何云基礎(chǔ)架構(gòu)上，包括新的 IBM Cloud Code Engine(一個(gè)無(wú)服務(wù)器平臺(tái))和 Red Hat OpenShift。同時(shí)，CodeFlare 還為事件觸發(fā)器提供適配器，這意味著管道可以與其他云原生生態(tài)系統(tǒng)集成和橋接。此外，它還支持從眾多來(lái)源(如云對(duì)象存儲(chǔ)、數(shù)據(jù)湖和分布式文件系統(tǒng))加載和分區(qū)數(shù)據(jù)。

CodeFlare 還應(yīng)該意味著開(kāi)發(fā)人員不必重復(fù)他們的工作或努力弄清楚過(guò)去同事做了什么來(lái)運(yùn)行某個(gè)管道。“借助 CodeFlare，我們的目標(biāo)是為數(shù)據(jù)科學(xué)家提供更豐富的工具和 API，讓他們可以更加一致地使用，使他們能夠?qū)⒏嗑Ψ旁趯?shí)際研究上，而不是配置和部署的復(fù)雜性上。”

IBM 稱(chēng)，他們希望這一框架能夠?yàn)殚_(kāi)發(fā)人員節(jié)省大量時(shí)間和精力來(lái)創(chuàng)建部署到混合云的管道。并舉例表明，該公司的一個(gè)用戶應(yīng)用 CodeFlare 框架分析和優(yōu)化 100,000 條管道來(lái)訓(xùn)練機(jī)器學(xué)習(xí)模型時(shí)，成功地將執(zhí)行每個(gè)管道的時(shí)間從 4 小時(shí)縮短到 15 分鐘。

更多詳情可查看官方博客。

本文轉(zhuǎn)自O(shè)SCHINA

本文標(biāo)題：IBM 開(kāi)源 CodeFlare 框架，用于在多云平臺(tái)上運(yùn)行的 AI 模型

本文地址：https://www.oschina.net/news/149690/ibm-open-sources-codeflare