作者丨Dan Rowinski
編譯丨諾亞
出品 | 51CTO技術棧（微信號：blog51cto）
在過去的 20 年，創新為我們造就了眾多轉折點，于這些轉折點處，全新的職業類別得以應運而生。回想一下，2006 年亞馬遜網絡服務推出后，云端架構師與開發者的職位便順勢出現；伴隨 iPhone 和 Android 的興起，移動開發者成為了嶄新的職業角色；當我們積累了充足的數據和計算能力，足以讓神經網絡運行時，機器學習工程師這一職業就此產生；而后，上述三種趨勢相互交匯融合，數據科學家的職業開始引人注目。
這些新職業的誕生均是對新興技術的直接回應，它們不但改變了工作的方式，還塑造了全新的行業標準與需求。每一輪的技術革命都會催生一批新的專家角色，他們憑借最新的技術去解決繁雜的問題，有力地推動了社會和經濟的發展。
沿著這樣的演變軌跡，我們當下或許已經抵達了另一個轉折點：AI 工程師的興起。在過去幾年，AI 工程師日益流行，他們處在運用大型語言模型及其相關工具來構建生成式 AI 聊天機器人、Agent 以及其他能力的前沿位置。
隨著基礎模型和 AI 工程的逐漸成熟，一些趨勢開始顯露。我們與 SADA 公司的 Google Cloud 供應商、人工智能和機器學習副首席技術官 Simon Margolis 進行交流，以了解他們對于當前 AI 工程領域的觀察以及后續可能出現的狀況。
“這取決于你在生成式AI總體采用曲線上的位置，”Margolis說。“有些人還在試水，而有些人則在ChatGPT風靡全球之前就已經在做生成式AI工作了。你在這條發展路徑上的位置，實際上深深影響著你所關注的核心趨勢。”
總體而言，Margolis在2024年中期為AI工程師指出了三大關鍵趨勢：
1）無代碼構建AI Agent：即使不具備編程背景或專業技能，如今也能輕松創建AI Agent，技術的門檻正被逐漸抹平。
2）傳統AI與生成式AI的融合：不再是單一領域的探索，而是將機器學習與生成式AI等不同AI“模態”巧妙結合，創造出更加強大且靈活的應用場景。
3）AI自我迭代：利用生成式AI助力生成式AI Agent的構建，這一循環增強的過程，使得AI的進化更為高效與智能。
1.無需代碼構建AI Agent
兩大生成式AI平臺——Google Cloud和OpenAI——都致力于讓AI工程師能夠更輕松地構建AI Agent，而無需過多糾結于基礎模型或向量數據庫本身。兩者都引入了用于構建Agent的工具，Google Cloud的Vertex AI中的Agent Builder，以及OpenAI的GPT系列。
"對于早期的嘗鮮者而言，最顯著的趨勢之一便是無需深厚技術功底就能打造生成式Agent，" Margolis提到。"以往，你得精通Transformer和RAG等技術細節，但現在，這種需求大大降低了。”
他強調，雖然仍有極客在手造Agent，但Agent Builder和GPTs已成為主流工具，廣泛應用于實踐。
簡化技術要求，讓構建Agent變得觸手可及，這不僅激發了創新，還賦予了一線業務人員自行搭建Agent的能力，減少了對專業開發者的依賴。
Margolis解釋說：“簡單來講，你從各種來源——可能是私有數據庫、互聯網或是兩者的結合——提取信息，然后利用這些數據指導AI工具或生成式助手的工作。”這與過去一兩年流行的LangChain模式相似，即通過不斷迭代提升輸出質量，直至達到預期效果。不同的是，如今這個過程變得更加直觀易懂。
借助Agent Builder和GPTs這類工具，即便是非專業人士也能輕松上手，僅憑日常語言或直觀操作界面就能完成任務，使解決方案的實施變得更加直接有效。
2.融合傳統AI與生成式AI
結合不同AI“模態”的想法可能對AI工程師來說更具實際興趣。值得注意的是，當Margolis談論模態時，他指的是我們可能認為的“傳統”機器學習與新型基礎模型和生成式AI之間的區別。這不同于生成式AI內部的模態概念，在那里輸入和輸出取決于媒介，如文本、音頻、視頻或翻譯。
當Margolis提及“模態”時，他實際上是在區分傳統機器學習領域與新興的基礎模型及生成式AI技術之間的工作方式和特性。換句話說，“模態”指的是不同類型的AI處理方式或技術路徑。對于AI工程師而言，如何有效地結合這些不同的“模態”以創造更強大、多功能的AI系統是一項挑戰和機遇。
“以往人們要么在生成式AI領域工作，要么在圍繞推斷和預測的傳統機器學習世界里工作，但現在我們開始看到這兩個領域的融合。”
Margolis強調，生成式AI的運用不必依賴于專門的AI代理或聊天機器人構建。他舉例說明，在醫療保健領域，AI能以生成文本的方式整理和展現由醫護人員錄入的患者信息。隨后，集成有推理功能的AI工具會在同一系統內分析這些信息，識別潛在的高風險病例。
回顧過去，Margolis解釋道：“若要開發類似醫療案例的應用，我得求助于懂模型搭建的ML專家同事，他們可能得用JAX或TensorFlow幫我打造預測模型，還得親自操作GPU硬件，整個過程牽涉繁重的ML工程和數據科學任務。”而今，借助生成式AI，他可以直接將所需數據輸入到預訓練模型中進行處理，這一轉變要求截然不同的專業技能。
為了縮小傳統機器學習與生成式AI間的鴻溝，諸如Google Cloud的Vertex AI平臺之類的工具應運而生，SADA作為其優選合作伙伴，正致力于此。Margolis指出：“現在，工程師可以利用Vertex輕松創建AutoML模型。雖然這不是完全無代碼的體驗，但大大減少了編碼需求。無需從頭構建模型，無需編寫TensorFlow或JAX代碼，也無需管理GPU或底層系統架構。”
這樣的進步意味著工程師們可以更加專注于應用層面的創新，而非被底層技術細節所束縛。
3.利用生成式AI來構建更多的生成式AI
盡管我們離計算機自我組裝并自動編程的時代尚遠，但AI工程界的一項引人注目的進展是，生成式AI正在助力構建更多同類型的AI實體、機器人以及應用程序。這是一個循環促進的過程，正如Margolis所說，它開啟了廣泛的參與機會。
“這確實是一個突破性的模式，讓更多人有機會投身其中，”Margolis評論道。
他將此現象與云計算領域近十至十五年來的重要轉折相提并論，尤其是2010年左右，開發者首次能夠在云中便捷地部署虛擬機；再到2014年前后，移動應用的開發門檻顯著降低，使得更多人得以加入。
“這就像我們在公有云時代所見證的‘啊哈’時刻，”Margolis回憶道，“當每個初學計算機科學或系統設計的學生，大約在2010年左右，都能獨立搭建服務器和數據庫時，那真是讓人振奮。對于想要涉足AI領域的新人，一年半前還面臨著一座難以逾越的高山。那時，你需要投入大量的時間和精力才能將你的構想變為現實。而現在，我們已處于一個創意即實踐的階段，有時，你甚至能在一頓午餐的時間內就完成一項初步作品。”
“如今，入行的障礙已被大幅削減，這對于所有人來說都是一大利好。”這意味著，生成式AI技術的探索和應用正變得越來越普及，為創新和實際應用開辟了更廣闊的空間。
參考鏈接：https://thenewstack.io/3-key-trends-for-ai-engineering-in-the-cloud-in-2024/
