對過去一年多的 AI 輪子們碎碎念
過去這一年多,是 AI 技術的大浪潮,GPT 各種詞匯也出現在原本非 ML 領域的同學視野中。增長了不少知識。
從我這個普通碼農來看,感觸最深的就是這手里的錘子一直在變。有的同學總是會因為一些新的熱點被迫離開根源。因為新的技術總是需要人去嘗試一下。
以個人狹隘的視角,總結了四個階段的工具類的輪子趨勢變化,僅供參考。歡迎大家一起學習和提供建議。
1、LangChain 火爆,成為 AI 代名詞:
首先較早火爆的是:LangChain[1] 和 Semantic Kernel[2] 這兩個框架。當時被各大媒體都盯著。一時間 LangChain,成為了 AI 輪子的代表詞。主打只簡簡單單用幾十行代碼,就能完成各種的 AI 酷炫功能。
圖片來自網絡
甚至還出現 LangChain 和 Semantic Kernel 互相搶高低的情況,框架約等于 AI。這個還是比較尷尬的。
2、自研 SDK 和 LlamaIndex 等的轉移:
在同期稍晚些 LlamaIndex[3] 等更多的框架也出來了,開始出現一波 LangChain 太復雜,很多內部細節導致實現更復雜的聲音。
圖片來官網截圖
此時有一波往 LlamaIndex、AutoXXX 或自研 SDK 等遷移的節奏。(最近)這波聲音也變大了,出現了許多 XXX 放棄 LangChain 等文章和推送:
圖片
前面兩個階段主要都是為了提高使用 AI 類功能的效率為主。并基于此進一步展開。
3、Fine-tuning、知識庫、RAG、Agent、多模態、向量數據庫等深入研究:
在大家都在使用各種各樣的框架后,對于真正的效果,有了很多場景上的度量和思考。畢竟各家公司也要考核真正的投入產出比和價值。
例如:AI 客服、知識庫問答上,希望能夠達到更加的高的準確度(專業度等),更多的情緒價值,更具性價比的開銷等。能不能做得更好,賺到錢。
至少涉及到以下相關的技術,有興趣的同學可以進一步學習:
技術 | 應用場景 | 解決問題 |
RAG (檢索增強生成) | 自然語言處理任務 , 如文本生成 、 智能問答 | 提供更準確的回答 , 生成與上下文更相關的內容 |
Fine-tuning | 特定領域應用 , 如醫療 、 法律等 | 提高模型在特定任務和領域的表現 |
Function Calling | AI 助手與外部系統集成 , 如日程安排 、 信息查詢 | 執行特定任務 , 增強 AI 助手的功能和實用性 |
Prompt | 自然語言處理任務 , 如對話生成 、 文本摘要 | 指導生成文本的方向和上下文 , 提高生成內容的質量和相關性 |
Agent | 自動化任務執行 , 如客服 、 任務代理 | 自動化復雜任務 , 提高效率 , 減少人工干預 |
注:上面這個表格是 ChatGPT 生成的簡單介紹。
4、Dify LLM 應用開發平臺的再次崛起:
在我的記憶中 dify 應該也是比較早就開始做的了,但大家當時可能聚焦前面的能用的階段更多。
現階段各類業務模式和內容物,都有個大概了。誰更夠更快更靈活決定了一切。因此感覺 dify 近期又再火爆了一把,較多人推薦。
圖片
其提供了一套產品化的界面和 API。這節省很多重復造輪子的工作,在前期有中臺部門搭好體系后,業務團隊可以專注在業務需求上。不用一個個框架重新看了。
總結
每個新興技術的誕生后,都會有新的提效和方法論的工具建設。感覺都和上面四個階段有雷同的發展模式。
今天做這個粗暴的梳理總結,只是便于自己和大家以后在新一輪來臨時,可以更好的尋找新的路徑先做出來,了解目前在工具/框架側的進度。
參考資料
[1]LangChain: https://github.com/langchain-ai/langchain
[2]Semantic Kernel: https://github.com/microsoft/semantic-kernel
[3]LlamaIndex: https://docs.llamaindex.ai/en/stable/