姚班天才創辦的大模型公司，賣了
最新消息，斯隆獎得主、姚班校友馬騰宇大模型創業成果，被收購！
收購方是MongoDB，一家開源數據庫上市龍頭。
而距離他2023年11月官宣創業Voyage AI不到一年半的時間。當時創業陣容十分之矚目和豪華，李飛飛曼寧等大佬擔任顧問。
他們主要是做針對RAG（檢索增強生成）專門優化的嵌入模型，為智能 AI 應用程序提供支持。
在這短短一年多時間里，模型更新到了第三個版本，實現了最先進的檢索精度和向量存儲成本的大幅降低；期間完成了兩輪融資，總籌集金額達到2800萬美元。
此次收購，具體金額還未透露。
但在馬騰宇公司博客中透露了他們選擇被MongoDB收購的原因。
簡單來說就是，兩者強強聯合，將AI檢索模型直接引入數據庫，在更統一的堆棧下帶來更高效的開發體驗，還能提高AI應用程序的性能和準確性。
不少業內人士，在馬騰宇推文底下表示了祝賀。
5年時間做出SOTA嵌入模型
當初創業時，他們曾透露一個重要的創業原因是認為業界對嵌入模型的重視程度遠遠不夠。
嵌入模型與生成式模型有一定相似之處，但更加側重于語義理解，通過神經網絡（通常是Transformer）架構來對語義上下文進行捕獲和壓縮。
難度上，訓練嵌入模型和生成式模型一樣困難——訓練高質量的嵌入模型需要在架構、數據、損失函數等許多方面進行反復實驗。
于是，他們用了5年時間，收集了海量訓練數據和預/后處理方法，最終打造出了一款SOTA的嵌入模型。
而在創業之后，模型的迭代還在繼續。
Voyage發布了諸多系列模型，包括通用嵌入模型、代碼檢索嵌入模型、多模態嵌入模型，他們都在過去三個月期間都紛紛升級到了第三個版本。
通用和多語言嵌入模型voyage-3-large：該模型在涵蓋 100 個數據集的八個評估領域中排名第一，包括法律、金融和代碼，上下文長度為32K。通過俄羅斯套娃表征學習（MRL）和量化感知訓練，支持更小的尺寸和 int8 和二進制量化，可顯著降低 vectorDB 成本，同時對檢索質量的影響最小。
基于代碼檢索的嵌入模型voyage-code-3。在一組32個代碼檢索數據集上，它的性能分別比 OpenAI-v3-large 和 CodeSage-large 平均高出 13.80%和16.81%。通過使用 Matryoshka 學習和量化格式（如 int8 和二進制格式）支持更小的維度，voyage-code-3 還能顯著降低存儲和搜索成本，同時將對檢索質量的影響降至最低。
多模態嵌入模型voyage-multimodal-3，可用于包含豐富視覺和文本的文檔。與現有的多模態嵌入模型不同，voyage-multimodal-3 能夠對交錯文本和圖像進行矢量化處理，并從 PDF、幻燈片、表格、數字等截圖中捕捉關鍵視覺特征，從而省去了復雜的文檔解析過程。在對 3 個多模態檢索任務（共 20 個數據集）進行評估時，voyage-multimodal-3 比性能僅次于它的多模態嵌入模型平均提高了 19.63% 的檢索準確率。
與此同時，還積累了一眾頂尖的合作伙伴，包括AWS、Databricks、Anthropic、Harvry、LangChain、Replit等等知名公司。
此次收購之后，Voyage AI可以MongDB帶來什么？
用一張圖就可以概括之。
以往開發人員需要依靠各種獨立組件來構建AI應用程序，這些組件的次優選擇（例如嵌入模型）可能導致數據檢索相關性低和生成輸出質量低下。這種分散的方法對開發人員來說既復雜又昂貴，效率低下，而且繁瑣。
現在，他們無需實施變通方法或管理單獨的系統，而是可以從實時操作數據中生成高質量的嵌入、存儲向量、執行語義搜索并優化結果 - 所有這些都在 MongoDB 中完成。
對于此次收購，MongDB CEO表示：
AI有潛力改變每個行業，但其應用因“幻覺”可能帶來的風險而受到限制。通過將先進的AI驅動搜索和檢索能力整合至我們高度靈活的數據庫系統中，MongoDB和Voyage AI將幫助企業輕松構建能夠創造重大業務影響的可靠AI應用。通過此次收購，MongoDB重新定義了AI時代的數據庫。
馬騰宇則表示：要使AI應用程序發揮全部潛能，企業必須信任其輸出結果，因此需要將檢索與操作數據深度集成，以確保其準確性和相關性。加入MongoDB使我們能夠將前沿的AI檢索技術帶給更廣泛的受眾，并將其無縫集成到關鍵任務應用中。通過將我們在嵌入和重排序方面的專業知識與MongoDB一流的數據庫相結合，我們可以幫助組織構建能夠大規模提供更準確、更可靠結果的AI應用，使他們能夠自信地將AI應用于高風險用例。
清華姚班校友，和陳丹琦同學
馬騰宇，現任斯坦福大學助理教授，研究方向包括機器學習、算法及其理論等多項內容。
其學生都分布在各個頂尖大廠和機構從事科研探索。
他本科畢業于清華姚班，和陳丹琦是同班同學。隨后去到普林斯頓攻讀博士學位導師是理論計算機科學家、兩屆哥德爾獎得主Sanjeev Arora教授。
讀博期間，馬騰宇獲得了理論計算機方向的西蒙斯獎等諸多獎項，被導師夸贊“比自己還聰明”。
博士畢業后，MIT、哈佛、斯坦福等頂尖高校都給了他助理教授的Offer，馬騰宇最終選擇了斯坦福。
2021年，馬騰宇獲得了具有“諾獎風向標”之稱的斯隆獎，成為繼鬲融之后清華姚班又一名獲此獎項的校友。
時間來到2023年11月，他官宣創業Voyage。不過創業期間，他始終還在斯坦福進行一些前沿探索。
比如他與Google Brain推理團隊創建者Denny Zhou聯手證明，只要思維鏈足夠長，Transformer就可以解決任何問題。通過數學方法，他們證明了Transformer有能力模擬任意多項式大小的數字電路，論文已入選ICLR 2024。
而就在月初，他還提出了STP， 一種可以無限猜測和證明的自玩算法，從而實現在有限的數據情況下不斷地改進模型。當時他的單位是斯坦福。
至于公司被收購后的下一步產業動向，馬騰宇還沒有透露。或許接下來還可以期待更多學術成果~
