就在剛剛，創業成功的27歲億萬富翁Alexandr Wang宣布——

Scale AI的年化收入，幾乎達到了10億美元！

這個數字，足夠震驚整個硅谷的。

相比之下，OpenAI預估的年收入也只是35-45億美元而已。再減去85億美元的成本，OpenAI今年可能會血虧50億。

這Scale AI是什么來頭，能在營收上取得如此驚人的成績？

原來，它主攻的就是如今AI模型的一大軟肋——對數據的巨大需求。

我們正在進入LLM開發的第三階段。

第一階段是早期的試驗，從Transformer到GPT-3

第二階段是規模擴展

第三階段是創新階段：除了o1之外，還需要哪些突破性進展才能讓我們達到新的proto-AGI范式

Scaling Law的存在意味著，隨著模型變大，對數據的需求也呈現指數級增長，越來越多的人擔心大模型會耗盡可用數據。

Scale AI的主營業務——做AI模型的「數據工廠」，恰好處于這個風口之上。

如果能攻克「數據墻」這個AI進步的巨大瓶頸，Alexandr Wang理所當然會賺得盆滿缽滿。

在AI浪潮中，賺得盆滿缽滿

生意能做這么大，源于Scale AI越做越成功的一項大業務。

在AI生態圈中，為大公司提供基礎設施或服務支持的業務，市場需求巨大。

Scale AI做的就是后者——為這些公司提供人工數據標注員。幫AI公司提高LLM的準確性。Meta、谷歌等大公司，都是它的客戶。

而且，今年Scale AI的生意越做越紅火了。

跟去年同期相比，它今年上半年的銷售額增長了近4倍，已經接近4億美元。

可以肯定地說，Scale AI是從AI熱潮中受益最多的私營企業之一。

投資者們當然也看到了這一點。

今年5月，Scale AI以138億美元的估值，進行了新一輪融資。

投資者包括Accel、Founders Fund、Index Ventures、Thrive Capital和Greenoaks Capital等。

并且，除了亞馬遜和Meta之外，Scale AI還吸引了各種各樣的新投資者：思科、英特爾、AMD等風險投資部門參與其中，而且很多注資過的公司也回歸了，包括英偉達、Coatue、Y Combinator等等。

就在近期，Wang手下的高管團隊，再度進行了調整。

首席技術官Arun Murthy將離開公司，而去年離開風投公司Benchmark的前優步高管Jason Droege將加入公司擔任首席戰略官，直接向Wang匯報。

首席策略官Jason Droege解釋自己為什么要加入Scale AI：這讓我有機會參與到我一生中技術領域最根本的變革中

在Droege看來，Scale解決了人工智能中最困難的挑戰之一：通過數據改進模型。做到這一點需要卓越的人才、復雜的運營和對AI未來發展的強烈愿景。雖然團隊迄今已經取得了矚目成就，但仍處于起步階段。

2023年上半年開始，公司收入激增

這家成立8年的初創公司，一直負責合同工的招聘和培訓，但尚未實現盈利。

然而就在今年上半年，它成功改善了運營的毛利率——每產生1美元收入，只需要花費約1.2美元，而在去年上半年，這一數字為1.5美元。

如今僅考慮業務成本（比如合同工的工資），Scale AI保留的收入只有一半。毛利率這一財務指標，略低于50%。比起2022年上半年約57%的毛利率，這個數字有所下降。

這一水平，大大低于科技投資者對軟件公司的期望。

但盡管如此，5月份的融資還是為Scale AI提供了雄厚的資金實力。截至上半年末，公司還有約9.8億美元的現金。

從去年上半年開始，公司收入就開始激增。因為構建LLM的客戶需要很多合同工，通過向聊天機器人提交問題、撰寫答案，來訓練AI模型。

在給投資者的PPT上，Scale AI自稱是「一個人機混合系統，以低成本生產高質量數據」。

根據外媒消息，它還通過一家名為Outlier的子公司，雇傭了數十萬個小時工，來進行數據微調。

顯然，Scale AI選擇聚焦LLM客戶，是一種戰略轉型。

此前，它還有一項類似業務，主要是利用菲律賓和肯尼亞的低成本勞動力，為自動駕駛汽車公司標注數據。但近年來，這項業務的增長已經放緩。

現在，即使雇傭薪酬更高、更專業的合同工，Scale AI的收入也依然能提高，因為它可以將這些更高的成本轉移給客戶。

當然，現在Scale AI也并非硅谷投資者眼中穩賺不賠的投資。投資者擔憂的問題，包括公司較低的毛利率，以及過度依賴少數幾個大客戶的問題。

天才少年輟學創辦獨角獸

Scale AI由Alexandr Wang和Lucy Guo于2016年創立，由著名創業孵化器Y Combinator投資。客戶包括Meta、微軟、英偉達、OpenAI、豐田和哈佛醫學院。

2019年，Scale AI成為獨角獸。

2022年，Alexandr Wang成為全球最年輕的白手起家的億萬富翁。

Wang于1997年出生于新墨西哥州，父母都是在新墨西哥州洛斯阿拉莫斯國家實驗室的物理學家。

高中階段，他開始通過網絡自學編程，開始參加世界級編程大賽，如美國計算機奧林匹克競賽（USACO）。

17歲，他成為美國知名問答網站Quora的全職碼農；18歲，考入麻省理工學院攻讀機器學習；在MIT大一剛結束后的暑假，他就和Guo一起創辦了Scale，并且拿到了Y Combinator的投資。

Wang跟爸媽說，「這就是我夏天隨便玩玩的事。」

Scale AI剛起步時，有些人確實覺得這就是一個笑話，畢竟公司當時只有三名員工。

不過，在不斷地融資和發展之下，Scale AI發展飛速，到2021年已經成長為價值73億美元的獨角獸企業，2023年初公司規模也擴展到了700人。

Wang透露，隨著企業客戶競相訓練生成式AI模型，Scale AI的這方面業務快速增長。

2023年，公司年度經常性收入增加了兩倍，預計2024年底將達到14億美元。

由于Scale AI的驚人成就，Alexandr Wang已經被硅谷公認為「下一個扎克伯格」。

AI模型的「數據工廠」

AI領域公認的三個基本支柱——數據、算法和算力。

算法領域，前有谷歌、微軟的大型研究院，后有推出過Sora和GPT系列模型的OpenAI；算力領域有供貨全球的英偉達，但在Scale AI還未誕生的2016年，數據領域仍處于空白。

19歲的Alexandr Wang在看到這一點后，做出了輟學創業的決定，「我創辦Scale的原因是為了解決人工智能中的數據問題」。

大部分數據都是非結構化的，AI很難直接學習這些數據；而且大型數據集的標注一項資源密集型工作，因此，「數據」被很多人認為是科技領域最辛苦、最卑微的部分。

但Scale AI卻在短時間內就獲得了巨大成功。他們可以為不同行業的企業客戶量身定制數據服務。

在自動駕駛領域，Cruise和Waymo等公司通過攝像頭和傳感器收集了大量數據，Scale AI將機器學習與「人機回路」監督相結合，管理和標注這些數據。

他們曾經開發的「自治數據引擎」，甚至推動了L4級自動駕駛的發展。

Wang表示，Scale AI將自己定位為整個AI生態的基礎設施供應商，構建「數據鑄造廠」，而不僅僅是在子公司Remotasks中雇傭大量的合同工進行人工標注。

他強調，來自專家的、包含復雜推理的數據是未來人工智能的必備條件。

傳統的數據來源，比如從Reddit等社區的評論中抓取數據存在局限性。Scale AI構建了一些流程，模型先輸出一些內容，例如撰寫研究論文，在此基礎上，人類專家可以改進這些內容，從而改進模型的輸出。

「雖然人工智能生成的數據很重要，但想要獲得有一定質量和準確性的數據，唯一方法是通過人類專家的驗證。」

Alexandr Wang在Scale AI的官網上這樣寫道，「數據豐富不是默認情況，而是一種選擇，它需要匯集工程、運營和AI方面最優秀的人才」。

Scale AI的愿景之一是「數據豐富」，從而將前沿LLM擴展到更大數量級，「為通向AGI鋪平道路。在達到GPT-10的過程中，我們不應該受到數據的限制」。

業內盛贊的LLM排行榜更新

Scale AI對業界所做的貢獻，不僅是數據標注這么簡單。

今年5月，Scale AI重磅推出了全新LLM排行榜——SEAL，開始對前沿模型開展專業性評估。

對于這個榜單，Jim Fan大加贊賞。他認為SEAL是LMSys的非常好的補充和參照，提供公開模型的私密、安全、可信的第三方評估。

對此，Andrej Karpathy也深以為然。

隨著OpenAI最強模型——o1的推出，SEAL排行榜也第一時間進行了評測。

除了在高級編程、數學和科學等領域表現出色之外，o1系列也為「prompt engineering」（提示工程）引入了新的變化。

在工具使用和指令跟隨方面，o1-preview表現出色。而在編程能力方面，o1-mini奪得榜首，o1-preview緊隨其后位居第二。

- 編程排行榜

在SEAL編程排行榜上，o1-mini以1271分的成績領跑，緊隨其后的是o1-preview，得分為1198。

評估數據集使用了1000個提示詞，用于測試各種編程任務，涵蓋從代碼生成到優化和文檔創建等多個方面。

過程中，每個模型的響應都會從正確性、性能和可讀性三個維度進行評估，綜合運用人工審核和代碼執行測試的方法。

- 指令跟隨排行榜

在對精確指令跟隨能力的評估中，o1-preview以87.27 分的成績領先，超越了知名Claude 3.5 Sonnet和Llama 3.1 405B Instruct。

評估數據集包含1054個跨領域的提示詞，涉及文本生成、頭腦風暴和教育支持等多個方面。

提示工程的變化

與我們熟悉的GPT、Gemini或Claude等模型相比，o1模型的提示詞使用和可操控性明顯不同。

根據OpenAI的建議，簡單直接的指令有助于充分發揮o1的潛力。

與之前的模型不同，用戶應避免要求模型進行思維鏈推理。他們還指出，提示詞中的無關上下文對o1模型的干擾可能比之前的GPT系列更大，因此在檢索增強生成（RAG）提示中加入一些示例很重要。

Cognition Labs發現，要求模型「think out loud」（大聲思考）實際上會損害性能，而只要求給出最終答案反而會提高性能，因為o1模型無論如何都會產生內部的思維鏈。他們還指出，冗長或重復的指令會損害性能，而過于具體的指示似乎會影響模型的推理能力。

雖然o1在基準測試中取得了出色的結果，但讓它完成你自己的具體任務似乎需要更多努力——它們往往會忽視明確（甚至是強調的）關于如何解決問題的指令。

由此可見，現實世界的提示和基準測試中使用的提示之間，實際上存在著不小的差距：后者旨在只包含明確的、自包含的、最小呈現的問題，沒有關于如何解決它們的建議或意見。

需要注意的是，o1-preview響應的延遲，特別是其「首個token的時間」，明顯高于GPT-4o。不過，o1-mini用更快的token推理速度彌補了「思考」的時間。

一些實測

- 詞匯約束

在官方示例中，o1在臭名昭著的「strawberry這個詞中有多少個R？」等「陷阱」任務上，有著不小的改進。

為了驗證這一點，我們向o1-preview提出了一個新編寫的謎語：

「說出一個拉丁語源的英語形容詞，它以相同的字母開頭和結尾，總共有十一個字母，并且詞中所有元音按字母順序排列。」

在第一次嘗試中，模型成功解決了這個謎語，答案是：sententious。

但如果反復提問同一個，o1卻并不能次次做對：

sententious ?

facetiously ?

transparent ?

abstentious ?

facetiously ?

- 解碼密碼

同樣令人深刻的，還有一個解碼復雜密碼的例子。

類似的，我們也嘗試了這個提示詞的各種變體，包括ROT13密碼、Atbash密碼、Base64編碼、反轉字符串等各種組合。

然而，大多數測試都不成功——在7次嘗試中，o1-preview只有2次能夠解碼給出的加密信息（《沙丘》中的「迎恐禱詞」（the Litany Against Fear））。

在每個prompt中，o1都被要求從OpenAI給出的示例中推斷出一種編碼方式。

在以下每個測試中，o1都未能在一次嘗試中解碼目標消息：

ROT13密碼 → 反轉字符串 → Base64編碼 → 反轉字符串

ROT13密碼 → Base64編碼 → ROT13密碼 → 反轉字符串

ROT13密碼 → Base64編碼 → ROT13密碼

ROT13密碼 → Base64編碼 → Atbash密碼

ROT13密碼 → Base58編碼

在第一次嘗試中成功解碼的兩個測試是：

Atbash密碼 → Base64編碼

ROT13密碼 → Base64編碼

這里展示了第一個成功的例子——其他測試除了使用的編碼不同外，都是相同的：

結論

總結來看，OpenAI的o1模型在推理能力方面都取得了重大突破，在AIME、Codeforces、Scale的SEAL排行榜等關鍵基準測試中表現出色。

這些結果表明，o1-preview和o1-mini是解決復雜推理問題的強大工具。然而，要充分發揮這些模型的潛力，可能需要比用戶習慣的其他模型發布更多的實驗和嘗試。