OpenAI 的新戰略泄露，揭示了他們正在開發兩個強大的新模型：草莓和獵戶座，這兩者都將推動人工智能領域的巨大進步。本文將深入分析 OpenAI 的戰略，解讀這些模型背后的技術，以及它們可能帶來的潛在影響。

人工智能的困境：推理能力的缺失

大型語言模型 (LLM) 的能力常常被描述為“黑魔法”，但實際上它們只是基于一個簡單的原理：模式匹配。它們只是在訓練過程中學習了數據中的模式，并根據這些模式進行預測。

然而，這種模式匹配能力存在一個致命缺陷：推理能力的缺失。LLM 無法像人類一樣進行復雜的推理，因為它們在訓練數據中沒有看到足夠的推理過程。雖然網絡上的文本可能表達了智能的想法，但它們通常缺少推理過程。

因此，目前的 LLM 如 GPT-4o 和 Claude 3.5 Sonnet 所展現的“智能”，只是一種幻覺。它們只是能夠將已知的知識點進行組合，而并非真正理解和推理。

合成數據：打破推理能力的瓶頸

為了克服 LLM 的推理能力不足，研究人員們開始轉向合成數據。合成數據是指人工生成的數據，它可以用來訓練模型進行推理。

合成數據在 LLM 訓練中的應用已經十分普遍。例如，GPT-4o、 GPT-4o-mini、Grok-2-mini、Claude 3.5 Sonnet 和微軟 Phi 家族等模型都使用了合成數據進行訓練。

Meta 采用了一種創新的方法：他們在訓練過程中對模型進行檢查點，并在特定任務的數據集上進行微調，然后使用這些微調后的模型生成新的數據來訓練更高級的版本。

蒸餾是一種壓縮模型的技術，它可以訓練一個較小的模型來模仿更大的模型，從而在性能上接近更大的模型，但成本更低。例如，GPT-4o-mini 比 GPT-4 便宜 400 倍，而且性能更好。

蒸餾背后的數學原理：

• 交叉熵是 LLM 訓練中常用的損失函數，它衡量的是模型預測的概率和真實概率之間的差異。
• KL 散度是一種衡量兩個概率分布之間差異的指標。
• 在蒸餾訓練中，模型不僅要學習預測正確的下一個詞，還要學習模仿教師模型的概率分布，從而實現對教師模型的模仿。

草莓模型：提升推理能力的關鍵

OpenAI 的新戰略可以分為兩個階段，分別對應兩個新的模型家族：草莓和獵戶座。

草莓模型是 OpenAI 研發多年的新模型，它旨在提高 LLM 的推理能力。

草莓模型的研發基礎：

• 驗證器：OpenAI 在 2021 年提出了驗證器的概念，它可以用來評估模型的推理過程和結果。
• **過程監督獎勵模型 (PRM)**：OpenAI 在 2023 年提出了 PRM，它可以根據模型推理過程中的每個步驟來評估模型的性能。
• 證明者-驗證者游戲：OpenAI 在 2024 年提出了證明者-驗證者游戲，它可以幫助模型生成更容易理解的答案，方便人類進行評估。

草莓模型的工作原理：

• 它可以搜索解空間，并使用驗證器來驗證每個推理步驟。
• 它可以利用更小的驗證器，從而降低計算成本。

草莓模型的局限性：

• 由于需要進行長時間的推理過程，因此成本較高。

草莓模型的應用：

• OpenAI 可能會通過蒸餾技術，訓練一個更小的草莓 mini 模型，并將其集成到 ChatGPT 產品中，以提升 ChatGPT 的推理能力。

獵戶座模型：人工智能的下一個里程碑

雖然草莓模型可以提升 LLM 的推理能力，但它可能只是 OpenAI 實現下一個目標的過渡階段。獵戶座模型才是 OpenAI 的最終目標，它將是下一個強大的 AI 模型。

獵戶座模型的訓練過程：

• OpenAI 可能使用 GPT-4o 和 GPT-4o-mini 生成大量的推理數據。
• 他們使用這些數據訓練強大的獎勵模型，以評估推理過程。
• 他們使用 GPT-4o/mini 和驗證器進行主動搜索，生成更高級的推理數據。
• 他們使用這些數據訓練草莓 Large 模型。
• 他們使用草莓 Large 模型重復步驟 1-4，最終訓練出獵戶座模型。

獵戶座模型的潛在影響：

• 獵戶座模型可能比目前的 LLM 更強大，并能夠執行更復雜的推理任務。
• 獵戶座模型的發布可能會引發社會對人工智能的擔憂。

結語

OpenAI 的新戰略，預示著人工智能領域的重大突破。草莓和獵戶座模型將推動人工智能的發展，并可能帶來前所未有的機遇和挑戰。

未來，人工智能將會如何發展？社會將如何應對人工智能的快速發展？這些問題需要我們認真思考和探索。

本文轉載自 ??DevOpsAI??，作者： OpenAI