Stability AI開源3B代碼生成模型：可補全，還能Debug
本周一，Stability AI 開源了小體量預訓練模型 Stable Code Instruct 3B。
Stable Code Instruct 3B 是一個基于 Stable Code 3B 的指令調整編碼語言模型（Code LM）。給出自然語言 prompt，該模型可以處理各種任務，例如代碼生成、數學和其他軟件工程相關的任務。
Stability AI 宣稱，該模型在 3B 規模上提供了 SOTA 性能，并且優于 CodeLlama 7B Instruct 等更大規模的模型，甚至在軟件工程相關任務中，性能與 StarChat 15B 相當。
- 模型：https://huggingface.co/stabilityai/stable-code-instruct-3b
- HuggingFace 試用：https://huggingface.co/spaces/stabilityai/stable-code-instruct-3b
- Stable Code 技術報告：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/6601c5713150412edcd56f8e/1711392114564/Stable_Code_TechReport_release.pdf
Stable Code Instruct 3B 增強了代碼補全能力，并支持自然語言交互，旨在提高編程和軟件開發相關任務的效率和直觀性。實驗測試表明，該模型在各種與編碼相關的任務中優于 Codellama 7B Instruct 和 DeepSeek-Coder Instruct 1.3B 等同類模型。
方法介紹
Stable Code 建立在 Stable LM 3B 的基礎上。Stable Code 是一個因果純解碼器 transformer，類似于 LLaMA 架構，與 LLaMA 的主要區別如下：
- 位置嵌入，旋轉位置嵌入應用于頭嵌入維度的前 25%，以提高吞吐量；
- 標準化，帶有學得偏差項的 LayerNorm；
- 偏差，除了鍵、查詢和值投影的偏差，Stable Code 從前饋網絡和多頭自注意力層中刪除了所有偏差項。
下表給出了預訓練語料庫數據集的采樣權重、 epoch、類別等信息。
根據 Stack Overflow 2023 開發者調查報告，Stable Code Instruct 3B 重點關注 Python、Javascript、Java、C、C++ 和 Go 等語言，這些語言對于各種開發人員來說是最流行和最有影響力的。雖然這些語言被選為訓練的重點，但該模型還針對其他廣泛采用的語言（例如 SQL、PHP 和 Rust）進行了訓練。
即使對于最初未包含在訓練集中的語言（例如 Lua），Stable Code Instruct 3B 也能提供強大的測試性能。這種熟練程度可能源于其對底層編碼原理的理解，以及利用編碼任務固有的可預測性，在不同編程環境中適應概念的能力。
Stable Code Instruct 3B 不僅精通代碼生成，還精通 FIM（Fill in the Middle）任務、數據庫查詢、代碼翻譯、解釋和創建。其指令調整使其能夠理解并按照細致入微的指令采取行動，促進除簡單代碼完成之外的廣泛編碼任務，包括數學理解、邏輯推理和圍繞軟件開發處理復雜的技術描述。
性能評估
與 Codellama 7B Instruct 和 DeepSeek-Coder Instruct 1.3B 等領先模型相比，Stable Code Instruct 3B 在一系列編碼任務中展現出卓越的性能。
研究團隊還在 Multi-PL 基準上比較了三種模型。盡管參數量較少，但 Stable Code Instruct 3B 在所有語言上的表現均明顯優于 CodeLlama Instruct。
下表 8 展示了幾種模型在 FIM 任務上的性能：
實驗測試表明，Stable Code Instruct 3B 在代碼完成準確性、對自然語言指令的理解以及跨不同編程語言的能力方面可與其他模型媲美甚至超越。
Stable Code Instruct 3B 的參數規模和低硬件要求使其可供廣泛的受眾使用，使開發人員能夠更高效地工作。值得一提的是，Stable Code Instruct 3B 現在可以通過 Stability AI 會員資格用于商業目的。
