Stability AI開年第一個大模型來了！

名為Stable Code 3B，參數27億，專為寫代碼而生。

Stable Code 3B可理解處理18種不同的編程語言，上下文長度100K token。

且它對硬件要求也不高，用MacBook Air等普通筆記本電腦也能離線運行。

性能方面，Stable Code 3B規模比CodeLLaMA 7B小60%，但性能卻大差不差。

BigCode評估中，在包含多種編程語言的MultiPL-E數據集上，Stable Code 3B與類似大小的模型相比，都拿下了SOTA性能。

Stable Code 3B剛上線，有網友反饋已經在插件中用上了：

效果非常好！體積小，兼容各種硬件且運行速度非常快。

Stable Code 3B長啥樣？

在此之前，Stability AI去年8月份就已發布了一個初代版本Stable Code Alpha 3B，Stable Code 3B是其進化版。但開發團隊表示，Stable Code 3B是首個主要版本，基于Stable LM 3B基礎模型打造，并增加了多項附加功能。

其中就包括支持中間填補（FIM）等新功能，并使用RoPE（旋轉位置嵌入）方法，將上下文長度從16000 token拉長至100000 token。

Stable Code 3B整體架構類似于LLaMA，是一個僅解碼器模型，使用Flash Attention 2算法。

支持以下18種編程語言：

C、CPP、Java、JavaScript、CSS、Go、HTML、Ruby、Rust、Markdown、Shell、Php、Sql、R、Typescript、Python、Jupyter-Clean、RestructuredText

下面是對性能比較的補充。

面對比自己大兩倍多的CodeLLama 7B，Stable Code 3B的性能也差不多能與其打個平手，在Python、CPP語言上甚至略勝一籌。

在類似大小的模型中，Stable Code 3B表現突出。

不過也有吐槽聲

雖然Stable Code 3B收到了一波好評，但也有不少網友認為“沒有太多新東西”、“沒有那么好”。

此外，它僅支持英語和編程語言，也是讓大家有些許失望。

對此，你怎么看？

參考鏈接：
[1]https://huggingface.co/stabilityai/stable-code-3b
[2]https://twitter.com/StabilityAI/status/1747348018884493623