在人工智能領域，語言模型一直是研究和應用的熱點。從簡單的文本生成到復雜的對話系統，語言模型的性能和效率一直是開發者和研究人員關注的重點。最近，IBM發布了一個備受矚目的新成員——Granite 4.0 Tiny，這是其即將推出的Granite 4.0語言模型家族中最小的成員。今天，我們就來深入了解一下這個小巧而強大的模型，看看它如何在長文本任務和指令跟隨場景中大放異彩。

開源與高效：Granite 4.0 Tiny的使命

IBM一直以來都致力于開發開放、可審計且適合企業級應用的基礎模型。Granite 4.0 Tiny的發布，正是這一使命的延續。這款模型采用了Apache 2.0開源許可，這意味著開發者可以自由地使用、修改和分發模型，極大地促進了技術的共享和創新。

Granite 4.0 Tiny的設計目標非常明確：在保持高效性能的同時，提供透明性和企業級的可靠性。它專注于長文本任務和指令跟隨場景，例如文檔理解、對話總結以及知識密集型問答。這種定位使得Granite 4.0 Tiny在資源受限的環境中表現尤為出色，比如邊緣計算設備和需要快速響應的應用場景。

架構創新：混合MoE與Mamba-2風格動態

Granite 4.0 Tiny的核心架構采用了混合專家（MoE）結構，總參數量達到70億，但在每次前向傳播中，只有10億參數被激活。這種稀疏性設計使得模型在計算資源消耗上大幅減少，同時保持了可擴展性。換句話說，Granite 4.0 Tiny能夠在不犧牲性能的前提下，高效地處理長文本任務。

Base-Preview版本采用了純解碼器架構，并引入了Mamba-2風格的線性遞歸層，作為傳統注意力機制的替代品。這種架構的轉變使得模型能夠更高效地處理輸入長度的擴展，非常適合長文本任務。此外，Granite 4.0 Tiny還采用了NoPE（無位置編碼）設計。與傳統的固定或學習位置嵌入不同，該模型將位置處理直接集成到層動態中。這種設計不僅提高了模型在不同輸入長度下的泛化能力，還確保了長序列生成的一致性。

性能卓越：效率與效果的雙重提升

盡管Granite 4.0 Tiny只是一個預覽版本，但其性能已經讓人眼前一亮。在多項基準測試中，Base-Preview版本都取得了顯著的提升。例如，在DROP（段落離散推理）基準測試中，該模型的性能提升了5.6倍；在AGIEval（評估通用語言理解和推理能力）測試中，性能提升了3.8倍。這些提升歸功于模型的架構設計以及其廣泛的預訓練過程。據報道，Granite 4.0 Tiny在2.5萬億個標記上進行了預訓練，涵蓋了多種領域和語言結構。

指令調優：對話、多語言與代碼生成的全能選手

除了Base-Preview版本外，Granite 4.0 Tiny還提供了Instruct（指令調優）版本。這個版本通過監督微調（SFT）和強化學習（RL）進行了進一步優化，使用了Tülu風格的數據集，包含開放和合成對話。Instruct版本專為指令跟隨和交互式應用場景設計，支持8192個標記的輸入窗口和8192個標記的生成長度，能夠在長時間的交互中保持一致性和準確性。

與常見的編碼器-解碼器混合模型不同，Granite 4.0 Tiny的純解碼器架構能夠生成更清晰、更可追溯的輸出。這對于企業級應用和安全關鍵場景來說是一個巨大的優勢。Instruct版本在多項評估中表現出色，例如在IFEval（指令跟隨基準測試）中得分為86.1，在GSM8K（小學數學問題解決）測試中得分為70.05，在HumanEval（Python代碼生成準確性）測試中得分為82.41。此外，該模型還支持12種語言的多語言交互，使其在全球范圍內的客服、企業自動化和教育工具等場景中具有廣泛的應用潛力。

開源與生態：助力開發者探索與創新

IBM將Granite 4.0 Tiny的兩個版本都發布在了Hugging Face平臺上，供開發者自由使用。這些模型不僅提供了完整的模型權重和配置文件，還附帶了示例腳本，方便開發者進行實驗、微調和集成到下游自然語言處理工作流中。開源的策略不僅促進了技術的透明度，也為開發者提供了一個強大的工具，幫助他們快速實現自己的想法。

展望未來：Granite 4.0的無限可能

Granite 4.0 Tiny預覽版只是IBM新一代語言模型家族的一個開端。通過結合高效的MoE架構、長文本支持和指令調優，Granite 4.0家族有望在可控和資源高效的前提下，提供最先進的語言模型能力。隨著更多Granite 4.0版本的發布，我們可以期待IBM在負責任的開放人工智能領域持續投入，成為推動透明、高性能語言模型未來發展的重要力量。

總結

IBM的Granite 4.0 Tiny預覽版為我們展示了一個小而強大的語言模型如何在長文本任務和指令跟隨場景中發揮巨大作用。它的開源策略、創新架構和卓越性能，使其成為開發者和研究人員的有力工具。無論是在企業級應用還是在學術研究中，Granite 4.0 Tiny都值得我們關注。未來，隨著更多版本的推出，Granite 4.0有望在人工智能領域掀起新的浪潮。讓我們拭目以待吧！

本文轉載自??Halo咯咯??    作者：基咯咯