deepseek開源Flash-MLA，業(yè)內(nèi)紛紛表示：

• “這是加速AGI進程的里程碑技術(shù)”
• “deepseek才是真正的open AI”

今天簡單聊聊：

• 吃瓜：FLASH-MLA是干嘛的？
• 技術(shù)：MLA是個啥？
• 普通人有什么用：對寫提示詞有什么啟示？

1. Flash-MLA是干嘛的？

GPU高速解碼器，可以理解為這是為高性能顯卡定制的“AI加速工具”。

加速到什么程度？

• 處理速度達到3000GB/s；
• 算力達到580萬億次/s；

對整個行業(yè)有什么影響？

• 訓(xùn)練/計算都更快：AGI進程大大加速；
• 更省成本：大模型不再是大公司的專利，更多創(chuàng)新公司也玩得起AI了；
• 開源免費，技術(shù)普惠：開發(fā)者福音，更多被算力卡脖子的應(yīng)用將更快釋放，幾天就能訓(xùn)練與部署垂直領(lǐng)域AI；

2. MLA是個啥？

Multi-head Latent Attention，多頭潛在注意力機制，是對多頭注意力機制的一種改進。

那什么是多頭注意力機制？

Multi-head Attention（MHA），這是Transformer模型的核心組件，它通過多個獨立的注意力權(quán)重矩陣，對輸入數(shù)據(jù)進行并行分析，最終再融合輸出，以提高計算效率與輸出質(zhì)量。

簡言之：并行分析，最后整合，提質(zhì)提效。

打個通俗的比喻。

用戶輸入：設(shè)計一個電商高可用架構(gòu)。

普通注意力機制 -> 安排一個架構(gòu)師，通過訓(xùn)練好的注意力矩陣，對系統(tǒng)進行設(shè)計。

多頭注意力機制 -> 安排一個系統(tǒng)架構(gòu)師，一個業(yè)務(wù)架構(gòu)師，一個運維專家，一個安全專家，一個DBA…. 分別通過訓(xùn)練好的注意力矩陣，并行設(shè)計，最終整合設(shè)計方案。

既能縮短設(shè)計時間，又能提升設(shè)計質(zhì)量。

MLA對MHA是怎么改進的？

• 引入潛在向量（Latent Vector），矩陣降維，壓縮KV緩存，壓縮率能達到90%+；
• 限制注意力范圍，聚焦局部窗口與關(guān)鍵片段，降低長提示詞計算復(fù)雜度；
• …

畫外音：相關(guān)文檔還在研究，截止發(fā)文，還沒有全部搞懂。

3. 對我們普通人寫提示詞有什么啟示？

提示詞技巧一：顯示并行步驟拆分。

bad case：請系統(tǒng)性介紹MLA。

better case，請系統(tǒng)性介紹MLA：

• 介紹MLA概念，用通俗的語言表達；
• 介紹MHA與MLA的關(guān)聯(lián)與異同；
• 舉幾個MLA例子說明；
• 補充MLA關(guān)聯(lián)知識點；

原理：MHA可以多注意力并行處理，通過提示詞顯示派發(fā)并行任務(wù)可以充分發(fā)揮其潛力。

提示詞技巧二：標(biāo)記關(guān)鍵變量信息。

上述提示詞還可以進一步優(yōu)化：

請系統(tǒng)性介紹{$input}：

{$input}=MLA

• 介紹{$input}概念，用通俗的語言表達；
• 介紹MHA與{$input}的關(guān)聯(lián)與異同；
• 舉幾個{$input}例子說明；
• 補充{$input}關(guān)聯(lián)知識點；

原理：MLA對潛在的變量符號敏感，它能幫助模型捕捉提示詞之間的層次與隱藏關(guān)系，減少重復(fù)分析與計算。

提示詞技巧三：分段輸入。

bad case：請分析這篇關(guān)于MLA的文章：

• #正文#...
• 并進行總結(jié)。

better case，請分析這篇關(guān)于MLA的文章：

• #正文第一部分# …
• #正文第二部分# …
• #正文第三部分# …
• 并進行總結(jié)。

原理：MLA擅長處理局部信息，分段輸入可減少跨段冗余計算，提高效率。

4. 稍作總結(jié)

• Flash-MLA是顯卡加速工具，它的開源使得計算更快更便宜，實現(xiàn)了技術(shù)普惠；
• MLA是deepseek的核心技術(shù)（之一），它是對MHA的優(yōu)化；
• MHA的關(guān)鍵是：并行分析，最后整合，提質(zhì)提效;
• 提示詞層面：拆分并行步驟，標(biāo)記關(guān)鍵變量，分段輸入等充分發(fā)揮MLA的潛能；

一切的一切，提示詞只有適配了AI的認(rèn)知模式，才能最高效的發(fā)揮最大的作用。

知其然，知其所以然。

思路比結(jié)論更重要。