位置編碼（Postitional Encoding）是Transformer架構(gòu)中的關(guān)鍵技術(shù)之一。不同于卷積神經(jīng)網(wǎng)絡(luò)利用局部感受野、共享權(quán)重和池化操作等機(jī)制，可以自然地感受輸入數(shù)據(jù)的空間位置信息，也不同于循環(huán)神經(jīng)網(wǎng)絡(luò)憑借循環(huán)結(jié)構(gòu)和隱藏狀態(tài)的記憶與更新機(jī)制，能夠隱式地捕捉輸入序列中的時(shí)間順序信息，Tranformer架構(gòu)并未顯式地建模輸入序列中的絕對或相對位置信息，故需通過位置編碼技術(shù)顯式地注入位置信息，以使模型能更好地理解序列中不同位置間的依賴關(guān)系。

1.位置編碼技術(shù)的發(fā)展

位置編碼技術(shù)的發(fā)展從Transformer模型最初使用的利用序列中元素的絕對位置的絕對位置編碼（Absolute Positional Encoding）技術(shù)開始，到可以捕捉序列中元素之間的相對位置關(guān)系的相對位置編碼（Relative Positional Encoding）技術(shù)，再到結(jié)合了前二者優(yōu)點(diǎn)的旋轉(zhuǎn)位置編碼（Rotary Position Embedding, RoPE）技術(shù)的提出，在DeepSeek等大語言模型中得到了廣泛且有效的使用。

本文主要針對Transformer模型最初提出的絕對位置編碼技術(shù)進(jìn)行深入探究，包括技術(shù)原理、優(yōu)缺點(diǎn)及基于Pytorch的代碼實(shí)現(xiàn)和效果可視化展示。（全文近1700字，感興趣可點(diǎn)贊、推薦、轉(zhuǎn)發(fā)、關(guān)注，將持續(xù)更新！！！）

2.Transformer中的絕對位置編碼

3.絕對位置編碼的優(yōu)點(diǎn)與局限性

（1）優(yōu)點(diǎn)：絕對位置編碼在 Transformer 模型中具有簡單易實(shí)現(xiàn)、顯式順序信息和計(jì)算效率高等優(yōu)點(diǎn)，特別適用于短文本處理任務(wù)。

（2）局限性：絕對位置編碼是基于固定長度的序列設(shè)計(jì)的，無法適應(yīng)模型推理階段序列長度變化的情況，這種缺乏外推性的問題限制了模型在處理不同長度序列時(shí)的靈活性。同時(shí)，無法捕捉序列中元素之間的相對位置關(guān)系，使模型對長距離依賴的捕捉能力有限。

4.絕對位置?編碼的實(shí)現(xiàn)

（3）可視化位置編碼效果：由下圖可見，每一行代表輸入序列中一個(gè)token的位置信息編碼，具有明顯不同且連續(xù)的模式，能夠幫助Transformer區(qū)分輸入序列中不同位置的元素。

本文轉(zhuǎn)載自??南夏的算法驛站??，作者：趙南夏