loongarch架構介紹—（五）TLB維護

作者：蔣衛峰李濤 2023-03-01 14:59:08

開發架構

本文介紹了TLB維護操作和相關指令，并結合Linux中代碼進行了分析。這篇文章之后，本系列文章暫時告一段落。主要是目前loongarch相關的資料有限，描述二進制翻譯擴展等擴展內容的loongarch手冊第二、三卷也還沒有出。

??想了解更多關于開源的內容，請訪問：??

??51CTO 開源基礎軟件社區??

??https://ost.51cto.com??

前言

上一篇文章中介紹了loongarch中TLB相關的異常處理，這一篇文章繼續介紹TLB相關的維護操作。

1、TLB硬件組織機構

首先補充loongarch中TLB相關的硬件背景知識。

loongarch架構中，TLB分為兩個部分：一個是所有表項的頁大小都相同的Singular-Page-Size TLB，簡稱STLB；一個是支持不同表項的頁大小可以不同的Multiple-Page-Size TLB，簡稱MTLB。在進行虛實地址轉換時，STLB和MTLB同時查找。同時軟件上需保證不會出現MTLB和STLB同時命中的情況。

STLB和MTLB的表項格式基本一致，區別僅在于MTLB每個表項中均包含了一個頁大小的信息，而STLB每個表項中無此信息。

回顧上一篇文章中介紹了的TLB表項格式：

#loongarch架構介紹# [五] TLB維護-開源基礎軟件社區

其中PS（page size）域僅存在于MTLB。

2、虛擬內存系統與硬件維護

虛擬地址空間的引入為程序提供了方便，但同時也帶來了其他問題。

其中，有一種稱為homonym的問題，其指的是單個虛擬地址指向多個物理地址的情況。例如，在多個進程中使用了相同的虛擬地址，但這些虛擬地址實際上指向了不同的物理地址。當進程切換、虛擬地址空間切換、頁表修改等情況時，硬件上的緩存數據不一定會自動進行同步，此時就會有數據不一致的問題。

因此，操作系統在軟件上需要手動去維護相關的硬件數據一致性：

TLB維護：TLB中緩存的頁表項就有可能因為軟件上對頁表的修改，出現數據不一致的問題。操作系統需要進行invalidate（或者稱為flush）TLB的操作，將相應的表項無效。
cache維護：某些類型的cache也可能會因頁表的修改，出現數據不一致的問題。對于這些cache，操作系統同樣需要進行clean或invalidate操作。

（1）TLB維護與ASID

在一些早期的架構中，invalidate TLB操作實際上是將整個TLB中的數據無效，因為TLB因homonym問題無法判斷其緩存的表項屬于哪個進程。

但實際上，刷新整個TLB的數據是一件相當浪費性能的事，既會影響上下文切換時的速度，也會降低TLB加速的作用。因此，后來的架構一般都會在TLB中加入其他標識以識別不同的進程或者虛擬地址空間，這樣TLB不需要每次切換上下文都進行invalidate操作。

ASID（Address Space ID）就是這樣的標識。loongarch中支持ASID，見上文中TLB表項圖，其中就有ASID域。每個TLB表項都有ASID，ASID由操作系統在軟件上進行分配，一般一個虛擬地址空間有一個唯一的ASID，這樣就有效減少了TLB invalidate操作的次數。

loongarch中，CSR.ASID寄存器可以控制當前TLB使用的ASID，如下圖：

#loongarch架構介紹# [五] TLB維護-開源基礎軟件社區

同時loongarch中TLB相關維護指令也支持根據ASID，只無效部分ASID匹配的表項。見后文介紹。

（2）cache維護

相較于cache維護，TLB相關的維護是本文著重介紹的內容。主要是因為目前loongarch中cache相關的資料較少。

一般來說，在上下文切換、頁表修改等情況時，是否需要在軟件上對cache進行維護，與具體的架構和cache類型有關。以ARM架構為例，其中VIVT類型的cache在涉及頁表切換等操作時需要進行維護。

3、TLB相關維護指令

tlbclr：tlbclr指令根據TLB相關CSR中的信息無效TLB中的內容。

當CSR.TLBIDX.Index落在MTLB范圍內時，執行tlbclr，將MTLB中所有G=0且ASID等于CSR.ASID.ASID的表項無效。其中G、ASID為表項中的域。
當CSR.TLBIDX.Index落在STLB范圍內時，執行tlbclr，將STLB中CSR.TLBIDX.Index對應的且G=0且ASID等于CSR.ASID.ASID的表項無效。

tlbflush：tlbflush指令同樣根據TLB相關CSR中的信息無效TLB中的內容，但作用范圍較tlbclr指令更廣。

當CSR.TLBIDX.Index落在MTLB范圍內時，執行tlbflush，將MTLB中所有的表項無效。
當CSR.TLBIDX.Index落在STLB范圍內時，執行tlbflush，將STLB中CSR.TLBIDX.Index對應的表項無效。

invtlb op, rj, rk：invtlb指令同樣用于無效TLB中的內容，但相較于tlbclr和tlbflush指令更加靈活。

op表示操作類型，下面是loongarch手冊中列出的op類型：

op=0：清除所有表項。
op=1：清除所有表項。效果和op=0完全一致。
op=2：清除所有G=1的表項。
op=3：清除所有G=0的表項。
op=4：清除所有G=0，且ASID等于寄存器指定ASID的表項。
op=5：清除所有G=0，ASID等于寄存器指定ASID，且VA等于寄存器指定VA的表項。
op=6：清除所有G=1或ASID等于寄存器指定ASID，且VA等于寄存器指定VA的表項。

通用寄存器rj中存放ASID信息。當op對應的操作不需要ASID時，rj應設置為r0。
通用寄存器rk中存放VA虛擬地址信息。當op對應的操作不需要VA時，rk應設置為r0。

下面用linux中loongarch下TLB flush相關API對invtlb指令舉例說明。

注：目前loongarch手冊中的op操作類型似乎不全。

// invtlb指令中的op
enum invtlb_ops {
    /* Invalid all tlb */
    INVTLB_ALL = 0x0,
    /* Invalid current tlb */
    INVTLB_CURRENT_ALL = 0x1,
    /* Invalid all global=1 lines in current tlb */
    INVTLB_CURRENT_GTRUE = 0x2,
    /* Invalid all global=0 lines in current tlb */
    INVTLB_CURRENT_GFALSE = 0x3,
    /* Invalid global=0 and matched asid lines in current tlb */
    INVTLB_GFALSE_AND_ASID = 0x4,
    /* Invalid addr with global=0 and matched asid in current tlb */
    INVTLB_ADDR_GFALSE_AND_ASID = 0x5,
    /* Invalid addr with global=1 or matched asid in current tlb */
    INVTLB_ADDR_GTRUE_OR_ASID = 0x6,
    /* Invalid matched gid in guest tlb */
    INVGTLB_GID = 0x9,
    /* Invalid global=1, matched gid in guest tlb */
    INVGTLB_GID_GTRUE = 0xa,
    /* Invalid global=0, matched gid in guest tlb */
    INVGTLB_GID_GFALSE = 0xb,
    /* Invalid global=0, matched gid and asid in guest tlb */
    INVGTLB_GID_GFALSE_ASID = 0xc,
    /* Invalid global=0 , matched gid, asid and addr in guest tlb */
    INVGTLB_GID_GFALSE_ASID_ADDR = 0xd,
    /* Invalid global=1 , matched gid, asid and addr in guest tlb */
    INVGTLB_GID_GTRUE_ASID_ADDR = 0xe,
    /* Invalid all gid gva-->gpa guest tlb */
    INVGTLB_ALLGID_GVA_TO_GPA = 0x10,
    /* Invalid all gid gpa-->hpa tlb */
    INVTLB_ALLGID_GPA_TO_HPA = 0x11,
    /* Invalid all gid tlb, including  gva-->gpa and gpa-->hpa */
    INVTLB_ALLGID = 0x12,
    /* Invalid matched gid gva-->gpa guest tlb */
    INVGTLB_GID_GVA_TO_GPA = 0x13,
    /* Invalid matched gid gpa-->hpa tlb */
    INVTLB_GID_GPA_TO_HPA = 0x14,
    /* Invalid matched gid tlb,including gva-->gpa and gpa-->hpa */
    INVTLB_GID_ALL = 0x15,
    /* Invalid matched gid and addr gpa-->hpa tlb */
    INVTLB_GID_ADDR = 0x16,
};
/*
 * invtlb op info addr
 * (0x1 << 26) | (0x24 << 20) | (0x13 << 15) |
 * (addr << 10) | (info << 5) | op
 */
// 基于機器碼封裝了invtlb op info addr格式的指令
static inline void invtlb(u32 op, u32 info, u64 addr)
{
    __asm__ __volatile__(
        "parse_r addr,%0\n\t"
        "parse_r info,%1\n\t"
        ".word ((0x6498000) | (addr << 10) | (info << 5) | %2)\n\t"
        :
        : "r"(addr), "r"(info), "i"(op)
        :
        );
}
// invtlb op 0 0指令
static inline void invtlb_all(u32 op, u32 info, u64 addr)
{
    __asm__ __volatile__(
        ".word ((0x6498000) | (0 << 10) | (0 << 5) | %0)\n\t"
        :
        : "i"(op)
        :
        );
}

4、上下文切換和TLB維護

本節結合linux中上下文切換部分代碼對TLB invalidate操作進行分析。

以下為linux中context_switch上下文切換函數的流程：

context_switch(struct rq *rq, struct task_struct *prev,
|           struct task_struct *next)
|   // 更新時間片、最近進隊時間等調度信息以及其他準備工作
|-> prepare_task_switch(rq, prev, next);
|
|   // 虛擬地址空間切換相關
|-> mm = next->mm;
|   oldmm = prev->active_mm;
|   if (!mm) {
|       next->active_mm = oldmm;
|       atomic_inc(&oldmm->mm_count); // 增加oldmm的引用計數
|       // 其他架構（x86）相關，這里不關注
|       enter_lazy_tlb(oldmm, next); 
|   } else
|       // 切換到用戶進程，需切換進程虛擬空間
|       switch_mm(oldmm, mm, next);
|
|-> ...
|
|   // 切換任務上下文
|-> switch_to(prev, next, prev);
|   // 切換后再次被調度時向下執行
|
|   // 用barrier機制同步，
|   // 保證switch_to和finish_task_switch的執行順序
|-> barrier();
    |   // 使用gcc內聯匯編:::"memory"語法實現，
    |   // 這樣編譯器不會優化此語句前后的訪存順序
    |-> #define barrier() __asm__ __volatile__("": : :"memory")
|
|   // 再次被調度時，進行清理工作
|-> finish_task_switch(this_rq(), prev);

在進行任務上下文切換函數switch_to之前，如果涉及進程虛擬地址空間改變，則需要切換mmu上下文。上面switch_mm函數的作用就是切換mmu上下文。

loongarch架構代碼中switch_mm及相關函數的分析如下：

switch_mm(struct mm_struct *prev, struct mm_struct *next,
|                struct task_struct *tsk)
|-> switch_mm_irqs_off(prev, next, tsk);
    |-> unsigned int cpu = smp_processor_id();
    |
    |   /* Check if our ASID is of an older version and thus invalid */
    |   // 如果asid不同，則需重新分配
    |-> if (!asid_valid(next, cpu))
    |       get_new_mmu_context(next, cpu);
    |
    |   // 寫入asid到寄存器CSR.ASID
    |-> write_csr_asid(cpu_asid(cpu, next));
    |
    |   // 切換頁表
    |-> if (next != &init_mm)
    |       csr_writeq((unsigned long)next->pgd, LOONGARCH_CSR_PGDL);
    |   else
    |       csr_writeq((unsigned long)invalid_pg_dir, LOONGARCH_CSR_PGDL);
    |
    |-> ...

#define cpu_context(cpu, mm) ((mm)->context.asid[cpu])
#define asid_cache(cpu)      (cpu_data[cpu].asid_cache)
static inline int asid_valid(struct mm_struct *mm, unsigned int cpu)
{
    // 如果mm中的asid和當前asid_cache不同，則返回無效
    if ((cpu_context(cpu, mm) ^ asid_cache(cpu)) & asid_version_mask(cpu))
        return 0;

    return 1;
}

static inline void
get_new_mmu_context(struct mm_struct *mm, unsigned long cpu)
{
|   // 循環遞增地分配新的asid，為舊的asid_cache + 1
|-> u64 asid = asid_cache(cpu);
|   if (!((++asid) & cpu_asid_mask(&cpu_data[cpu])))
|       // 當asid溢出時開始新的分配循環，此時需刷新TLB中所有用戶部分
|       local_flush_tlb_user();    /* start new asid cycle */
|
|   // 將mm中asid和當前asid_cache設為新分配的asid
|-> cpu_context(cpu, mm) = asid_cache(cpu) = asid;
}

其中，switch_mm函數主要完成兩個任務：

維護TLB：如前文所述，loongarch中上下文切換時需要維護TLB數據一致性。在上面的代碼中，是結合ASID進行實現：

每次檢測ASID是否變化，如果變化則說明虛擬地址空間需要進行切換，CSR.ASID寄存器需要重新設置
上面代碼實現中是通過循環遞增的方式分配新的ASID，當ASID溢出時需要使用invalidate TLB操作來保證數據一致性

切換頁表：不同的用戶虛擬地址空間有不同的頁表，需通過設置相關寄存器進行切換。頁表相關的配置可參考前面的文章。

上面的asid_valid函數檢測ASID是否變化，get_new_mmu_context函數負責重新分配ASID和ASID溢出時調用local_flush_tlb_user函數進行invalidate TLB操作。

local_flush_tlb_user函數分析如下：

local_flush_tlb_user(void)
|   // 刷新所有global=0的TLB表項
|-> invtlb_all(INVTLB_CURRENT_GFALSE, 0, 0);

另外，上面代碼中ASID管理部分可以進一步改進，因為每次檢測到ASID變化后，mm結構體被設置了一個新分配的ASID，這樣實際上未能利用mm結構體中原來的ASID和TLB中對應緩存數據。

總結

本文介紹了TLB維護操作和相關指令，并結合linux中代碼進行了分析。這篇文章之后，本系列文章暫時告一段落。主要是目前loongarch相關的資料有限，描述二進制翻譯擴展等擴展內容的loongarch手冊第二、三卷也還沒有出。

最后，在查詢loongarch資料（主要是基于龍芯手冊第一卷1.02和linux中loongarch部分源碼）的過程中也發現了一些不足點或者是不夠詳細的地方，這里一并列出：

指令的介紹有信息遺漏：如第一篇文章中列出的一部分手冊上沒有，但在代碼中出現的move等指令；又如前文中的invtlb指令中的op操作類型相比代碼中缺少一些
內存一致性模型，內存訪存類型的信息不夠詳細：第二篇文章中提到了這點，如手冊中出現的一致可緩存等術語沒有解釋
中斷機制相關信息不夠詳細
cache相關信息不夠詳細