原來 Mmap 這么簡單
本文轉載自微信公眾號「Linux內核那些事」,作者songsong001 。轉載本文請聯系Linux內核那些事公眾號。
一、傳統的讀寫文件
一般來說,修改一個文件的內容需要如下3個步驟:
- 把文件內容讀入到內存中。
- 修改內存中的內容。
- 把內存的數據寫入到文件中。
過程如圖 1 所示:
如果使用代碼來實現上面的過程,代碼如下:
- read(fd, buf, 1024); // 讀取文件的內容到buf
- ... // 修改buf的內容
- write(fd, buf, 1024); // 把buf的內容寫入到文件
從圖 1 中可以看出,頁緩存(page cache) 是讀寫文件時的中間層,內核使用 頁緩存 與文件的數據塊關聯起來。所以應用程序讀寫文件時,實際操作的是 頁緩存。
二、使用 mmap 讀寫文件
從傳統讀寫文件的過程中,我們可以發現有個地方可以優化:如果可以直接在用戶空間讀寫 頁緩存,那么就可以免去將 頁緩存 的數據復制到用戶空間緩沖區的過程。
那么,有沒有這樣的技術能實現上面所說的方式呢?答案是肯定的,就是 mmap。
使用 mmap 系統調用可以將用戶空間的虛擬內存地址與文件進行映射(綁定),對映射后的虛擬內存地址進行讀寫操作就如同對文件進行讀寫操作一樣。原理如圖 2 所示:
前面我們介紹過,讀寫文件都需要經過 頁緩存,所以 mmap 映射的正是文件的 頁緩存,而非磁盤中的文件本身。由于 mmap 映射的是文件的 頁緩存,所以就涉及到同步的問題,即 頁緩存 會在什么時候把數據同步到磁盤。
Linux 內核并不會主動把 mmap 映射的 頁緩存 同步到磁盤,而是需要用戶主動觸發。同步 mmap 映射的內存到磁盤有 4 個時機:
- 調用 msync 函數主動進行數據同步(主動)。
- 調用 munmap 函數對文件進行解除映射關系時(主動)。
- 進程退出時(被動)。
- 系統關機時(被動)。
三、mmap的使用方式
下面我們介紹一下怎么使用 mmap,mmap 函數的原型如下:
- void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
下面介紹一下 mmap 函數的各個參數作用:
- addr:指定映射的虛擬內存地址,可以設置為 NULL,讓 Linux 內核自動選擇合適的虛擬內存地址。
- length:映射的長度。
- prot:映射內存的保護模式,可選值如下:
- PROT_EXEC:可以被執行。
- PROT_READ:可以被讀取。
- PROT_WRITE:可以被寫入。
- PROT_NONE:不可訪問。
- flags:指定映射的類型,常用的可選值如下:
- MAP_FIXED:使用指定的起始虛擬內存地址進行映射。
- MAP_SHARED:與其它所有映射到這個文件的進程共享映射空間(可實現共享內存)。
- MAP_PRIVATE:建立一個寫時復制(Copy on Write)的私有映射空間。
- MAP_LOCKED:鎖定映射區的頁面,從而防止頁面被交換出內存。
- ...
- fd:進行映射的文件句柄。
- offset:文件偏移量(從文件的何處開始映射)。
介紹完 mmap 函數的原型后,我們現在通過一個簡單的例子介紹怎么使用 mmap:
- int fd = open(filepath, O_RDWR, 0644); // 打開文件
- void *addr = mmap(NULL, 8192, PROT_WRITE, MAP_SHARED, fd, 4096); // 對文件進行映射
在上面例子中,我們先通過 open 函數以可讀寫的方式打開文件,然后通過 mmap 函數對文件進行映射,映射的方式如下:
- addr 參數設置為 NULL,表示讓操作系統自動選擇合適的虛擬內存地址進行映射。
- length 參數設置為 8192 表示映射的區域為 2 個內存頁的大小(一個內存頁的大小為 4 KB)。
- prot 參數設置為 PROT_WRITE 表示映射的內存區為可讀寫。
- flags 參數設置為 MAP_SHARED 表示共享映射區。
- fd 參數設置打開的文件句柄。
- offset 參數設置為 4096 表示從文件的 4096 處開始映射。
mmap 函數會返回映射后的內存地址,我們可以通過此內存地址對文件進行讀寫操作。我們通過圖 3 展示上面例子在內核中的結構:
四、總結
本文主要介紹了 mmap 的原理和使用方式,通過本文我們可以知道,使用 mmap 對文件進行讀寫操作時可以減少內存拷貝的次數,并且可以減少系統調用的次數,從而提高對讀寫文件操作的效率。
由于內核不會主動同步 mmap 所映射的內存區中的數據,所以在某些特殊的場景下可能會出現數據丟失的情況(如斷電)。為了避免數據丟失,在使用 mmap 的時候可以在適當時主動調用 msync 函數來同步映射內存區的數據。