騰訊二面:大白你了解共享內存嗎?
本文轉載自微信公眾號「CS指南」,作者大白 。轉載本文請聯系 CS指南公眾號。
--------------當日上午,大白正在找借口請假面試-----------
一個陽光明媚的中午,大白在領導辦公室
大白:領導我這牙疼還是沒好,下午還得去找那個醫生開點藥,不行不行,太疼了....我現在就得去了。
領導:......
--------------------當日下午,騰訊大樓--------------------
面試官:大白,上一輪的面試官反映你水平不錯,我看你和上一輪的面試官聊了 進程通信中的管道 ,那么我們今天要不接著上個話題聊一聊吧。你還用過其它方式進行進程通信嗎?
大白:除了上次講的管道的方式外,我還經常用 共享內存 的方式進行進程通信。
面試官:那我們今天就好好聊聊共享內存這種進程通信方式吧。
----------------------面試正式開始------------------------
面試官:要不你先簡單說說什么是 共享內存 吧!
大白:我們知道各進程之間是獨立存在,互不影響的。有沒有一種方式讓這些進程之間產生聯系呢?當然有!那就是共享內存。共享內存是進程間通信中最簡單的方式之一。站在進程的角度來說,共享內存就是可以同時被多個進程訪問的內存。由于所有進程共享同一塊內存,因此這種通信方式效率非常高。
面試官:要不你再給我講講,為什么進程間的內存不是共享的吧?
大白:(內心:啥?準備了好幾天的進程通信,你問出來個這?)我想想啊......其實這個問題也還比較容易想明白了。舉一個例子,假設有 2 個進程同時想讓某一物理地址保存一個值,A 進程想讓這個物理地址保存 1,B 進程想讓這個物理地址保存 2。那么這個物理地址到底應該保存哪個值?所以,為了將每個進程隔離開,設計者就想到一個辦法,操作系統會給每個進程分配一個虛擬地址。然后將不同進程的虛擬地址和不同內存的物理地址進行映射。每次進程想要寫入數據,先訪問虛擬地址,然后內存再將這個地址轉換成物理地址,這樣不同進程運行的時候,寫入的是不同物理地址,就不會有沖突了。這就是進程獨享內存空間的原理。我下面給您畫個圖。實際中虛擬內存和物理內存都會被分成大小相等的頁,然后進行映射。但是由于我們這次面試的重點不在此,圖就簡略一點,表明關系就好。
面試官:你剛才提到了 虛擬地址 ?為什么要引入虛擬地址呢?運行過程中還得進行虛擬地址和物理地址進行轉換。我看看物理內存有多大,直接把一段物理空間交給一個進程不好嗎?然后這段空間不允許別的進程進行操作。這樣不更省事?
大白:(內心:這個面試官怕不是個哈皮吧...)嗯...是這樣的,原因主要有 3 個方面:
操作系統是不希望一個普通的進程可以直接對物理地址寫數據的。如果一個普通的進程可以隨意的向物理地址中寫數據。那么一個惡意進程一旦知道別的進程的物理地址,那不是很容易就把別的進程的數據篡改了嘛。
每個進程在創建之初,它所需要的內存大小都是不確定的。如果按照您的說法直接給進程分配固定的物理內存,假如兩個進程在創建之初都直接各自分配了 1G 的物理空間。但實際運行起來,A 進程只用了 100M,而 B 進程需要 1.9 G。那么給 A 進程分配的空間就浪費了,而給 B 進程分配的空間又不夠。都采用虛擬地址,表面看上去每個進程都可以獨占內存的所有空間。在進程運行的途中再對虛擬地址和物理地址進行轉換,可以有效的利用空間。甚至在內存不足的情況下,還可以把進程的內存存到硬盤里,切換到該進程時再從硬盤讀取。
虛擬內存可以為每個進程提供一個一致的地址空間,這樣程序員就不需要管理內存了,這也降低了編程的復雜度。
面試官:可以可以,沒難住你。那你現在講講進程通信為什么又要共享內存了吧?
大白:因為有時候兩個進程需要進行大量的通信,并且傳遞的都是比較大的數據。那么采用管道或者消息隊列的方式就不方便了。這不如兩個進程都拿出一塊虛擬地址,映射到相同的物理內存中。這樣進程間需要傳送的數據就不需要來回拷貝了,這邊一寫那邊立馬看到了。共享內存理論上是最快的進程通信方式,不過有個弊端就是不能跨物理機進程通信,如果需要跨物理機進行進程通信,建議用套接字。
面試官:共享內存讓進程間的通信更加簡單,效率也不錯。但是,這種方式也存在一個比較明顯的缺點—沒有提供同步的機制。你簡單說說該如何解決吧?
大白:嗯嗯,確實!我們需要通過一些手段保證在數據被寫入之前不允許其他進程從共享內存中讀取。比較常見的解決辦是通過 信號量 來進行同步。
面試官:我之前就聽說你八股文背的賊溜,現在看來果然名不虛傳。我想看看你代碼能力,你給我用代碼實現一下共享內存可以不?
大白:沒問題呀!首先我給您講下思路吧!分四步就可以完成啦;
(1)既然需要用共享內存,首先需要創建一個共享內存或者得到一個共享內存。這一步要用到一個函數就是 shmget。
- int shmget(key_t key,size_t size, int flag);
- //key:用來定位共享內存
- //size:用來指定共享內存的大小
- //flag:用來表示創建共享內存的方式,如果賦值是 IPC_CREAT 表示創建一個新的
- //返回值:共享內存標識符
(2)通過第一步創建好了共享內存,但是如果一個進程想要訪問這段共享內存,那么就需要將共享內存加載到自己的虛擬地址空間中。而加載的這個過程就需要用到下面這個函數。
- void *shmat(int shmid, const void *shmaddr, int shmflag);
- //shmid:傳入共享內存標識符
- //shmaddr:指定共享內存映射的地址
- //shmflag:標識內存關聯后的讀寫權限
- //返回值:返回共享內存映射到進程空間的起始地址。
(3)經過前兩步,所有與共享內存進行關聯的進程,就可以進行通信了。這一步不需要什么特殊的函數,直接往共享內存中寫入,或者從中讀取就可以啦。
(4)如果內存共享使用完畢,那么就需要解除綁點,然后再刪除共享內存對象。這需要用到下面兩個函數。
- int shmdt(void *addr);
- //addr:共享內存的起始地址
- void *shmctl(int shm_id, int cmd, struct shmid_ds *buf);
- //shm_id:共享內存標識符
- //cmd:對共享內存的操作,如果用IPC_RMID表示要將共享內存刪去。
- //buf:共享內存管理結構體。
面試官:好的,你的思路我明白啦,可以開始寫代碼啦。那個我怕你頭文件的引用記不清,我直接給你寫在下邊吧。你一會直接引用就好啦。
- //shared_memory.h
- #include <stdio.h>
- #include <sys/types.h>
- #include <sys/ipc.h>
- #include <sys/shm.h> //剛才介紹的幾個函數都在這個庫中
- #include <unistd.h>
- #define PATHNAME "/home/dabai/server.c" //路徑名,用它來獲取共享內存標識符的key
- #define PROJ_ID 0x6666 //整數標識符
- #define SIZE 4096 //共享內存的大小
大白:感謝感謝,那我就直接寫代碼啦。
- //server.c
- #include "shared_memory.h"
- int main()
- {
- key_t key = ftok(PATHNAME, PROJ_ID); //建立共享內存需要一個區域標識符來標識共享內存區域,ftok把已經存在的路徑名和整數標識符轉換成一個整數 IPC 鍵值。
- //如果key創建失敗則返回值小于0,應該有個打印錯誤并結束程序的操作,為了代碼簡潔我就不寫啦。
- int shm = shmget(key, SIZE, IPC_CREAT | IPC_EXCL | 0666); //創建新的共享內存,返回共享內存標識符
- //如果共享內存創建失敗則返回值小于0,應該有個打印錯誤并結束程序的操作,為了代碼簡潔我就不寫啦。
- printf("key: %x\n", key);
- printf("shm: %d\n", shm);
- char* mem = shmat(shm, NULL, 0); //關聯共享內存
- //這里還是應該檢查下是否關聯成功為了代碼簡潔我就省略了
- int i = 0;
- while (1){
- mem[i] = 'a'; //進程可以根據自己的需要在這里對共享內存進行寫入或讀出。
- i++;
- }
- shmdt(mem); //共享內存去關聯
- shmctl(shm, IPC_RMID, NULL); //釋放共享內存
- return 0;
- }
- //這部分代碼參考了 https://blog.csdn.net/chenlong_cxy/article/details/121184624,這篇博客的代碼寫的比較完善,大家如果感興趣可以去學習下。
面試官:我記得你剛才跟我說更推薦用套接字?
大白:我沒說...是個幻覺。
面試官:對了,信號量也沒細問。今天先放過你吧,我也該下班了,我給你通過面試了。不知道 leader 會給你加面不。套接字的問題等你入職后咱們聊一聊。
大白:好嘞,感謝感謝。
參考資料:
極客時間《趣談 Linux 操作系統》
https://blog.csdn.net/chenlong_cxy/article/details/121184624
https://juejin.cn/post/6844903507594575886
https://snailclimb.gitee.io/javaguide/#/?id=%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F