什么是零拷貝，Netty是如何實現(xiàn)的？

作者：Tom彈架構(gòu) 2022-05-16 08:22:37

在計算機中，完成數(shù)據(jù)傳輸，要么是通過網(wǎng)絡(luò)，要么就是通過本地磁盤。通常完成一次完整I/O交互流程分為兩階段，首先拷貝到系統(tǒng)內(nèi)核空間，由操作系統(tǒng)來完成；緊接著要拷貝到用戶空間，這個由應(yīng)用程序來完成。

作為一個高性能的網(wǎng)絡(luò)通信框架，被越來越多互聯(lián)網(wǎng)公司關(guān)注和重視。最近，有小伙伴在面試過程中被問到Netty是如何實現(xiàn)零拷貝的問題?，今天，我給大家來聊一聊。

我們先來看什么是零拷貝?

1、什么零拷貝

在計算機中，完成數(shù)據(jù)傳輸，要么是通過網(wǎng)絡(luò)，要么就是通過本地磁盤。通常完成一次完整I/O交互流程分為兩階段，首先拷貝到系統(tǒng)內(nèi)核空間，由操作系統(tǒng)來完成;緊接著要拷貝到用戶空間，這個由應(yīng)用程序來完成，具體交互流程如下圖所示。

那什么是零拷貝呢?顧名思義，零拷貝的意思包括兩個部分，“零”和“拷貝”：

“拷貝”：就是指數(shù)據(jù)從一個存儲區(qū)域轉(zhuǎn)移到另一個存儲區(qū)域。
“零” ：表示次數(shù)為0，它表示拷貝數(shù)據(jù)的次數(shù)為0。

合起來“零拷貝”就是不需要將數(shù)據(jù)從一個存儲區(qū)域復(fù)制到另一個存儲區(qū)域。

2、為什么要零拷貝

零拷貝主要是指將系統(tǒng)內(nèi)核空間的內(nèi)存和用戶空間的內(nèi)存實現(xiàn)直接關(guān)聯(lián)映射，從而省去了數(shù)據(jù)傳輸過程中的來回拷貝，也就是說，要完成數(shù)據(jù)傳輸數(shù)據(jù)拷貝次數(shù)為0次。

有這么一段代碼，主要將服務(wù)端主機磁盤中的文件從已連接的socket發(fā)出去。關(guān)鍵實現(xiàn)代碼如下：

while((n = read(diskfd, buf, BUF_SIZE)) > 0){
    write(sockfd, buf , n);
}

以上代碼是用傳統(tǒng)的IO編寫的，它的執(zhí)行過程大致是這樣的：

首先，read()方法，會把數(shù)據(jù)從磁盤循環(huán)讀取到內(nèi)核緩沖區(qū)，再拷貝到用戶緩沖區(qū)。

然后，write()方法先把數(shù)據(jù)寫入到socket緩沖區(qū)，最后寫入網(wǎng)卡設(shè)備。

因為，傳統(tǒng)的IO在在數(shù)據(jù)傳輸過程中拷貝次數(shù)太多，導(dǎo)致性能低下。為了減少拷貝次數(shù)，增加系統(tǒng)性能，才有了零拷貝的設(shè)計。另外，零拷貝并不是指完全沒有文件的拷貝，只是減少了拷貝的次數(shù)。

3、零拷貝在Netty中的實現(xiàn)

從流程圖可以看出，傳統(tǒng)IO的讀寫流程，包括了4次用戶態(tài)和內(nèi)核態(tài)的切換，也就是4次上下文切換，4次數(shù)據(jù)拷貝，其中兩次CPU拷貝以及兩次的DMA拷貝。關(guān)于上下文切換和DMA拷貝，在這里我們就不詳細贅述了，以后可以單獨拍攝一期視頻來詳細介紹。想了解的小伙伴可以在評論區(qū)回復(fù)666.

那在Netty中，是如何實現(xiàn)零拷貝的呢?有以下三種方式

（1）使用堆外內(nèi)存,也叫直接內(nèi)存。Netty的接收和發(fā)送都采用DIRECT BUFFERS，對應(yīng)系統(tǒng)底層的mmap機制，直接使用堆外內(nèi)存進行Socket讀寫，不需要進行字節(jié)緩沖區(qū)的二次拷貝。