tft每日頭條

 > 生活

 > 深入理解mmap0拷貝技術

深入理解mmap0拷貝技術

生活 更新时间:2024-11-20 17:13:18

零拷貝說白了,其實就是傳統 IO 的性能實在有點拉胯,所以搞出來一個零拷貝機制提升一下效率。 要了解零拷貝的話,首先得先了解一下傳統 IO 的執行流程,這裡舉個例子,通過傳統的 IO 進行網絡傳輸來傳輸一個文件。

深入理解mmap0拷貝技術(細細閱讀3張圖帶你理解)1

相關參考

文章

盡情閱讀,技術進階,詳解mmap原理

一文帶你,徹底了解,零拷貝Zero-Copy技術

PS:相關學習文檔,後台私信(Linux)

先上一張圖,這張圖就代表了傳統 IO 傳輸文件的流程。

讀取文件的時候,會從用戶态切換為内核态,同時基于 DMA 引擎将磁盤文件拷貝到内核緩沖區。

看到這裡,可能你就已經懵逼了,什麼是用戶态和内核态,什麼是 DMA 拷貝,我用大白話解釋一下: 首先用戶态其實就是 CPU 在執行你的代碼,而内核态呢,其實就是你沒有那個權限去操作硬件,所以隻能交給系統去調用,這個時候就是内核态。

舉個例子,你的女朋友需要你修個電腦(醒醒,但凡有一粒花生米也不至于喝成這樣),我換個說法,假如你同班的女同學想讓你修個電腦,但是宿管阿姨不肯放你進女生宿舍,這個時候你就是用戶态,你不能進女生宿舍,所以你隻能讓宿管阿姨(内核态)來幫你把電腦取出來。

那什麼是 DMA 拷貝呢,DMA(DirectMemoryAccess,直接内存存取)其實就是因為 CPU 老哥太累了,所以找了個小弟,就是 DMA 替他完成一部分的拷貝工作,這樣 CPU 就能去做其他事情了。

講完了内核态和用戶态還有 DMA 的大概意思,我們接着回到剛才的 IO 流程中,第一步我們将文件從磁盤文件讀到了用戶緩沖區,此時經曆了一次上下文切換和一次拷貝。

由内核态切換為用戶态,基于 CPU 把内核緩沖區的數據拷貝到用戶緩沖區。 調用 socket 的輸出流的 write 方法的話,此時會從用戶态切換到内核态,同時基于 CPU把用戶緩沖區裡的數據拷貝到 socket 緩沖區裡去,接着會有一個異步化的過程,基于 DMA 引擎從 Socket 緩沖區裡把數據拷貝到網絡協議引擎裡發送出去。

當 IO 操作完成之後,又從内核态切換為用戶态。

通過上面的步驟可以發現傳統的 IO 操作執行,有 4 次上下文的切換和 4 次拷貝,是不是很繁瑣。 零拷貝的話,一般有 mmap 和 sendFile 兩種,一個一個來說。

mmap

mmap 是一種内存映射技術,mmap 相比于傳統的 IO 來說,其實就是少了 1 次 CPU 拷貝而已,上圖。

深入理解mmap0拷貝技術(細細閱讀3張圖帶你理解)2

傳統 IO 裡面從内核緩沖區到用戶緩沖區有一次 CPU 拷貝,從用戶緩沖區到 Socket 緩沖區又有一次 CPU 拷貝。

mmap 則一步到位,直接基于 CPU 将内核緩沖區的數據拷貝到了 Socket 緩沖區。

之所以能夠減少一次拷貝,就是因為 mmap 直接将磁盤文件數據映射到内核緩沖區,這個映射的過程是基于 DMA 拷貝的,同時用戶緩沖區是跟内核緩沖區共享一塊映射數據的,建立共享映射之後,就不需要從内核緩沖區拷貝到用戶緩沖區了。

雖然減少了一次拷貝,但是上下文切換的次數還是沒變。 RocketMQ 中就是使用的 mmap 來提升磁盤文件的讀寫性能。

sendFile

在 Linux 中,提供 sendFile 函數,實現了零拷貝,依舊是先上圖。

深入理解mmap0拷貝技術(細細閱讀3張圖帶你理解)3

可以看到在圖中,已經沒有了用戶緩沖區,因為用戶緩沖區是在用戶空間的,所以沒有了用戶緩沖區也就意味着不需要上下文切換了,就省略了這一步的從内核态切換為用戶态。

同時也不需要基于 CPU 将内核緩沖區的數據拷貝到 Socket 緩沖區了,隻需要從内核緩沖區拷貝一些 offset 和 length 到 Socket 緩沖區。

接着從内核态切換到用戶态,從内核緩沖區直接把數據拷貝到網絡協議引擎裡去;同時從 Socket 緩沖區裡拷貝一些 offset 和 length 到網絡協議引擎裡去,但是這個 offset 和 length 的量很少,幾乎可以忽略。

sendFile 整個過程隻有兩次上下文切換和兩次 DMA 拷貝,很重要的一點是這裡完全不需要 CPU 來進行拷貝了,所以才叫做零拷貝,這裡的拷貝指的就是操作系統的層面。

那你肯定會問,那 mmap 裡面有一次 CPU 拷貝為啥也算零拷貝,隻能說那不算是嚴格意義上的零拷貝,但是他确實是優化了普通 IO 的執行流程,就像老婆餅裡也沒有老婆嘛。 Kafka 和 Tomcat 内部使用就是 sendFile 這種零拷貝。

總結一下

傳統 IO 執行的話需要 4 次上下文切換(用戶态 -> 内核态 -> 用戶态 -> 内核态 -> 用戶态)和 4 次拷貝(磁盤文件 DMA 拷貝到内核緩沖區,内核緩沖區 CPU 拷貝到用戶緩沖區,用戶緩沖區 CPU 拷貝到 Socket 緩沖區,Socket 緩沖區 DMA 拷貝到協議引擎)。

mmap 将磁盤文件映射到内存,支持讀和寫,對内存的操作會反映在磁盤文件上,适合小數據量讀寫,需要 4 次上下文切換(用戶态 -> 内核态 -> 用戶态 -> 内核态 -> 用戶态)和3 次拷貝(磁盤文件DMA拷貝到内核緩沖區,内核緩沖區 CPU 拷貝到 Socket 緩沖區,Socket 緩沖區 DMA 拷貝到協議引擎)。

sendfile 是将讀到内核空間的數據,轉到 socket buffer,進行網絡發送,适合大文件傳輸,隻需要 2 次上下文切換(用戶态 -> 内核态 -> 用戶态)和 2 次拷貝(磁盤文件 DMA 拷貝到内核緩沖區,内核緩沖區 DMA 拷貝到協議引擎)。

文章福利 Linux後端開發網絡底層原理知識學習提升,後台私信(Linux)獲取,完善技術棧,内容知識點包括Linux,Nginx,ZeroMQ,MySQL,Redis,線程池,MongoDB,ZK,Linux内核,CDN,P2P,epoll,Docker,TCP/IP,協程,DPDK等等。

深入理解mmap0拷貝技術(細細閱讀3張圖帶你理解)4

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关生活资讯推荐

热门生活资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved