主要說明

1. Kernel版本：4.14
2. ARM64處理器

從本文開始，将會針對PCIe專題來展開，涉及的内容包括：

1. PCI/PCIe總線硬件；
2. Linux PCI驅動核心框架；
3. Linux PCI Host控制器驅動；

不排除會包含PCIe外設驅動模塊，一切随緣。

作為專題的第一篇，當然會先從硬件總線入手。 進入主題前，先講點背景知識。 在PC時代，随着處理器的發展，經曆了幾代I/O總線的發展，解決的問題都是CPU主頻提升與外部設備訪問速度的問題：

1. 第一代總線包含ISA、EISA、VESA和Micro Channel等；
2. 第二代總線包含PCI、AGP、PCI-X等；
3. 第三代總線包含PCIe、mPCIe、m.2等；

PCIe（PCI Express）是目前PC和嵌入式系統中最常用的高速總線，PCIe在PCI的基礎上發展而來，在軟件上PCIe與PCI是後向兼容的，PCI的系統軟件可以用在PCIe系統中。

• PCI總線（Peripheral Component Interconnect，外部設備互聯），由Intel公司提出，其主要功能是連接外部設備；
• PCI Local Bus，PCI局部總線，局部總線技術是PC體系結構發展的一次變革，是在ISA總線和CPU總線之間增加的一級總線或管理層，可将一些高速外設，如圖形卡、硬盤控制器等從ISA總線上卸下，而通過局部總線直接挂接在CPU總線上，使之與高速CPU總線相匹配。PCI總線，指的就是PCI Local Bus。

先來看一下PCI Local Bus的系統架構圖：

從圖中看，與PCI總線相關的模塊包括：

1. Host Bridge，比如PC中常見的North Bridge（北橋）； 圖中處理器、Cache、内存子系統通過Host Bridge連接到PCI上，Host Bridge管理PCI總線域，是聯系處理器和PCI設備的橋梁，完成處理器與PCI設備間的數據交換。其中數據交換，包含處理器訪問PCI設備的地址空間和PCI設備使用DMA機制訪問主存儲器，在PCI設備用DMA訪問存儲器時，會存在Cache一緻性問題，這個也是Host Bridge設計時需要考慮的； 此外，Host Bridge還可選的支持仲裁機制，熱插拔等；
2. PCI Local Bus； PCI總線，由Host Bridge或者PCI-to-PCI Bridge管理，用來連接各類設備，比如聲卡、網卡、IDE接口等。可以通過PCI-to-PCI Bridge來擴展PCI總線，并構成多級總線的總線樹，比如圖中的PCI Local Bus #0和PCI Local Bus #1兩條PCI總線就構成一顆總線樹，同屬一個總線域；
3. PCI-To-PCI Bridge； PCI橋，用于擴展PCI總線，使采用PCI總線進行大規模系統互聯成為可能，管理下遊總線，并轉發上下遊總線之間的事務；
4. PCI Device； PCI總線中有三類設備：PCI從設備，PCI主設備，橋設備。 PCI從設備：被動接收來自Host Bridge或者其他PCI設備的讀寫請求； PCI主設備：可以通過總線仲裁獲得PCI總線的使用權，主動向其他PCI設備或主存儲器發起讀寫請求； 橋設備：管理下遊的PCI總線，并轉發上下遊總線之間的總線事務，包括PCI橋、PCI-to-ISA橋、PCI-to-Cardbus橋等。

2.2 PCI總線信号定義

PCI總線是一條共享總線，可以挂接多個PCI設備，PCI設備通過一系列信号與PCI總線相連，包括：地址/數據信号、接口控制信号、仲裁信号、中斷信号等。如下圖：

​

• 左側紅色框裡表示的是PCI總線必需的信号，而右側藍色框裡表示的是可選的信号；
• AD[31:00]：地址與數據信号複用，在傳送時第一個時鐘周期傳送地址，下一個時鐘周期傳送數據；
• C/BE[3:0]#：PCI總線命令與字節使能信号複用，在地址周期中表示的是PCI總線命令，在數據周期中用于字節選擇，可以進行單字節、字、雙字訪問；
• PAR：奇偶校驗信号，确保AD[31:00]和C/BE[3:0]#傳遞的正确性；
• Interface Control：接口控制信号，主要作用是保證數據的正常傳遞，并根據PCI主從設備的狀态，暫停、終止或者正常完成總線事務：
• FRAME#：表示PCI總線事務的開始與結束；
• IRDY#：信号由PCI主設備驅動，信号有效時表示PCI主設備數據已經ready；
• TRDY#：信号由目标設備驅動，信号有效時表示目标設備數據已經ready；
• STOP#：目标設備請求主設備停止當前總線事務；
• DEVSEL#：PCI總線的目标設備已經準備好；
• IDSEL：PCI總線在配置讀寫總線事務時，使用該信号選擇PCI目标設備；

• Arbitration：仲裁信号，由REQ#和GNT#組成，與PCI總線的仲裁器直接相連，隻有PCI主設備需要使用該組信号，每條PCI總線上都有一個總線仲裁器；
• Error Reporting：錯誤信号，包括PERR#奇偶校驗錯誤和SERR系統錯誤；
• System：系統信号，包括時鐘信号和複位信号；

看一下C/BE[3:0]都有哪些命令吧：

​

更多linux内核視頻教程文檔資料免費領取後台私信【内核】自行獲取.

Linux内核源碼/内存調優/文件系統/進程管理/設備驅動/網絡協議棧-學習視頻教程-騰訊課堂

PCI使用三種模型用于數據的傳輸：

​

1. Programmed I/O：通過IO讀寫訪問PCI設備空間；
2. DMA：PIO的方式比較低效，DMA的方式可以直接去訪問主存儲器而無需CPU幹預，效率更高；
3. Peer-to-peer：兩台PCI設備之間直接傳送數據；

PCI體系架構支持三種地址空間：

​

1. Memory空間： 針對32bit尋址，支持4G的地址空間，針對64bit尋址，支持16EB的地址空間；
2. I/O空間 PCI最大支持4G的IO空間，但受限于x86處理器的IO空間（16bits帶寬），很多平台将PCI的IO地址空間限定在64KB；
3. 配置空間 x86 CPU可以直接訪問memory空間和I/O空間，而配置空間則不能直接訪問； 每個PCI功能最多可以有256字節的配置空間； PCI總線在進行配置的時候，采用ID譯碼方式，使用設備的ID号，包括Bus Number，Device Number，Function Number和Register Number，每個系統支持256條總線，每條總線支持32個設備，每個設備支持8個功能，由于每個功能最多有256字節的配置空間，因此總的配置空間大小為：256B * 8 * 32 * 256 = 16M； 有必要再進一步介紹一下配置空間： x86 CPU無法直接訪問配置空間，通過IO映射的數據端口和地址端口間接訪問PCI的配置空間，其中地址端口映射到0CF8h - 0CFBh，數據端口映射到0CFCh - 0CFFh；

​

• 圖為配置地址寄存器構成，PCI的配置過程分為兩步：

1. CPU寫CF8h端口，其中寫的内容如圖所示，BUS，Device，Function能标識出特定的設備功能，Doubleword來指定配置空間的具體某個寄存器；
2. CPU可以IO讀寫CFCh端口，用于讀取步驟1中的指定寄存器内容，或者寫入指定寄存器内容。這個過程有點類似于通過I2C去配置外接芯片；

那具體的配置空間寄存器都是什麼樣的呢？每個功能256Byte，前邊64Byte是Header，剩餘的192Byte支持可選功能。有種類型的PCI功能：Bridge和Device，兩者的Header都不一樣。

• Bridge

​

• Device

​

配置空間中有個寄存器字段需要說明一下：Base Address Register，也就是BAR空間，當PCI設備的配置空間被初始化後，該設備在PCI總線上就會擁有一個獨立的PCI總線地址空間，這個空間就是BAR空間，BAR空間可以存放IO地址空間，也可以存放存儲器地址空間。

• PCI總線取得了很大的成功，但随着CPU的主頻不斷提高，PCI總線的帶寬也捉襟見肘。此外，它本身存在一些架構上的缺陷，面臨一系列挑戰，包括帶寬、流量控制、數據傳送質量等；
• PCIe應運而生，能有效解決這些問題，所以PCIe才是我們的主角；

先看一下PCIe架構的組成圖：

• Root Complex：CPU和PCIe總線之間的接口可能會包含幾個模塊（處理器接口、DRAM接口等），甚至可能還會包含芯片，這個集合就稱為Root Complex，它作為PCIe架構的根，代表CPU與系統其它部分進行交互。廣義來說，Root Complex可以認為是CPU和PCIe拓撲之間的接口，Root Complex會将CPU的request轉換成PCIe的4種不同的請求（Configuration、Memory、I/O、Message）；
• Switch：從圖中可以看出，Swtich提供扇出能力，讓更多的PCIe設備連接在PCIe端口上；
• Bridge：橋接設備，用于去連接其他的總線，比如PCI總線或PCI-X總線，甚至另外的PCIe總線；
• PCIe Endpoint：PCIe設備；
• 圖中白色的小方塊代表Downstream端口，灰色的小方塊代表Upstream端口；

前文提到過，PCIe在軟件上保持了後向兼容性，那麼在PCIe的設計上，需要考慮在PCI總線上的軟件視角，比如Root Complex的實現可能就如下圖所示，從而看起來與PCI總線相差無異：

​

• Root Complex通常會實現一個内部總線結構和多個橋，從而扇出到多個端口上；
• Root Complex的内部實現不需要遵循标準，因此都是廠家specific的；

而Switch的實現可能如下圖所示：

​

• Switch就是一個擴展設備，所以看起來像是各種橋的連接路由；

​

• 與PCI總線不同（PCI設備共享總線），PCIe總線使用端到端的連接方式，互為接收端和發送端，全雙工，基于數據包的傳輸；
• 物理底層采用差分信号（PCI鍊路采用并行總線，而PCIe鍊路采用串行總線），一條Lane中有兩組差分信号，共四根信号線，而PCIe Link可以由多條Lane組成，可以支持1、2、4、8、12、16、32條；

PCIe規範定義了分層的架構設計，包含三層：

​

1. Transaction層

• 負責TLP包（Transaction Layer Packet）的封裝與解封裝，此外還負責QoS，流控、排序等功能；
• Data Link層
• 負責DLLP包（Data Link Layer Packet）的封裝與解封裝，此外還負責鍊接錯誤檢測和校正，使用Ack/Nak協議來确保傳輸可靠；
• Physical層
• 負責Ordered-Set包的封裝與解封裝，物理層處理TLPs、DLLPs、Ordered-Set三種類型的包傳輸；

數據包的封裝與解封裝，與網絡包的創建與解析很類似，如下圖：

​

• 封裝的時候，在Payload數據前添加各種包頭，解析時是一個逆向的過程；

來一個更詳細的PCIe分層圖：

​

為了兼容PCI軟件，PCIe保留了256Byte的配置空間，如下圖：

​

此外，在這個基礎上将配置空間擴展到了4KB，還進行了功能的擴展，比如Capability、Power Management、MSI中斷等：

​

• 擴展後的區域将使用MMIO的方式進行訪問；

​

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!