大數據離線數據處理有哪些步驟?在過去幾十年裡，PCIe（PCI Express）标準曾風光無限，它憑借高性能、高擴展性、高可靠性和高兼容性，取代了包括AGP和PCI在内的許多内部總線但随着物聯網時代的到來，每時每刻都有大量的數據被産生，PCIe在數據中心等應用中開始變得吃力，今天小編就來聊一聊關于大數據離線數據處理有哪些步驟?接下來我們就一起去研究一下吧!

大數據離線數據處理有哪些步驟

在過去幾十年裡，PCIe（PCI Express）标準曾風光無限，它憑借高性能、高擴展性、高可靠性和高兼容性，取代了包括AGP和PCI在内的許多内部總線。但随着物聯網時代的到來，每時每刻都有大量的數據被産生，PCIe在數據中心等應用中開始變得吃力。

自2019年以來，CXL 1.0/PCIe 5.0/CXL 2.0/PCIe 6.0标準依次推出，它們圍繞數據傳輸方面的提升受到大家的關注。近年來，芯片和IP核供應商Rambus一直在為數據傳輸做努力，并針對CXL/PCIe推出了全新控制器産品，還發布了CXL内存互聯計劃，彰顯了其在數據傳輸領域的重要地位。

在讨論CXL和PCIe之前，我們要清楚它們之間的關系。觀察CXL 1.0、PCIe 5.0、CXL 2.0以及PCIe 6.0的發展軌迹，我們能大緻梳理出一條較為清晰的脈絡。

2019年3月，在InterconnectDay 2019上，英特爾牽頭頒布了CXL（Compute Express Link）開放互連技術和CXL 1.0規範。該技術的底層基于PCIe，無需通過專門設計的接口，簡化了服務器硬件的設計難度，消除了CPU與設備、CPU與存儲之間的傳輸瓶頸，滿足高性能異構計算和數據中心應用需求。

2019年5 月 29 日，PCI-SIG協會發布了PCIe 5.0标準，帶來了更高傳輸速度，x16帶寬（雙向）從PCIe 4.0的64 GB/s提升到了128 GB/s。

2020年11月，CXL聯盟發布了CXL 2.0，該标準建立在PCIe 5.0的物理标準之上，能滿足從主機到設備的數據傳輸，還具備IO、Cache和Memory三種功能。其中，類似于 PCIe 的CXL.io-CXL使用 PCIe 總線的物理層，CXL.memory 用于主機内存訪問，CXL.cache 用于一緻的主機緩存訪問。

當CXL 2.0利用 PCIe 5.0 的特性時，可讓替代協議使用物理PCIe 層。當支持 CXL 的加速器插入 x16 插槽時，設備以默認的 PCI Express 1.0 傳輸速率（2.5 GT/s） 與主機處理器的端口協商。不過，僅适用于雙方都支持 CXL時，CXL的功能才會激活，否則僅作為 PCIe 設備來運行。

2022年1月11日，PCI-SIG發布了PCI Express 6.0(1.0)正式标準。PCIe 6.0與PCIe 5.0相比在參數上具備明顯優勢：前者帶寬速度翻倍，單通道數據傳輸速率達64 GT/s，單向傳輸達8GB/秒，PCIe 6.0 x16通道傳輸速度為128GB/s，雙向總吞吐量達256GB/s。

目前，CXL 3.0标準的制定已經在制定中，或将作為PCIe 6.0的提高版本面世。

PCIe 6.0标準正式發布之後，支持者争先布局基于新标準的産品。在此背景下，2022年1月27日，Rambus率先推出了PCIe 6.0控制器，主要針對高性能計算、數據中心、AI（人工智能）/ML（深度學習）等應用。這是該公司繼2021年10月發布CXL 2.0控制器之後的最新産品動态。

具體來看，Rambus PCIe 6.0控制器的主要特性包括：

• 支持PCIe 6.0規範，包括64 GT/s數據傳輸速率和PAM4調制信号；
• 支持固定大小的FLIT，可實現高帶寬效率；
• 實現低時延的前向糾錯（FEC），保證鍊路魯棒性；
• 向後兼容PCIe 5.0、4.0和3.0/3.1；
• 支持端點、根端口、雙模式和交換機端口配置；
• 經過性能優化的集成IDE。

Rambus告訴《國際電子商情》記者，全新控制器針對功耗、面積和延遲進行了優化，并為高性能應用提供了符合PCIe 6.0規範的數據傳輸速率，最高可達64GT/s。此外，控制器還提供了最先進的安全性，其完整性和數據加密（IDE）引擎可以監控和保護PCIe鍊路免受物理攻擊。

Rambus認為，PCIe 6.0能夠達到的速度，将支持企業級市場在千兆鍊路和其他網絡協議方面持續升級，進而支持400/800 GbE，甚至速率高達1.6TbE的以太網絡。支持芯片間連接速率增加的PCIe，将使這些網絡協議也得以在企業中使用。

在企業内部服務器中，PCIe 6.0标準對高數據傳輸速率和低延遲的支持，将推動分解式或分布式計算模型的演進，專門用于處理AI雲計算和大數據新興工作負載。

相關産品應用會晚于标準的發布，比如PCIe 5.0的标準于2019年發布，而完全成熟版本的産品的推出要到今年晚些時候，Rambus預計PCIe 6.0也将會有類似的周期。因此，Rambus PCIe 6.0數字控制器，将成為推動PCIe 6.0早期生态系統的建設，被AI加速器供應商、I/O和内存供應商用來構建芯片形式的解決方案，這将有助于建設服務器的Silicon生态系統，并在約2024年成為各種PCIe 6.0器件的基礎。

我們注意到，PCIe标準正在加速疊代。此前，PCIe标準的疊代一般需要4-5年時間，而PCIe 4.0升級為PCIe 5.0，再從PCIe 5.0升級為 PCIe 6.0，期間所耗費的時間已經越來越短，這意味着PCIe标準正加速疊代。值得注意的是，PCIe标準加速疊代的趨勢，也給整個産業也帶來了諸多挑戰。

Rambus表示，PCIe 4.0、5.0和6.0版本的加速推出，對旨在提升數據傳輸速率的更快輸入/輸出和互連的需求更加迫切。“PCIe在用例所需的可用帶寬方面，曾一度走在市場的前面。但由于當時的市場缺少提升傳輸速度的動力，規範的演變也随之變慢。随着全球數據的指數級增長，在人工智能、機器學習、高性能計算、雲計算等新應用驅動下，數據中心服務器和網絡設備的PCIe互連速度出現了瓶頸。業界正通過加速創新來應對日益增長的對更高帶寬的需求。”

Rambus指出，雖然PCIe标準的開發進程加快，但是PCIe 4.0/5.0/6.0之間未必存在代際競争，比如市場對跨代PCIe産品Rambus IP仍有持續強勁的需求。“如果一個解決方案把PCIe作為主要接口，則勢必要在性能和成本之間進行權衡。對芯片設計者來說，他們将面臨兩種選擇：第一，在特定成本範圍内，使用舊版本的PCIe IP，來滿足芯片最低數據傳輸速率和性能要求；第二，采用最新技術設計面向未來的芯片。無論是哪種情況，PCIe自身良好的向後兼容性，都确保了Rambus的PCIe 6.0控制器可兼容PCIe 3.0設備，以滿足特定系統的數據傳輸需求。“

Rambus除了在PCIe上有布局之外，該公司在CXL上的表現也十分突出。

在2019年CXL 1.0頒布之後，英特爾聯合微軟、阿裡巴巴、思科、戴爾EMC等8家公司成立了CXL聯盟。到目前，CXL聯盟已經聚集了内存廠商、IP廠商、加速器廠商、CPU 供應商等，而Rambus就是聯盟中的一員。

2021年6月，Rambus推出了CXL内存互連計劃，并宣布與包括雲、系統和内存企業在内的生态體系達成合作，以加快CXL内存互連解決方案的開發和落地。當年10月，Rambus發布了CXL 2.0控制器。從本質上來說，CXL技術在CPU内存空間和連接設備的内存之間保持内存一緻性，由此實現資源共享（或池化），以獲得更高的性能、減少軟件堆棧的複雜性并降低整體系統成本。他們也注意到，技術開發和生态系統建設正快速發展，未來将持續圍繞CXL計劃進行投入。

Rambus認為，技術發展和生态系統進步之間是相互依存的關系。數據量和數據傳輸的指數級增長推動了半導體行業架構的突破性轉變，從根本上改變了數據中心的性能、效率和成本。服務器架構在過去幾十年内變化很少，而現在正邁出革命性的一步，以應對AI/ML應用程序生成的海量數據。同時，數據中心正在從為每個服務器配備專用處理器、内存、網絡設備和加速器的模式，向可以智能匹配資源和工作負載的“池化”模式轉變。技術的發展推動新的互連、I/O和内存解決方案出現，孕育出新的數據中心生态系統模式。

Rambus表示，CXL聯盟及其成員的持續成長，将不斷推動整個生态體系的發展。“作為聯盟成員，以及面向IP應用的半導體和IP核應用市場的長期貢獻者，我們從包括系統和服務提供商、内存和組件供應商在内的生态體系中持續受益。”

自從CXL内存互連計劃推出之後，Rambus除了新産品動态之外，在并購方面也有新進展。2021年6月，Rambus宣布完成對AnalogX和PLDA的收購，增強了公司在服務器内存接口芯片方面的領先地位，加速了為下一代數據中心提供創新CXL互連解決方案的路線圖。到2022年5月5日，Rambus宣布收購電子設計公司Hardent。據了解，Hardent 擁有 20 年的半導體經驗，其世界一流的矽設計、驗證、壓縮和糾錯碼 (ECC) 專業知識為 Rambus CXL 内存互連計劃提供了關鍵資源。

2022年，CXL生态進一步完善，衆多廠商的積極布局，正推動 CXL成為新的風口。——第四代英特爾至強可擴展處理器Sapphire Rapids，該CPU支持DDR5、PCIe 5.0和CXL 1.1；美光宣布預計今年開始部署CXL1.1，2024年底開始在CXL上真正部署内存；AMD公布代号為Genoa的 EPYC 7004将于2022年第4季度推出，該CPU支持 DDR5 内存以及PCIe Gen5和CXL接口；美滿電子宣布将收購 CXL技術開發商Tanzanite，加速實現雲基礎架構願景……

最後，在提到CXL的應用領域時，Rambus說，CXL的性質決定其将首先用于需要跨設備實現高帶寬、低延遲的應用——預計CXL将最早會在數據中心廣泛應用。另外，與所有PCIe相關标準一樣，CXL的應用會随着時間的推移，從網絡的中心逐漸向邊緣擴展。因此，未來CXL也将能作為關鍵I/O或互連技術，應用于物聯網和汽車領域。

責編：Clover.li

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!