tft每日頭條

 > 生活

 > sonnet 神經網絡

sonnet 神經網絡

生活 更新时间:2024-08-25 04:22:38

sonnet 神經網絡?“我們的網絡連接着數百萬台服務器、數千萬個虛拟機,要具備高性能和低延遲的能力支撐一張非常大規模的網絡在這麼大規模的網絡之上,我們每天都數以秒計的産生很多業務信息、網絡信息和網絡數據,我們必須有足夠的能力去及時處理對于故障的發現、恢複和隔離,要能夠做到快速有效的保障,這些取決于我們如何構建底層的基礎設施”在OCP China Day 2019(開放計算中國日)上,阿裡巴巴高級專家劉永鋒談到了阿裡集團在承載海量的業務需求時,所遇到的網絡挑戰,我來為大家講解一下關于sonnet 神經網絡?跟着小編一起來看一看吧!

sonnet 神經網絡(開源智慧網絡基礎架構)1

sonnet 神經網絡

“我們的網絡連接着數百萬台服務器、數千萬個虛拟機,要具備高性能和低延遲的能力支撐一張非常大規模的網絡。在這麼大規模的網絡之上,我們每天都數以秒計的産生很多業務信息、網絡信息和網絡數據,我們必須有足夠的能力去及時處理。對于故障的發現、恢複和隔離,要能夠做到快速有效的保障,這些取決于我們如何構建底層的基礎設施。”在OCP China Day 2019(開放計算中國日)上,阿裡巴巴高級專家劉永鋒談到了阿裡集團在承載海量的業務需求時,所遇到的網絡挑戰。

說到阿裡巴巴,相信很多人都會想到一連串的熟悉名字:天貓、淘寶、支付寶、優酷、高德、阿裡雲等等,在這些平台上每天都在發生了數以億計的業務響應,要想為全球的用戶提供高質量的使用體驗,網絡作為傳輸信息和數據的管道,扮演着至關重要的角色,而相應的,超大規模的業務範圍也帶來了“超大規模”的挑戰。其原因在于,用戶的需求無時無刻都在變化,并且這種動态的需求不受時間、空間、地域的限制,需要基礎設施具備“秒級”的反應能力。

讓網絡變得有智慧,是近年來不管是ICT廠商、CSP、ISP都在思考并輔助實踐的發展思路,而OS可謂是硬件基礎架構的“大腦”。早在2016年的OCP峰會上,微軟就正式發布了基于Debian GNU/Linux的開源交換機操作系統——SONiC,實現了數據控制面與轉發面的分離,用戶可以采購白牌交換機搭載SONiC實現不同的網絡功能,SONiC使得用戶能夠更快的調試、修複并測試軟件,通過改變軟件策略和拓撲實現新的網絡架構,讓網絡實踐更為靈活。而在更早一年的3月,微軟同樣是在OCP峰會期間,向OCP貢獻SAI (Switch Abstraction Interface,交換機抽象接口)。那一年的7月,OCP正式接納了SAI。

SONiC向AI更進一步

一直以來,在數控分離層面的争議都沒間斷,完全集中式或完全分布式的解決方案都被認為過于激進,讓數控具備編程能力,同時又可以分離之後集中控制,是不少人都看好的一個方面,這或許也是SONiC的初衷之一。Microsoft Open Technologies開放了微軟管理硬件操作的軟件代碼,例如服務器診斷,電源供應、風扇控制等等,這種開源的特性自然也延續到了SONiC,即所有軟件功能模塊都是開放的,可在GitHub上随時取用,不僅可以讓用戶在數小時内獲得更新,還能夠利用雲端的能力進行深度遙測和自動化故障處理。

“我們希望讓大家記住SONiC的兩個特點。”Microsoft Principal Product Manager Xin Liu在OCP China Day的主題演講中說,“第一,它是基于SAI的,在沒有SAI之前所有芯片都要通過自己的SDK與上層的軟件通信,相當于用自己的‘方言’跟上層的操作系統通信,SAI把這個‘方言’标準化,大家的芯片用同樣的語言與上層的控制軟件交流,因為有了SAI,所以才能建立一個操作系統。”

盡管SAI本身沒有完全開源,但其卻為SONiC提供了統一的API 接口,向下可以對接不同的ASIC。試想,如果沒有SAI,那麼就需要白盒交換機廠商自行适配不同的ASIC。有了SAI之後,适配ASIC的工作就由芯片廠商完成,使得白盒交換機廠商推出一款新産品所花費的時間大大縮短。

“第二,SONiC可以帶來很多好處。”Xin Liu談到,“首先,能夠讓使用者很好的使用所需要的功能,或者将性能最好的東西放在操作系統中。其次,SONiC有很好的擴展性,使用者無論需要增加新的功能,還是改變一個Docker,還是開發新的東西,都不需要做太大的變化,隻需要對一個局部做出改變。”可以看到,依托于Linux、Docker生态的SONiC在過去三年已經孕育了豐富的管理軟件和解決方案,而其自身也與Redis,Quagga、LLDPD等開源技術碰撞出了更多的火花。

2016年正式上線的時候,SONiC的理念就是将傳統交換機OS拆分成多個容器化組件的解決方案,進而也定義了控制面的容器化架構,囊括了組件和編程接口。2017年微軟對SONiC的性能進行了大幅升級,全面支持IDV,并且融合了更多的容器特性。2018年微軟又在管理性上下了大力氣(如ConfigDB),讓使用者用起來更加從容。未來,SONiC還會在深度學習等AI特性上做更多的嘗試。

與開源生态密不可分

有了SAI,SONiC可以在确保與ASIC編程接口一緻的情況下,不僅能提升速度和效率,還可以支持多個不同的ASIC,讓ISP的硬件創新可以在不同平台上實現統一的軟件優化。基于Azure的全球數據中心,與SWSS整合之後的SONiC可以直接管理交換機狀态。如果所部署的容器出現問題,也可以調用代碼來進行升級,而不是更換交換機鏡像,省去了不少麻煩。尤其是面向雲數據中心,乃至未來的軟件定義數據中心,SONiC可以最大限度簡化運維人員的管理/配置工作量,就能做到網絡使用場景的定制化。

近兩年,有越來越多的合作夥伴加入了SONiC的生态,像Canonical使用SONiC作為Ubuntu的快照;Docker通過Swarm來管理SONiC容器,使其具備了大規模更新的能力;Mellanox使用SONiC來輔助Spectrum ASIC基于硬件的數據包生成功能,實現了故障診斷和故障排除。正是有了這麼多的夥伴支持,SONiC在完善白盒交換機生态鍊的影響力被進一步放大,自然也就吸引了OCP的認可。

在OCP China Day上,筆者看到了SONiC的一些新成果。“我們要把原有的Chassis黑盒子打開,仍然有前端和後端的芯片,中間是用一個标準的以太網相連,我們是在用連接構建數據中心的方法構建Chassis内部網絡,網管可以運營數據中心内部的網絡。”來自微軟研究院的Bai Wei說。

Bai Wei談到,在構建Chassis過程中,微軟借鑒了很多傳統Chassis的優點,“我們把Chassis的功能放在紅色的芯片上,讓前端的SONiC互相通信,廣播路由信息可能後端的SONiC完全不知道,如果前端SONiC互相知道路由信息,那麼他們怎麼把包轉發給彼此?我們用了一個虛拟化隧道,一個前端收到一個包以後,實際上每家網絡的需求和痛點不一樣,但是在SONiC的開放平台上就可以定制出一款讓用戶滿意的解決方案。”

Xin Liu表示,SONiC下一步要吸引更多的團隊成員加入,以及融入到更多IT公司的網絡中,同時也要在2019年開始商業服務,讓SONiC支持更多的業務,“我們做了這麼多工作和成績,與我們的合作夥伴密不可分。”

阿裡的SONiC構想

Xin Liu所說的合作夥伴,自然是包括阿裡巴巴。就像文章開頭所說的,阿裡巴巴業務規模高速成長的背後,同樣衍生出了一部網絡進化史。2014-2015年,阿裡将更多的網絡研發精力放在純軟件優化上,引進了像DPDK這種用戶态的協議棧優化性能,在交換機上嘗試用獨立軟件運行在一個裸金屬轉換器上,讓軟硬件實現自主可控;2016-2017年,阿裡逐漸使能硬件架構,網關快速進入到400G時代;2018-2019年,軟硬件融合的趨勢加劇,處理器的可編程性對于業務靈活性起到了重要作用。

可以看到,從純軟件到快速的硬件演進,再到軟硬件的高度融合,一個嶄新的網絡基礎設施的技術時代正在來臨。用劉永鋒的話說,在背後要有一個算法驅動AI驅動的調度系統去管理網絡資源。由于SONiC的網絡應用都是基于容器構建的,可以非常方便的在生産環境實現不停機部署或升級應用,從實現方式來講更貼合互聯網企業需求,自然也吸引了BAT的關注。

2017年,由阿裡巴巴、騰訊、百度、京東、中國移動和中國聯通共同參與的“鳳凰項目”成立,項目以SONiC開源社區為依托,選取社區穩定的SONiC版本軟件,并将Base OS、SAI、平台驅動等共同打包制作成可直接加載運行在白盒交換機的網絡OS映像文件,網絡OS映像文件即鳳凰發行版。

“鳳凰項目”的目标是推動“白盒 開源OS”的網絡生态發展,促進國内開放網絡和SDN網絡的進步。項目除了關注發行版之外,還在軟硬件兼容性測試評估、運維管理體系等方面進行探索。其中,社區軟件評估及發行版制作主要由阿裡巴巴負責,發行版軟硬件兼容性主要由騰訊負責,運維管理體系主要由百度負責,測試驗證工作主要由中國信息通信研究院完成。

自加入SONiC之後,阿裡與社區合作圍繞其對網絡的需求和通用或定制化能力進行了大量的貢獻,由阿裡運行的SONiC版本和社區版本是同步更新的。基于不同地域、不同場景的用戶需求,阿裡也在業務實踐中帶來了不少創新,例如把北向接口簡化,使其不僅可以做狀态的獲取,還可以做配置下發,形成了統一的GRPC通道。

一方面,阿裡可以借助SONiC建立網絡架構系統,在運維時自動線上變更之前可在線下做軟件升級和配置變更的演練,大幅提升網絡穩定性和可用性。另一方面,也可以針對可用性敏感的區域,基于SONiC在故障發生之後或者要做軟件升級的時候,通過服務器和交換機實現端到端的定制,做到無損隔離,甚至是零丢包。

正如劉永鋒所講到的,正是因為有了SONiC這樣的開放系統,讓阿裡将很多之前的不可能變成了可能,“借助OCP平台,非常感謝能有這樣一個組織讓我們大規模的互聯網用戶分享對于網絡運維的需求、軟硬件的需求和思考,也非常歡迎大家加入到SONiC社區,我們希望能夠把SONiC變成數據中心網絡甚至未來邊緣計算的一個實施上的标準。”

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关生活资讯推荐

热门生活资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved