随着大數據應用的逐步普及,越來越多的大數據分析、内容安全審計和業務應用可視化的應用得到普及,這個過程中我們面臨的一個核心問題那就是:如何把業務流量正确、按需的方式傳遞給所需的分析系統。
如何把業務流和或者所需的數據包分發到分析系統,實現方式有很多,既有傳統的例如HUB、分光器和普通交換機的鏡像技術,也有最近幾年逐步流行起來的專業網絡分流設備。那麼這些系統或設備有什麼區别呢,下面我們從以幾個維度進行一下闡述。
業界分流技術對比
傳統的分流系統有分光器、分路器、HUB,以及交換機SPAN技術,和最近幾年流行的專業數據分流器幾種形态。
從網絡分流最普遍的在數據的出口區域或核心區部署實現采集、複制和分發應用的案例,我們分别簡述一下各類分流器的區别和優劣點。
第一種,HUB集線器,HUB由于是廣播方式,如在業務區核心區挂載HUB,由HUB廣播到不同分析系統,一是存在流量回流到核心的風險,即使是VLAN隔離,會造成核心設備處理廣播flooding的導緻CPU率高,嚴重造成核心設備和業務異常等高風險。二是HUB 性能嚴重不足,主流為千/百兆,且是半雙工模式,已無法滿足10G至40G以上網絡環境的應用需求。
此類分流應用,特點是造價成本低但安全風險極高,适用百兆帶寬,并對業務安全和穩定不考量的環境,例如測試環境或者學習環境,不适合商業部署。
第二種,是分光器和分路器,此類設備是物理上無源的器件,屬于一路光信号複制為多路光信号的方式,技術實現簡單,成本低,部署相對簡單,是一種非常常見的分流系統部署方式。但是由于串接在業務網絡中,通常存在幾個風險和問題,一是存在單點故障風險,一旦該器件出現問題,意味着業務的整體中斷。二是分光器或分路器是簡單的端口到端口的複制,不能靈活的區分業務流,在多個業務分析系統的硬軟件需要業務區分或拆分分析的需求下,該模式已經不适用。
此類分光或分路應用,特點是成本低但不夠靈活,适用千兆和萬兆帶寬,對業務數據采取粗放分發和管理模式,并要能對出口區域有單點故障風險有極高承受能力環境。
第三種,是交換機的鏡像SPA功能,也是現有和當前很多環境習慣使用的技術,此類SPAN有以下特點:傳統網絡設備鏡像資源有限,業界網絡廠家絕大部分隻能使用BCM的芯片,所以相關特性都是基本一緻的,N(目的源接口):M(鏡像目的接口)最大值不大于4,在基于MPLS OAM和BFD等複雜應用環境下,N和M的值還要減少1-2。意味着同一端口或流量最多複制4份。如果有8個或更多的分析系統需要部署,那就出現了典型分流資源瓶頸。二是鏡像功能普遍是低于交換機普通轉發的優先級,會造成丢包和延遲的風險。
此類交換SPAN數據分流應用,特點是使用率高,但受制于應用規模和業務要求,千萬兆比較常見,數據管理不夠精細,不能做到高級的數據分流管理應用,因此适用于分析系統少于4的小型數據分析或安全分析的環境。
第四,就是現階段适應數據分析和數據流管理的專業數據分流器。分流系統解決基礎網絡流量調度的限制多、擴展能力弱等問題。它除了覆蓋具備了上述傳統分流的基本屬性,更多是增強并擴展了高級應用。例如,數據篩選功能在數據包層級,選擇發送何種數據包到指定的監測端口。數據過濾功能通過特定的協議過濾,如HTTP、VoIP或其他。會話負載功能基于會話的、數據流感知的負載均衡可以捕獲10GE的網絡并根據用戶自定義的會話條件,自動均衡到多個1G監測工具。
數據分流器的缺點是造價高,不具備交換機的學習轉發模式,不适用于串接在網絡中使用。優勢在于不受制于應用規模和業務要求,數據管理能夠精細到協議區分采集,或截斷脫敏等高級采集和管理應用,适用于分析系統規模大于4至更多數據分析或安全分析的環境,以及需要精細化數據管理的業務環境。
由于從産品外觀、功能實現來看,交換機和分流器具備較多的相似性,而兩者方案存在較大差别成本差異,因此很多用戶對兩者之間的關系存在很多困惑,因此接下來我們重點在網絡數據分流器和網絡交換機之間關系、區别和應用定位等幾個方面來說明主要差異,以及說明在數據分析或安全數據管理的環境下,為什麼需要專業的分流系統來實現相關業務部署和落地。
數據分流器和交換機的關系和區别
網絡交換機負責網絡流量的轉發,串接整個網絡,是學習建立各類轉發表項,再盡力轉發,主責是流量轉發。
數據分流設備,普遍Bypass旁挂在網絡側,實現數據流的識别采集、擴展複制和策略分發,主責是流量管理。
交換機和分流設備在基礎的流量管理上,都具備流量複制的功能。而網絡分流器除了具備更強大的流量彙聚、複制功能外,還具備精細化的流量管理功能,這些是傳統網絡交換機不具備的。網絡交換機已不适用當前階段,網絡流量的識别、彙聚、複制等多要求的技術需求。
随着雲計算、大數據業務的各種業務的部署應用,傳統的流量調度和管理也顯示出各種不适應。雲計算和大數據的技術應用,從傳統南北數據流,到現在網絡内部大量的東西流量,同時部署很多對業務可視、安全内容審計等應用系統,傳統網絡交換機基本SPAN已嚴重制約了網絡平台對數據流量平滑的采集、彙聚、分流複制并做進一步管理的應用需求。
網絡交換機和數據分流器應用定位不同
數據分流器和網絡交換機,物理形态基本相同,會有不同的以太接口或pos接口,甚至是定制化專用數據采集口,但最重要的是流量分流和管理的應用不同。
我們看一個典型的使用環境,某省公安不同部門在不同時期建設的業務系統多達近百種,IT業務環境中常出現業務問題定位困難、排查效率低下,責任不清等問題,導緻業務系統相關使用單位和對外服務窗口單位服務質量體驗較差。
為了緩解和解決該現狀,設計通過核心區域采集所有實時業務數據,通過“業務分析系統”進行全業務數據離線分析,實現IT問題快速定位排障、明确責任和故障原因,為運維和系統改造、優化、升級提供有效的可視化分析的決策支撐。而實際狀況技術核心區某通用網絡交換機的鏡像資源不足,隻能鏡像2個目的端口(受限于芯片資源等原因),源數據口是萬兆,整網業務流量較大,對分析系統的“接收、存儲、處理分析性能有很高硬件要求。此時,通過分流器,實現了一份萬兆全業務流量通過負載1分6均分負載到同一台分析系統I/0接口上,極大緩解了分析服務器數據采集、存儲的性能壓力。
數據專用分流器的特點
數據分流設備普遍會采用專用芯片,用深度開發的流量調度技術,在業務可視化運維或數據安全管理的環境中,解決基礎網絡流量調度的限制多、擴展能力弱等問題。
高級版本可以支持時間戳、端口戳、協議剝離、截斷、數據包去重、碎片重整和數據矩陣等構建功能。
這些都是專業分流特性能實現業務流量正确、按需的方式傳遞給所需的分析系統,才能配合實現後續高效、快捷的問題定位、安全回溯,業務分析等應用。數據分流器在滿足上述需求的同時,更具有不影響原有業務網絡、端口密度高、關鍵數據脫敏等技術優勢。這也是傳統粗放式數據管理分流所不具備的特點。
因此大數據時代的IT信息化環境中,如何管理調度好流量,專業的邁普數據分流器是諸多行業場景較好的選擇。它是具備與國外品牌Gigamon相媲美的網絡分流器産品。有三大硬件系列、八大核心功能,在金融和政府等行業“運維可視化和業務可視化業務應用中獲得了充分驗證和平滑部署,是國産專業網絡分流器的典型代表。
邁普“網視”系列“數據分流器”共三檔設備型号,可以形成覆蓋數據中心應用的完整解決方案。适用與大、中型數據中心分流網絡核心、彙聚的T6600系列;适用中、小型數據中心分流網絡核心、彙聚的T5820系列;适用與數據中心分流網絡接入層的T4320-28TF系列,可以滿足數據中心從100G、40G、10G、1G的各類大流量數據采集的部署應用需求。
“八大核心功能”依次是:分析流M:N、分析流1:N負載、分析流溯源标識、分析流時間戳标簽、分析流數據脫敏、分析流載荷截短、分析流遠端IP傳輸和分析流對稱HASH,可以滿足運維過程中流量靈活分類、流量壓縮、多業務支持的三個關鍵業務需求,解決傳統網絡設備的功能不足。
邁普“網視”系列“數據分流器”是國内領先的行業級數據分流器産品,産品功能豐富、定制能力強,目前已經與大量流量可視化廠家實現了應用對接,如天旦、Ixia 、Netscout、賽門鐵克、Compuware、科來、綠盟等。
---------------------------------------------------------
1.本文援引自互聯網,旨在傳遞更多網絡信息,僅代表作者本人觀點,與本網站無關。
2.本文僅供讀者參考,本網站未對該内容進行證實,對其原創性、真實性、完整性、及時性不作任何保證。
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!