應用集群組件由于其特性，會部署到容器、虛拟機中，那麼組件間的通信就會跨多平台。虛拟機是通過ArStack管理維護，K8s則由AKE組件管理維護，兩者屬于不同的平台。當虛拟機和容器需要相互“交談”的時候，我們需要以某種方式實現兩個獨立集群之間的通信。本文将介紹通過ArSDN如何實現容器和虛拟機的互通。

實現思路

單個可用區中部署ArSDN組件，可用區中的AKE、ArStack都接入ArSDN，由ArSDN接管網絡平台的控制和數據面流量轉發。

當數據面統一由ArSDN接管後，則可以将容器、虛拟機統一到一個平台來管理，可以借助虛拟網絡的隔離實現集群間的隔離，通過三層路由器、策略等功能實現跨集群間的通信。

可以自由控制容器、虛拟機和裸機的流量。

容器和虛拟機互通的實現方式

容器集群通過CNI插件實現容器的網絡功能。CNI插件的實現有很多種，本文介紹的是華雲數據自研的ArSDN CNI。

在容器集群接入ArSDN時，ArSDN CNI會在ArSDN執行一些初始化的操作，比如為每個容器集群創建一個Pod網絡和一個Service網絡、創建安全策略、網絡策略等等，容器的IP地址分配以及安全策略都由ArSDN來管理。

Pod創建流程：

CNI組件watch到有新的Pod創建，會在Pod網絡中創建對應的網卡并分配IP地址

Pod在調度完成後，kubelet會調用CNI插件創建Pod網卡

CNI插件調用ArSDN組件獲取Pod網卡信息并完成網卡的創建

容器集群内部通信存在幾種場景：

Pod和ApiServer通信：類似coredns這類Pod需要訪問k8s apiserver獲取對應的資源并生成域名信息

容器節點和Pod通信：部分組件會通過域名來訪問Service，最終訪問pod

Pod訪問外網：Pod部分頁面需要訪問公網資源，有出外網的需求。可以通過将pod網絡加入路由器來實現

CNI如何獲取pod網卡信息：cni插件獲取容器網卡信息用來創建虛拟網卡

下面我們通過區分部署模式來具體介紹每個場景的實現方式

嵌套部署

容器集群如果部署到ArStack的虛拟機中我們稱為嵌套部署場景。嵌套場景中ArSDN本身會負責虛拟機的流量，還需要負責轉發虛拟機内部的容器流量。

在vrouter組件中會為每個容器網卡創建一個獨立的子接口（sub interface），對應的父接口是虛拟機的網卡。通過這種實現，我們可以将容器網卡和虛拟機網卡抽象到同一個平面來管理，他們在數據庫中都對應一個virtual-machine-interface隻是其中的sub-interface屬性值不同

Pod和ApiServer通信

Pod訪問ApiServer是通過訪問K8S對應的Service IP來實現的，Service的後端對應集群的管理節點IP。嵌套場景中虛拟機有兩種網絡：管理網、數據網，且都是虛拟網絡。我們通過networkpolicy或者路由器将這兩個虛拟網絡打通，實現三層通信。這樣Pod在訪問k8s service IP時，流量會轉發到管理ip，此時由于管理網和pod網絡已經三層打通，可以直接通信。

節點和Pod通信

節點訪問Pod實際是從管理網訪問Pod網絡，類似上面的做法，管理網和pod網絡都是虛拟網絡且已經三層打通，可以直接通信

CNI如何獲取Pod網卡信息

由于cni獲取Pod網卡信息的時候，Pod已經完成了調度，也就是說CNI可以直接訪問當前節點的Vrouter組件獲取網卡信息。嵌套場景中CNI是在虛拟機内部的，需要通過某種方式來訪問物理節點上的Vrouter服務。

這裡我們通過link-local來實現流量轉發，在訪問某個固定IP和端口的時候，流量在到達物理節點時直接轉換成訪問當前節點IP 端口。這裡也就是直接訪問127.0.0.1:9096

非嵌套部署

容器集群部署到ArStack外部虛拟機或者物理裸機中我們稱為非嵌套部署場景。非嵌套場景中容器節點類似一個計算節點，會在上面運行Vrouter組件實現跨節點的數據通信。

Pod和ApiServer通信

非嵌套場景中管理網絡正常都是物理網絡，我們無法通過networkpolicy或者路由器将它和Pod網路打通。在pod訪問k8s service ip時，流量轉換成訪問管理IP，但是由于pod網絡是一個私有網絡，和物理網絡是隔離的。這裡通過link-local将訪問的數據包執行snat，使得源地址改成Vhost0 IP。此時隻需要在物理設備裡将數據網絡和管理網打通，就可以通過vhost0 IP來訪問apiserver了

節點和Pod通信

節點訪問pod網絡，默認情況下pod網絡是私有網絡，從節點來訪問根據節點上的路由規則，會走默認路由到外部網絡中，是無法通信的。這裡我們通過将pod網絡開啟ip-fabric功能，在物理節點上會動态創建訪問pod網絡的路由規則，使得在訪問pod網絡時流量轉到vhost0中

CNI如何獲取Pod網卡信息

由于在裸機上會直接部署Vrouter，所以CNI可以直接訪問當前節點的Vrouter。相對于嵌套模式不需要進行流量轉發。

K8S有自己的網絡模型，有service/ingress實現四層和七層負載均衡功能，通過networkpolicy實現安全功能，還有其他的qos、端口轉發等。ArSDN CNI則将K8S資源模型轉換成ArSDN資源模型。

容器和ArStack資源模型對比：

總結

ArSDN cni将k8s資源模型和ArSDN資源進行轉換，打通了兩者之間的架構差異。

虛拟機通過加入Pod虛拟網絡可以實現和容器的二層通信。通過路由器可以實現和容器的三層通信。容器集群間也可以通過網絡策略或者路由器打通，為多集群網絡通信提供支持。

#華雲數據#

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!