去年11.11時，曾有數家媒體對京東的雲基礎架構服務進行過采訪。當時京東雲平台首席架構師、系統技術部負責人劉海鋒就京東文件系統、分布式緩存與高速KV服務、新消息隊列、新服務框架等進行了闡述。幾個月後，3月30日，在華為ICT北京站巡展時，CSDN雲計算有機會與劉海鋒深入溝通，看看這個70多人的團隊如何實現從開源到自研的技術跨越，如何利用OpenStack Docker技術實現容器管理，又将如何在今年底實現對京東所有機器實現自動化運維的目标。

要強調的是，劉海鋒和他的團隊所負責的是京東私有雲項目（京東基礎雲服務）。不是對外提供雲服務的京東公有雲。而這種共存的狀态，在亞馬遜、阿裡、騰訊以及其他多家互聯網企業中都存在。

京東的發展速度有目共睹。反應到業務與産品上，就是國際化、拍拍、廣告、商城、金融、智能硬件、新業務的齊頭并進。而底層，自然需要穩固的，能夠實現“IT資源雲化”的基礎平台。劉海鋒和他的團隊從2013年開始，就聚焦在存儲服務、中間件、彈性計算三大方面，通過API為京東業務提供服務支持。

存儲：JFS，JIMDB和統一存儲

千萬/天的商品圖片，千萬/天的交易訂單，千萬/天的電子簽收，億/天的庫房記錄.......越來越多的非結構化數據給京東的存儲帶來了巨大挑戰。使用過商用産品，使用過開源産品，但無一能跟上京東業務的發展速度。為此，2013年8月，劉海鋒的團隊開始自主研發大規模分布式存儲系統——京東文件系統（JFS）。

京東大規模分布式文件系統（JFS）

JFS技術點：

Paxos replication Unified Storage of BLOBs/files/blocksAppend-only storage engineReed-Solomon codingScalable metadata managementHadoop Integration

如今JFS已經是3.0版本。圖片服務，訂單履約、物流數據交換、電子簽收、内部雲存儲服務和虛拟機與容器卷存儲都已在JFS上。劉海鋒說：“京東的每一張圖片都存在JFS平台上。自研的系統通過主動複制策略，保證絕對的強一緻性，而複制算法，能夠保證在機器故障、磁盤故障、甚至文件誤删除等問題存在時，數據都不會丢失。”

與數據暴增相對應的是緩存必然越來越多。正如數據庫天才Jim Gray曾說：“Memory is new disk.”而Redis和Memcache面對大内存業務的挑戰也已不夠。在Redis基礎上做出技術“質變”，京東自研了分布式緩存與高速NoSQL——JIMDB。

JIMDB技術點：

精确故障檢測與自動切換； RAM/SSD混合存儲；在線橫向擴容；異步、同步、局部複制；全自動化接入與管理。

通過細粒度部署，大幅降低了維護成本，目前已經擴展到3000 台機器，并廣泛支持了商品詳情頁、搜索、推薦和廣告等應用。

如果說JFS和JIMDB是已經完成的技術，代表了分布式存儲和緩存與高速NoSQL。那麼京東下一步自然是統一存儲服務：支持文件/對象/大表的多數據模型和多IDC複制存儲、單IDC緩存加速。而且根據業務需求,将引入SQL與事務支持。

中間件：消息隊列與服務框架

支撐的業務模型越複雜，彼此的消息傳遞就越重要。而由于京東在倉儲物流持續發力，全國各地有數百個庫房。這些庫房裡面會部署10-20台服務器。由此，消息隊列（MQ）在京東的訂單管道、核心機房、倉儲庫房中就更加重要。劉海鋒将之形容為：“MQ for the datacenter is like the pipes for Unix/Linux.”

京東的MQ有三個階段：JQ ->AMQ ->JMQ。前兩者都是開源軟件。面對“日均消息數過百億”的挑戰，AMQ已完全無法應對。比如有的大隊列可能是1個發送者，有100個消費者，很多開源系統可能會存100份，但這幾乎沒有必要。通過完全的自主研發JMQ，隻要存一份，消費者可以通過偏移量或指針去訪問。JMQ更好地實現了：機房斷電不丢消息；組提交技術；透明壓縮；靈活複制。劉海鋒如此評價：“JMQ在去年雙十一中表現完美。”

除此以外，越來越多的在線服務，需要統一編程、統一協議、統一接入、統一監控和統一治理。但面對數萬服務接口和數萬台服務器（很多服務器還分布在不同區域），如何使各模塊可降級、可監控、可分解等，能夠真正在内部API化、對外接口開放，需要更适宜的服務框架——JSF。

彈性計算：軟件定義數據中心與容器集群調度

如果打開京東應用圖譜，搜索、圖片、廣告、訂單、Hadoop、Spark、MPI等都占據了不同的機器資源。實際上，不止是京東，幾乎所有互聯網或分支較多的傳統企業都面臨資源被劃分的“七零八落”的現狀。每一種應用都會占用不同機器資源。但随着機器的增加，要實現資源雲化以及自動化運維，這一挑戰，必須面對。

京東彈性計算雲規劃

劉海峰稱之為：“彈性計算雲。”一方面，将業務與機器解耦，全自動化維護；另一方面，高資源利用率 高服務質量 高效生産。在IDC資源上，通過OpenStack、Docker和JFS實現基礎服務，以及部署集成、彈性伸縮的平台服務，最終實現應用系統。

舉個例子，商品詳情頁能夠實現按照流量訪問自動調度資源，比如利用OpenStack Docker實現緩存容器化，在流量控制、快速部署、版本管理方面做的更好。

對Docker的嘗試從什麼時候開始？有哪些收獲？

劉海鋒：我們對Docker的應用從2014年8月份開始的。最終目标是希望能夠為研發人員、數據中心技術工程師和業務系統之間搭建一個橋梁，使工作更簡潔、高效，數據中心服務器利用率大幅提高。所以京東底層基礎架構分兩層：軟件定義數據中心（基礎服務），将機器做成虛拟化的，容器化的，虛拟網絡IP，共享存儲等；平台服務，順暢将京東應用和平台融合。這是一個複雜的系統工程，而Docker在平台服務層面，能夠發揮很好的作用。我們将其作為京東私有雲的輕量級應用，主要是用的引擎、實例，并和Openstack“嫁接”，用OpenStack去管理Docker，如給它分配一個獨立的IP等。針對Docker我們還稍微做了些改造，比如網絡方面，以及存儲方面。這樣，每個容器或者每個虛拟機和原來物理機區别不大，很容易接受。比如用在郵件申請服務，一些特殊場景下的虛拟機提供（京東内部對安全性已有保證）。而在其上層，則是完全自研的系統進行調度、控制、監控、管理和部署。效果很好。舉個例子，之前部署是部署界面選擇、打包、機器分配、部署、檢查、成功。但現在一個程序要上線，直接點部署，成功後直接通知你。中間環節，包含審批、申請等全部取消。再如，雙十一加機器之後，很少假期後有人會選擇減機器。這樣無形中有很大浪費。而現在，直接部署，平台實現統一控制，随流量自動擴容，自動縮減。如此下來，資源利用率大幅提升，成本卻會明顯降低。

除了管理Docker外，OpenStack還有哪些應用？

劉海鋒：京東彈性雲的基礎服務就是Docker OpenStack JFS。OpenStack變化很快，很難有那麼多精力來追随。所以我們找到穩定版本，經過調整後進行了很多開發，比如Jing dong Data Center OS就是其中的一個分支。另外是管理Docker和應對故障。如當物理機故障、容器故障出現後，如何通過OpenStack快速檢測、快速報警、快速響應。而這些開發，我們計劃在年底或者明年初反饋給社區。

開源軟件基礎上進行研發，大部分都會走向完全自研？

劉海鋒：有可能。無論是OpenStack還是Docker，作為通用型平台，都是越來越龐大和臃腫。很多功能都是我們不需要的。所以依照發展的需求，我們現在有工程師在自己寫。

舊有資源雲化會面臨很多挑戰。哪些是你們遇到的？

劉海鋒：業務需要應用支持。很多老應用最初使用的都是物理機，而且非常空閑，有可能一個小程序占了128MB的一台服務器。所以這些應用需要從物理機遷移到雲上。但如何遷移，比較困難。這不是技術問題。所以京東是有專門的項目經理在推動的。而我們來提供簡單、易于使用的遷移工具。現在，京東幾乎所有應用都在分批遷移，涉及各個部門，各個業務線。

曾提到Hadoop應用。JFS和Hadoop有集成麼？

劉海鋒：是，我們團隊不用Hadoop。但JFS會實現對Hadoop的集成。這樣在線和離線數據統一存儲就很容易實現，作為整套方案也更能擴展元數據，降低成本。

京東彈性計算雲項目的主要挑戰與最終願景是？

劉海鋒：求規模和零事故的矛盾。如何在保持穩定的情況下擴大規模，因為隻有規模大了，收益才大。我們每天都很謹慎小心來做，希望盡快實現萬台規模的控制。 現在我們内部的彈性雲項目僅僅進行到1/5左右。後面會更快速地展開。最終彈性雲将管理所有機器資源，生産虛拟機或容器或物理機，托管調度各類業務包括應用與存儲、在線與離線，成為業務的基石，讓研發生活更美好。

“2015 OpenStack技術大會”、“2015 Spark技術峰會”、“2015 Container技術峰會” 4月17-18日在北京召開。日程全部公開！ 懂行的人都在這裡！更多講師和日程信息請關注OpenCloud 2015介紹和官網。

【2015 Container技術峰會講師采訪系列】

【2015 OpenStack技術大會講師采訪系列】

【2015 Spark技術峰會講師采訪系列】

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部