受疫情影響,在家辦公需求暴漲,不少企業臨時決定讓員工遠程辦公。對于企業和員工而言,遠程辦公是一個沒怎麼嘗試過的工作場景;對于做“水電煤”的騰訊而言,這意味着企業微信、騰訊會議、騰訊文檔、QQ 等辦公協同産品的擴容升級刻不容緩。
為此,騰訊雲、騰訊技術工程事業群多個團隊中止了假期。1 月 29 日開始,全力投入騰訊會議的資源擴容。在雲上,騰訊雲日均擴容雲主機接近 1.5 萬台,8天總共擴容超過10萬台雲主機,投入的計算資源超過 100 萬核。在線下,騰訊網絡運營團隊聯合運營商,對網絡資源也進行着快速補充。
以往 3 個月才能完成的網絡擴容,在騰訊和運營商、機房駐場、布線工人、物流的多方配合下,僅2天就完成了全流程的工程建設。
項目團隊遇到的第一個問題是擴容所需要的服務器支撐。
初二一早,一份服務器需求清單就發送到運營管理部和 IDC 平台部同事的郵箱裡。僅僅經過了 30 多個小時,運管和 IDC 就完成了 200 多台服務器的上架。除了線上布局,還涉及到一些服務器的現場上架、調度。
此外,這兩個部門還需要支持騰訊會議、騰訊課堂等其他業務的擴容需求,以及保障數據中心在高需求下的平穩運行。他們的強力支持也極大地鼓舞了其他部門的士氣。
在等待服務器的同時,企業 IT 部還辦了 2 件大事。
第一件事,協助 7*24 小時提供服務的客服和信安員工離場。初三接到需求之後,企業 IT 第一時間跟設備供應商商讨解決方案,通過電腦軟電話等一系列功能,實現了将客服的現場座機轉移到員工電腦上;針對高保密性的需求,則幫助他們設置了一條專門的通道,讓員工隻要把設備帶回家,就能安全地實現工作需求。
不到兩天時間,項目團隊幫助客服、信安以及公司其他相似需求的團隊,近2000人實現全員離場工作。
另一件大事則是緊急聯動各 BG(事業群) 的技術負責人,梳理可能遇到的研發場景,為遠程工作環境上線做準備。光是工作常用網站和資源站點就接近 800 個,大家一個一個去梳理。每天中午或晚上就用騰訊會議開 3 到 4 個會對齊進度。從年初三開始對接各 BG ,一起測試鍊路是否正常。
說到騰訊會議,基礎架構團隊的湯米(化名)則是在1月30日上午接到緊急支援騰訊會議的需求。他們要從頭開始,完成一個關鍵調度模塊的開發,該模塊是讓騰訊會議支撐更大流量的“關鍵要塞”。
湯米和團隊馬上趕回公司,從頭梳理業務邏輯,讨論并确定方案,連夜寫代碼。31 日晚上,進行業務聯調,2 月 1 日,完成全場景測試驗收,并在當天晚上完成壓測成功上線。72 小時,3 個不停歇的日夜,實現了一個核心功能從零開發到成功上線。多個團隊邊保障邊優化,在近乎極限開發的狀态下,最終圓滿完成騰訊會議的穩定保障。
從2月5日開始,騰訊會議每天的服務器都按照前一天用戶4-5倍的規模來準備。
但2月7日清晨,騰訊技術工程事業群運營管理團隊接到了一個難以完成的任務——必須在一天時間内緊急交付數萬台服務器,提升極限峰值來應對 10 号的複工高峰——這可是日常情況下一個月的交付量。
但服務器廠商尚未複工,各種快遞和交通工具也受到限制,怎麼辦?
“隻有一個辦法,把現有資源不斷複盤優化,充分使用騰訊雲的調度能力,讓每一分都用在刀口劍刃上。”運營管理團隊的小雪(化名)說道,“我們瘋狂盤點資源,向其他已經過了高峰期的業務追回服務器,把那些老舊設備、算力平台能用的都挪過來。同時發動全團隊找車,小夥伴們自己上手,一點點搬運深圳本地可協調的設備。”
同時,各事業群的的研發及運維也開始忙活,《 tapd/git 遠程工作指南》、《遊戲開發在家遠程辦公攻略》、《 wxg 研發在家辦公環境準備》等一份份清晰明了的指引文檔迅速完稿。
大年初五,比平日多 30 倍的帶寬擴容完成,适應全工種的全尺寸遠程工作平台基本搭建完畢,此時距離接到任務,隻用了不到 5 天。
初六,邀請各 BG 的技術團隊試用,尋找問題。
初七到初九,針對各種出現的問題進行反複調試。
......
騰訊自身作為遠程辦公大潮中的一員,企業IT部是協助騰訊會議在公司内部落地的部門,在遠程辦公開始前,企業IT團隊已經聯合騰訊會議團隊,進行了擴容評估和實施,全力保障騰訊員工的使用。2 月 3 日開始,騰訊會議每日會議數都在翻倍增長,咨詢和問題反饋數也數倍增加,企業IT團隊 24 小時在線,幫助同事們解決問題,确保使用體驗。
2 月 10 日,鵝廠迎來了正式複工。
也許是被“禁足”憋壞了,才 8 點多鐘,遠程工作的在線用戶已經沖到快 3 萬了。沒想到大家都起得這麼早,還不到 9 點,考試已經開始。
9 點後,用戶數不斷攀升,在 11 點半左右迎來了峰值,5 萬多的同時在線數蔚為壯觀。當日下午 2 點多,企業 IT 部助理總經理 Andy 在群裡發來喜報:“ 5.1 萬同時遠程工作,新高!”
另一頭,在鵝廠外,學生、企業也在同一天使用着各種遠程辦公産品。學生上課,公司晨會常集中在早上 9 點鐘開始,這是騰訊會議面臨的流量洪峰。但這周一的早上 9 點,經過團隊一天一夜的努力後顯得有些平靜。當天騰訊會議扛住了海量的用戶會議需求。據了解,基于騰訊百萬台服務器和百T帶寬的支持,騰訊會議目前已可滿足全球 130 個國家和地區的 5000 萬用戶同時在線需求。
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!