機器之心報道

編輯：澤南、張倩

這次英偉達發布的，是「元宇宙」開發工具。

元宇宙的最終解釋權，還得看英偉達。

幾個月前，真假黃仁勳的争論帶火了「元宇宙」概念。11 月 9 日，GTC 大會再次開啟，英偉達創始人兼 CEO 黃仁勳從自家虛拟的廚房中走來。

那這次是否是「真人」？

在剛剛結束的媒體采訪環節中，黃仁勳直面人們的好奇：「keynote 中的一切都是渲染的，沒有真實物體，全部是虛拟的（Everything in the keynote was rendered，nothing was real，everything was virtual）。」

這一說法讓接入電話的記者都為之一振。于是一位記者問道，「您剛才說一切都是虛拟的，包括您自己嗎？」「哈哈哈，一切都是虛拟的，但除了我自己，我是真的。」黃仁勳補充道。看來，黃仁勳隻是用這個大喘氣給大家開個玩笑。

回顧此次 GTC Keynote，我們可以發現幾個非常重要的點，比如元宇宙和加速計算。

擁抱元宇宙的 Q 版黃仁勳

「我将向大家介紹我們正在進行的重要計劃，它将重塑我們所在行業，」黃仁勳說道。

英偉達展示過如何使用 Omniverse 來模拟倉庫、工廠、物理與生物系統、5G 通信、機器人、自動駕駛汽車，現在最新的技術可以直接生成全功能的虛拟形象了。

這個 Q 版黃仁勳叫 Toy-Me，可以和人進行自然語言交流。

它使用了目前業界規模最大的預訓練自然語言處理模型 Megatron 530B，「借用」了黃仁勳自己的聲音、形象和講話姿态，整個人也帶光線追蹤特效——最重要的是，所有一切都是實時生成的。幾個月前，這還是無法實現的。

為了檢驗整個虛拟小人是不是真的有用，人們向它提出了幾個不太簡單的問題，都獲得了讓人滿意的答案：

上知天文下知地理，還懂環境保護問題。

說「互聯網改變了一切」現在看來是有些輕描淡寫了，今天的我們一直互相連接。互聯網本質上是這個世界的數字表達，主要是指 2D 的文本、語音、圖像和視頻信息。「這個事情要發生變化了，如今我們已經擁有創建全新 3D 世界或為物理世界建模的技術。在虛拟世界中，有真實的物理定律，當然也可以不遵守，」黃仁勳說道。「在那裡我們可以是和朋友，也可以是和 AI 在一起。」

我們将像網絡中跳轉一樣從一個世界切換到另一個世界，這個新世界的規模要比真實世界大得多。我們将購買到 3D 的商品，正如現在買首 2D 歌曲或買書一樣。在這個世界中，我們也能購買、持有或出售房産、家具、汽車、奢侈品和藝術品。在虛拟世界中，人們将創造出比物理世界更加豐富多樣的東西。

與遊戲不同的是，Omniverse 是面向數據中心設計的，有朝一日或許可以形成全球的規模。Omniverse 的門戶是「數字蟲洞」，将人和計算機鍊接到 Omniverse 上，然後再聯通所有虛拟世界。這些虛拟世界中，你可以設計飛機，運行虛拟工廠。「現實世界工廠的運行是虛拟世界的複制品，這就是數字孿生概念。」

在 Keynote 中，英偉達還展示了 Omniverse 的一系列新功能，包括 Showroom，負責展示圖形、物理、材質和 AI。Farm，一個系統層，用于協調跨多系統，工作站、服務器、裸機或虛拟化的批處理作業。Omniverse AR 可以将圖形串流到手機和 AR 眼鏡上。Omniverse VR 是首款全幀率交互式光線追蹤 VR。

11 天訓練 GPT-3，Megatron 530B 推理時間降至半秒，老黃祭出大模型神器

構建虛拟世界中的 AI 需要構建強大的模型，并讓它們具備實時的推理能力，這就需要與以往完全不同的技術了。

近年來，自然語言處理中基于 Transformer 的語言模型在大規模計算、大型數據集以及用于訓練這些模型的高級算法和軟件的推動下發展迅速。具有大量參數、更多數據和更多訓練時間的語言模型可以獲得更豐富、更細緻的語言理解。因此，它們可以很好地泛化為有效的零樣本（zero-shot）或少樣本（few-shot）學習器，在許多 NLP 任務和數據集上具有很高的準确性。

在昨天的 GTC 大會上，NVIDIA 推出了為訓練具有數萬億參數的語言模型而優化的 NVIDIA NeMo Megatron 框架、為新領域和語言進行訓練的可定制大型語言模型（LLM）Megatron 530B 以及具有多 GPU、多節點分布式推理功能的 NVIDIA Triton 推理服務器。這些工具與 NVIDIA DGX 系統相結合，提供了一個可部署到實際生産環境的企業級解決方案，以簡化大型語言模型的開發和部署。

「訓練大型語言模型需要極大的勇氣：耗資上億美元的系統、持續數月在數 PB 數據上訓練萬億參數模型，離不開強大的信念、深厚的專業知識和優化的堆棧，」黃仁勳在演講中說到。因此，他們創建了一個專門訓練擁有數萬億參數的語音、語言模型的框架——NeMo Megatron。NeMo Megatron 是在 Megatron 的基礎上發展起來的開源項目，由 NVIDIA 研究人員主導，研究大型 Transformer 語言模型的高效訓練。該框架已經經過優化，可水平擴展至大規模系統并保持很高的計算效率。

黃仁勳介紹說，他們的研究人員曾在 NVIDIA 的 500 節點 Selene DGX SuperPOD 上進行過測試，結果表明，NeMo Megatron 僅用了 11 天就完成了 GPT-3 的訓練。此外，他們還和微軟一起在 6 周内完成了 Megatron MT-NLG 5300 億參數模型的訓練。「借助 Nemo Megatron，任何公司都可以訓練最先進的大型語言模型。」黃仁勳表示。

完成訓練後，如何運行大型語言模型呢？這就要用到專門的推理服務器了。在生産環境中，大模型的推理需要極低的延遲才能達到可用的程度。「在高端雙 Xeon Platinum CPU 服務器上，Megatron 530B 的推理需要超過一分鐘的時間。對于很多應用而言，這基本上是不可用的。」黃仁勳舉例說，「GPU 加速的模型也很有挑戰性，因為模型尺寸要求遠遠高于 GPU 的顯存。」GPT-3 有 1750 億參數，至少需要 350GB 的内存，Megatron 參數更多，内存需求高達 1TB。

為了解決大模型推理問題，NVIDIA 創建了 Triton 推理服務器。黃仁勳表示，Triton 是世界上第一個分布式推理服務器，可以在多個 GPU 和多個節點之間進行分布式推理。有了 Triton，GPT-3 可以輕松運行在 8-GPU 服務器上；Megatron 530B 可以分布部署在兩個 DGX 系統中，推理時間從 1 分鐘縮短至半秒。

超大規模語言模型對于未來非常重要，它可以回答複雜問題，理解和總結長長的文檔，實現翻譯，組織語言、編寫故事、寫代碼、理解人們的意圖，也可以在沒有人類監督的情況下自動完成訓練，還可以無需樣本，這意味着它們可以支持很多種不同領域的任務。

為超大規模語言模型構建系統，可能是未來最大的超算應用。由于算力需求遠遠超過 GPU 的能力發展速度，英偉達找到了幾條新路。

「科學領域中，基于深度學習的軟件革命正在發生，這個過程終将産生重要影響。在計算科學上三個相互關聯的動态系統會讓我們取得數百萬倍的算力飛躍，」黃仁勳說道。

這三重加速，首先是計算加速，芯片、系統和加速庫，再到應用的全棧式計算将會為我們帶來 50 倍的速度提升。

其次是推動力，深度學習的興起引發了現代 AI 革命，從根本上改變了軟件。深度學習編寫的軟件具有高度并行性，這使其有助于通過 GPU 進行加速，而且可以擴展到多 GPU 和多接點。擴展到 DGX SuperPOD 這樣的大型系統可以讓速度再提高 5000 倍。

最後，通過深度學習編寫的 AI 軟件預測結果的速度能夠比人類編寫的軟件快 1000 至 10000 倍，這徹底改寫了我們解決問題的方式，甚至可以解決的問題。

「最高可以達到 2.5 億倍，當然大家獲得的結果會有所不同，這取決于你投資的規模。但如果問題能因此解決，投資就會到來。」黃仁勳說道。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!