tft每日頭條

 > 科技

 > nvidia broadcast有什麼用

nvidia broadcast有什麼用

科技 更新时间:2024-08-04 04:52:12

近些年消費級CPU和GPU的性能飛速發展,如今的筆記本電腦性能已非常強大,并且對于絕大部分人來說,用筆記本電腦已經足夠勝任幾乎所有需要個人電腦的應用需求。

對于直播行業來說,目前互聯網越來越講究“移動化”,不論身處何處,可以永遠在線。而早年的直播行業,由于網絡和計算性能的瓶頸,對于有較高質量的直播工作,大部分是采用台式機電腦進行直播,并且對于遊戲主播來說,還需要使用兩台台式機電腦同時工作——其中一台用來運行遊戲,另外一台專門用來直播推流,這其實是相當不便的工作環境。

nvidia broadcast有什麼用(想用筆記本随時随地高質量開播)1

而随着如今PC性能的快速進步,計算性能方面已經不是問題,如今筆記本其實也足夠用來進行高質量的直播,同時網絡環境方面,目前我們的網絡帶寬也是越來越大,在這樣的環境下,筆記本電腦自帶的“移動”屬性,非常契合直播的發展趨勢,同時能提供相比手機直播更高的直播質量,而且對于遊戲主播來說,更是一個不可或缺的解決方案。

說起PC端的直播,不得不提的一個軟件是NVIDIA Broadcast,這是NVIDIA利用如今芯片的AI計算性能打造的一款多功能直播輔助軟件,可以實現噪音消除、虛拟背景、人像跟蹤等功能。在最新的NVIDIA Broadcast 1.3.0版本中,還改進了音頻背景消除的質量,改善了對情緒化語音(例如直播恐怖遊戲時驚叫)的支持,并且在同時運行音頻和視頻效果時,進行顯存優化,顯存的使用減少了40%,大大降低了對資源的占用。

測試平台

NVIDIA Broadcast實現這些功能的原理是利用NVIDIA RTX GPU中Tensor Core(張量計算單元)的高效AI性能來處理計算的, NVIDIA RTX GPU中的Tensor Core是專門針對深度學習而設計的特殊計算核心,它尤其适合深度學習訓練和深度學習推理,而在噪音消除、虛拟背景、人像跟蹤這樣的應用中,正是深度學習大展拳腳的領域,擁有Tensor Core和NVIDIA RTX顯卡可以很好的實現這些功能。

nvidia broadcast有什麼用(想用筆記本随時随地高質量開播)2

如今的NVIDIA RTX GPU已經進化到第二代,采用NVIDIA Ampere架構和全新的8nm制程的GeForce RTX 30系列,多方面的進步使得即使在筆記本電腦上NVIDIA RTX GPU如今也可以提供強勁的性能,本次筆者用來體驗NVIDIA Broadcast的測試環境就是一台GeForce RTX 3060筆記本,規格如下:

nvidia broadcast有什麼用(想用筆記本随時随地高質量開播)3

NVIDIA Broadcast功能體驗噪音消除

nvidia broadcast有什麼用(想用筆記本随時随地高質量開播)4

噪音消除可以說是NVIDIA Broadcast的起點所在,因為在NVIDIA Broadcast之前的Turing顯卡時代NVIDIA推過一款RTX Voice軟件,RTX Voice也是利用AI識别來對音頻進行處理,實現降噪的效果。之所以從音頻方面開始做起,筆者個人覺得應該是相比于視頻而言,音頻的信息量更少,更容易進行計算處理。而随着後面AI計算能力的增強,NVIDIA RTX GPU也可以足夠處理視頻信息了,于是NVIDIA推出了NVIDIA Broadcast,整合了音頻處理功能與視頻處理功能,豐富了輔助直播的多項功能。

NVIDIA Broadcast的噪音消除功能也是随着版本更疊越來越豐富的,在NVIDIA Broadcast 1.1.0.20版本中增加了寵物叫聲的噪音配置文件,可以更加準确的識别出寵物叫聲,而在NVIDIA Broadcast 1.2.0版本中又增加了房間回聲消除功能,可以減少房間的混響效果,使通話更清晰。而現在最新的NVIDIA Broadcast 1.3.0版本中,還增強了對情緒化語音(例如直播恐怖遊戲時驚叫)的支持。

就筆者的體驗來說,NVIDIA Broadcast的各項噪聲消除功能效果是很明顯的,并且你可以自由調整強度來找到适合自己的平衡點,在目前最新的版本中還支持效果疊加,也就說噪音消除和房間回聲消除可以同時應用,而且不管是聲音收錄輸出的麥克風端還是播放聲音的揚聲器端都可以進行這種效果疊加。

背景模糊、背景更換、背景删除

nvidia broadcast有什麼用(想用筆記本随時随地高質量開播)5

未開啟背景模糊

nvidia broadcast有什麼用(想用筆記本随時随地高質量開播)6

最大模糊強度

背景模糊、背景更換、背景删除這三個功能其實實現原理差不多,這裡就放一起說了,這三個功能也是利用顯卡的AI計算,用來識别人物,識别出人物之後,對于背景的處理就很簡單了。背景删除就是将識别出的人物之外的畫面給去除掉,背景模糊則是将識别出的人物之外的畫面進行模糊處理,這樣的好處是能突出主體,類似攝影中的背景虛化,提升畫面美感。

nvidia broadcast有什麼用(想用筆記本随時随地高質量開播)7

背景更換就是将識别出的人物之外的畫面替換成用戶設置的圖片,比如我用一張環境很好的室内圖片就可以模拟自己在這個環境優美的地方直播,而不用管真實所處的環境是否雜亂。

對于背景模糊效果用戶也是可以自定義強度的,強度越大模糊的效果越明顯,并且背景模糊、背景更換、背景删除這三個功能都有性能選項和質量,質量選項會增大投入的AI算力,提升識别的效果,而性能選項則減少AI算力的投入,在用戶打遊戲的時候可以從質量切換到性能模式提高遊戲幀率。

自動聚焦

nvidia broadcast有什麼用(想用筆記本随時随地高質量開播)8

自動聚焦就是人像跟蹤,它是基于自動裁剪和縮放來實現的,也就是說在攝像頭的視野覆蓋區域内,它會首先識别出主播頭部,然後僅顯示出頭部周圍的局部畫面,這樣你移動頭部,但是隻要不超出攝像頭的視野覆蓋範圍,它會重新識别你的頭部位置,然後顯示出新位置下的周圍畫面,這樣畫面中就看起來是攝像頭在跟随頭部在轉動一樣。

nvidia broadcast有什麼用(想用筆記本随時随地高質量開播)9

自動聚焦效果是可以自定義縮放比例的,最小縮放比例的時候畫面幾乎就是攝像頭實際捕獲到的最大畫面,這時的人像跟蹤效果就幾乎沒有了,而最大縮放比例的時候也就是畫面經過了許多裁剪,這樣的情況下人像跟蹤效果是最明顯的,不過用戶也應該根據自己的需要選擇合适的顯示範圍,默認的那個幅度還不錯,可以較多的顯示人物本體,同時具有不錯的人像跟蹤效果。

消除視頻幹擾

消除視頻幹擾就是視頻去噪功能,這也是不久前的1.2.0版本中新加入的功能。對于在光線不足的環境中開啟攝像頭的話,攝像頭輸出的畫面是噪點很多的,而NVIDIA Broadcast可以利用AI技術對噪點進行一定程度的消除,提升畫面質量。

nvidia broadcast有什麼用(想用筆記本随時随地高質量開播)10

與對于音頻的效果一樣,視頻的這幾項效果也可以兩兩疊加使用,即背景模糊、背景更換、背景删除這三個功能中的任何一個可以與自動聚焦或者消除視頻幹擾組合使用,或者将自動聚焦與消除視頻幹擾它們兩個組合使用。

總結

通過軟硬結合,硬件方面的GeForce RTX 30系列GPU與軟件方面的NVIDIA Broadcast形成的化學反應可以讓如今的PC端直播越來越簡單,并且GeForce RTX 30系列GPU在性能方面相比上代的巨大進步讓如今隻需一台當下主流配置的筆記本也可以做到高質量的PC端直播,讓直播變得随時随地觸手可及。

往大的說,NVIDIA Broadcast其實是NVIDIA STUDIO生态環境的一員,盡管如今的GPU還是有分遊戲顯卡産品線與專業顯卡産品線,但是作為GPU領域的領軍者,NVIDIA算是給了遊戲用戶或者說普通用戶很多福利,通過将創作者的資源也免費分享給遊戲顯卡産品線使用,使得其搭載GeForce RTX 30系列筆記本電腦GPU的産品具有相當超值的性價比,購買筆記本的話,還是認準搭載GeForce RTX 30系列筆記本電腦GPU的産品更加合适。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved