tft每日頭條

 > 科技

 > 自研影像算法

自研影像算法

科技 更新时间:2024-12-26 06:24:58

“吋”即“英寸”的簡寫,一吋正好是一部手機所能承載的最大的感光元件的尺寸,換言之,所有在手機上創作得來的影像都來自于一個對角線2.5厘米的方“吋”之内,不過廠商們對手機影像傾注的努力早已超出了這一方小天地。無論是令人印象深刻的iPhone 4 iSight,還是開高像素先河的4100萬Nokia 808 PureView,亦或是HTC One逆反的400萬大像素UltraPixel,乃至照搬數碼相機設計的Galaxy S4 Zoom、Moto Z10倍光變的哈蘇鏡頭模塊等等,在年複一年的摸索之中,手機廠商幾乎嘗試過所有可能的技術路線,當其中大多産品消逝在市場中後,隻留下了一條清晰可見的路徑。

自研影像算法(手機影像之路方)1

搭載高通骁龍888移動計算平台的一加9系列手機

·上下求索的手機攝影之路

正如上文所述的諸多型号,手機影像并非一開始就專注于計算,甚至在早期也并非智能手機的主要發力方向之一,性能與智能,即芯片與操作系統才當初最受歡迎的賣點,高通、HTC、三星等一衆轉型較早廠商也受益于此。但随着基礎設施的普及夯實——2014年國内4G普及,同年智能手機全球銷量突破10億部——每年新增10億張屏幕亟待圖文視頻等一系列内容去填充消費,需求催生創作,這也在記錄生活之外賦予了手機攝影另一項屬性:創作工具。

自研影像算法(手機影像之路方)2

同時随着手機芯片性能進化步伐放緩,手機市場競争漸入紅海,手機影像也成為了手機廠商們關注的焦點,但究竟如何做好手機影像,彼時并沒有标準答案。其中最“暴力”的解決方案便是三星的Galaxy S4 Zoom,直接照搬了數碼相機的1/2.3英寸傳感器、10倍光變鏡頭、實體拍照鍵、腳架口,你甚至可以将其當做一款搭載了安卓系統的相機,盡管有着不錯的拍照效果,但随之而來的外觀、手感、續航上的短闆注定了它隻是一款實驗性質的産品。雖然此後索尼也曾推出過可分離式鏡頭QX系列,聯想也有Moto Z哈蘇模塊等異曲同工之作,但這些産品的結局都證明了一個市場原則,消費者所能接受的手機影像有一個大前提——産品形态隻能是手機。

自研影像算法(手機影像之路方)3

Moto Z與哈蘇模塊

考慮到手機的尺寸與内部設計,這就相當于限定了廠商們所能發揮的空間隻有手機角落的小小一吋,當然也不是沒有廠商在這一吋裡的硬件上做過文章,4100萬像素的Lumia 1020,全球首款搭載1英寸傳感器松下CM1,都曾試圖通過相機邏輯中“底大一級壓死人”這條金科玉律來改變手機攝影的流向,但被軟件拖累的拍照體驗讓它們的努力付諸東流,很明顯單純的硬件在手機攝影中并不完整。相反,同期DxOMark排行榜往往是iPhone、Galaxy S系列輪流坐莊,而首部Pixel XL也曾憑借單攝力壓iPhone 8 Plus的雙攝拿下榜首。當時手機影像競争尚未有如今這麼激烈,蘋果、三星、谷歌往往更傾向于深耕算法與調教來比拼“内力”,飽受用戶好評的Google Camera也正是誕生于此時。顯而易見,以手機攝影硬件系統為基礎,輔以出色的軟件優化才是手機攝影一條行之有效的路線,現在這個“軟件優化”有了一個更精确的名稱——計算攝影。

自研影像算法(手機影像之路方)4

小米11 Ultra

·手機影像鎖鑰之處:計算攝影

計算攝影,顧名思義,就是經過後期計算處理的影像,可以理解為一張經過PS後期的照片——不過“PS後期”這一步被集成到了拍攝的瞬間。而在這一瞬間負責計算的正是手機處理器中的ISP(Image Signal Processing,圖像信号處理器),一幅影像在通過手機傳感器後到抵達屏幕前包括白平衡、自動曝光、噪聲去除等幾乎所有處理都是ISP的工作。不僅于此,如果ISP不支持,手機可搭載的傳感器規格、拍照功能乃至攝像頭數量都會受限,此前就曾出現過因為處理器ISP不支持雙攝而單獨外挂一顆ISP實現雙攝功能的折中做法。

自研影像算法(手機影像之路方)5

ISP也是一顆手機處理器最重要的組成部分之一,以目前市面上高端影像旗艦應用最廣泛的Spectra 580 ISP(骁龍888)為例,它首次采用了三ISP架構,可以每秒處理27億像素,每秒捕獲120幀且每幀都是1200萬像素的畫面,支持最高三顆2800萬像素攝像頭同時拍攝視頻,且并行處理數據(市面上流行的多攝同錄同拍功能也來源于此),此外Spectra 580還支持最高2億像素攝像頭,10bit HDR拍攝,960幀慢動作,8K視頻,4K HDR視頻拍攝等一些在專業相機領域都尚未普及的功能。盡管不同手機廠商在影像上的側重點并不相同,但在影像功能支持上有一定追求的旗艦産品,在這個檔位很少有比骁龍888的Spectra 580 ISP更好的選擇。

自研影像算法(手機影像之路方)6

至于Spectra 580 所能帶來的計算攝影體驗,舉個HDR相關的例子,目前主流的HDR模式是在短時間内拍攝多張不同曝光的照片,通過多幀HDR算法合成為一張高寬容度成片,但多幀HDR往往會帶來嚴重的僞像問題。為此誕生了全新的單幀逐行HDR圖像傳感器——将輸出單位由幀(一張畫面)細分為更短的行(一張畫面中的一行圖像),每一行同時讀取3種不同曝光的效果,借此在同樣的單幀時間内合成一張原本需要3幀時間合成的HDR影像,不僅加快了HDR合成速度,同時也解決了僞像問題,還可以輸出10bit色深的HDR圖像。但單幀逐行HDR圖像傳感器的3重曝光意味着需要傳統ISP擁的3倍計算量…說到這裡你應該就明白了,Spectra 580頂級的三ISP架構可以順利解決這些問題,而這還僅僅是高通“計算HDR”中的一角而已,此外還有4K HDR、夜景、B門等諸多方面的應用。

自研影像算法(手機影像之路方)7

當然不僅是ISP,在骁龍888處理器内ISP還有一個特殊的助手——高通第六代AI引擎與Hexagon 780協處理器,26 TOPS的算力足以讓它獨立運行多個AI神經網絡,知名手機影像方案商虹軟的ArcSoft Smooth Zoom與Autozoom就是其中一二。通過神經網絡可計算抹除切換不同焦段攝像頭所帶來的抖動與色彩差異;在超廣角和長焦攝像頭之間切換時也支持自動變焦,将拍攝對象保持在畫面之中;此外常見的AI背景虛化也同樣是它的拿手好戲。

自研影像算法(手機影像之路方)8

·計算攝影魅力所在:骁龍888機型實拍樣張

盡管例數了以骁龍888為代表的旗艦芯片在手機影像上諸多特性,但紙面參數終覺淺,更何況是影像這種視審美與喜好而定的感性呈現,這裡遴選了一些由我親手拍攝的骁龍888機型的實機樣張,相信會讓你更直接地對計算攝影有一個明晰的認知。

構圖神器——從廣角到長焦的多焦段支持

焦段即鏡頭焦距的分段,通俗而言就是所能拍攝畫面的遠近,傳統相機的焦段由鏡頭決定,而且往往是連續無損的,很明顯在寸土寸金的手機上還原同樣的設計并不理智,但廠商們還是有辦法帶來近似的體驗——這也是近年來多攝愈發流行的原因之一。通過多顆攝像頭模拟微距、超廣角、廣角、長焦這些常用焦段,彼此間則借由數碼變焦來實現連續平滑的鏡頭切換(這裡正是骁龍888 AI引擎與Smooth Zoom神經網絡功用所在)。 而在多攝方面ISP起到了一錘定音的作用——支持幾顆攝像頭,多少像素傳感器,每顆攝像頭所支持的拍攝功能多寡,均取決于ISP。

自研影像算法(手機影像之路方)9

vivo X60 Pro

先來看幾張vivo X60 Pro 的長焦表現,X60 Pro 搭載了一顆支持5倍光學變焦的潛望長焦,在拍攝構圖時給予了我相當多的自由度,第一張視角是穿過澳氹大橋直達對岸的澳門地标新葡京酒店,5倍長焦不僅可以壓縮距離感将面前的綠植當做前景與酒店放在一幅畫面中增加層次,且通過聚焦減少了對岸其他建築對畫面的多餘幹擾,才能帶來非常純淨的觀感,第二張貴州小鎮的取景也因才獲得了窺視與靜谧之感;這一點對普通用戶随手拍相當實用,比如第三張在北京建國門外大街拍攝的北京廣播電台大樓,畫面是随處可見的藍天大樓,但因為長焦截去了雜亂的車流街面,還留下了有一定秩序與延伸感的路燈輔助構圖,才會讓這張再日常不過的随手拍成為一張“好看”的照片;而在一些無法自由選擇取景位置的場景下,長焦的實用性就更加凸顯,第四張老翁的湖中行舟,我就是在湖邊諸多老法師長槍短炮的夾縫中攝得的。

自研影像算法(手機影像之路方)10

自研影像算法(手機影像之路方)11

自研影像算法(手機影像之路方)12

自研影像算法(手機影像之路方)13

而擁有IMX586傳感器5倍長焦的小米11 Ultra在長焦上的表現也相當出色,這在澳門網紅賽博朋克機位上表現得尤為明顯,5倍長焦對于構圖的幫助無需贅言,無論是波光粼粼的海面、隐藏在洞中的古樓、亦或是水共長天一色的絕景,一人一手機足矣。

自研影像算法(手機影像之路方)14

自研影像算法(手機影像之路方)15

自研影像算法(手機影像之路方)16

自研影像算法(手機影像之路方)17

超廣角同樣是相當實用的一個焦段,特别是出遊留影時再好用不過,它不僅可以解決拍人還是拍景的世紀難題,而且也可以帶來其他焦段難以企及的畫面張力與沖擊力,這在三張由小米11 Ultra拍攝的超廣角樣張中體現得十分明顯。

自研影像算法(手機影像之路方)18

自研影像算法(手機影像之路方)19

自研影像算法(手機影像之路方)20

10bit的10億色彩

10bit的bit一般譯作位深,指代顔色通道中的色彩級數,此前常見的8bit即每通道具有8比特,可為每種基色轉換成256個不同的強度值,以紅綠藍三基色排列組合計,可實現1677萬種顔色(這也是許多面闆宣傳的1600萬色的來源),而10bit将強度值從256提升至1024,簡單計算可知10bit能實現10.7億種色彩,所以盡管8bit與10bit看起來隻差2個數字,但實際上卻是1600萬與10億的距離。

自研影像算法(手機影像之路方)21

而搭載骁龍888的OPPO Find X3 Pro正是一款支持拍攝、編碼、存儲、解碼、顯示的全鍊路10bit色彩影像旗艦,它不僅支持兩個單幀逐行HDR圖像傳感器,更支持基于計算HDR的10bit視頻拍攝與10-bit HEIF格式照片拍攝,如果你正在使用10bit屏幕,應該可以看到OPPO Find X3 Pro這幾張樣張顔色層次十分豐富,不同顔色之間過渡連續沒有斷層,即便是接近黑白照片的麗澤SOHO内部,黑白灰之間的過渡也相當絲滑。

自研影像算法(手機影像之路方)22

自研影像算法(手機影像之路方)23

自研影像算法(手機影像之路方)24

自研影像算法(手機影像之路方)25

自研影像算法(手機影像之路方)26

自研影像算法(手機影像之路方)27

·無限可能的計算攝影

骁龍888 Spectra 580 ISP帶來的不僅僅是多焦段與10億色,它強悍的計算能力也賦予了手機影像諸多可能,其中應用最廣泛的應該就是手機夜景。還是以小米11 Ultra的夜景樣張為例,可以看到在極限暗光環境下,小米11 Ultra做到了高光不過曝同時保留了暗光的豐富細節,而且在沒有強行拉高亮度、塗抹畫面的情況下,保證了相當純淨的背景畫面,噪點控制十分出彩。除了小米11 Ultra本身過硬的硬件基礎,小米還為其匹配了可在0.1勒克斯下出片的“夜枭算法”,通過圖像測光、配準融合、重建、顔色校正等一系列算法,才能得出如此優秀的夜景效果,而承載這些算法的正是同樣優異的骁龍888 Spectra 580 ISP。

自研影像算法(手機影像之路方)28

自研影像算法(手機影像之路方)29

自研影像算法(手機影像之路方)30

計算攝影還帶來了相當豐富的可玩性,vivo X60 Pro 的B門特效絲絹流水就是其中之一,當靜态的水流在長曝光下變成絲絹般的綢緞,原本不起眼的溪水也能成為一番美景;vivo還通過計算攝影還原了經典的BioTar蔡司人像模式。除此之外,計算攝影還能進一步延展出夜景濾鏡、光繪、星軌、星空、車流、魔法換天、時間靜止、人像留色等更多玩法。

自研影像算法(手機影像之路方)31

自研影像算法(手機影像之路方)32

自研影像算法(手機影像之路方)33

自研影像算法(手機影像之路方)34

自研影像算法(手機影像之路方)35

自研影像算法(手機影像之路方)36

計算攝影加持的地景“超級月亮”模式

自研影像算法(手機影像之路方)37

以計算攝影方式實現的蔡司經典 BioTar 人像鏡頭的旋焦景深效果

總的來說,用戶對手機形态的堅持讓廠商必須遵循硬件受限的大前提,計算攝影則賦予手機攝像頭這一吋彈丸之地十足專業的影像表現與諸多的可能性,而計算正是手機芯片的專長。高通骁龍888的Spectra 580不僅有着相當完善的影像功能支持,無論是2億高像素、三攝同拍、4K/8K錄像的影像功能支撐,三ISP、第六代AI引擎也帶來了10bit圖像、單幀逐行HDR、4K HDR等目前頂級的計算攝影能力,這也是今年大部分影像旗艦不約而同選擇骁龍888的原因。

自研影像算法(手機影像之路方)38

其實在我看來,計算攝影的本質,就是平等地給予了普通人一個相當高的創作下限,讓每個人不再受器材與技能所限,可以專注于創作影像,表達自己,這也是攝影最核心的價值所在。

自研影像算法(手機影像之路方)39

自研影像算法(手機影像之路方)40

也正如攝影大師肖全曾說過的那句話:“他們帶給我的,是制造影像的權力。”一顆好“芯”,給予了更多普羅大衆享受影像樂趣的權利,這也是他們制造影像的權力。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved