tft每日頭條

 > 科技

 > 相機和手機芯片有關系嗎

相機和手機芯片有關系嗎

科技 更新时间:2024-12-02 17:40:26

相機和手機芯片有關系嗎(不上芯)1

題圖|視覺中國

2022年的手機市場,是在一些吐槽中開始的。除了更強也更熱的處理器外,另一個常常被提起的現象,是今年第一批旗艦手機的影像配置,看起來像是在原地踏步——鮮少有升級傳感器的機型,還有些手機的超廣角相機改用了更小的CMOS,這可不太高級。

影像,是過去十年手機市場競争中最關鍵的賽場之一,曾經激烈的“内卷”讓手機的拍攝能力飛速提升,今天的市場格局也要仰賴各家品牌曾經在影像上投入的心血。今天影像硬件的突然減速,是廠商集體躺平、将市場拱手讓人了嗎?

常識告訴我們,不太可能是這樣。确實有一些現象表明,傳感器到了發展的平台期:

今天的底片尺寸,已經觸達了消費者對機身厚度、重量的極限。

超高像素的市場價值有限。

新架構的傳感器,潛能還沒有被完全發揮。

比如,近年來面對夜景需求,為了采集更多光信号,業界開始用RGBW排列替代原本的RGGB拜爾陣列。今天(2月24日)發布的OPPO Find X5,主攝與超廣角都采用的IMX766傳感器,就是一年多前由OPPO首發推出的RGBW傳感器,也被用在最新一代的華為P50 Pro上。由于排列發生變化,傳統的計算流程并不能發揮它超高寬容度的特性,系統适配、挖掘潛力,成了某種事實上的升級操作。

在市場與技術的共同作用下,消費者喜聞樂見的傳感器叠代的确慢下來了,但手機影像絕不僅僅是一塊CMOS。

工程上的創新也很重要,比如防抖或鏡頭結構。蘋果手機前年加入的傳感器位移防抖,而今天OPPO Find X5系列率先實現鏡頭 傳感器雙重懸浮防抖,支持五軸運動補償、±3°防抖與±0.7°旋轉防抖,最終實現0.5秒安全快門。

相機和手機芯片有關系嗎(不上芯)2

圖源:OPPO 官方微博

更重要的影像突破,則在算法和算力。典型案例還得看蘋果:多年不變的1200萬像素,而傳感器面積也曾在1/2.55英寸上停留超過三年,但算法與算力的提升,成了提升影像質量的答案。

實際上,随着光學的部分越來越接近物理極限,算法的工作,就成了這個階段的真正賽點。

問題和答案都在那裡

得益于社交網絡的發展,我們都越來越清楚什麼樣的照片、視頻是吸引人的。很多人喜歡昏暗的酒館裡的氛圍感,或者将夜景拍得恰到好處的自然影像。

當然了,今天的手機大概多少都能應付靜态的拍攝,它背後有一系列算法的支持——最初我們用多幀合成的方式去變相增加曝光時間,但今天的算法遠不止于此,從按下快門時刻的自動對焦、自動測光與自動白平衡(統稱為3A算法),到基于深度學習、逐年叠代的HDR,再到降噪和後期處理等等。

拍攝的場景越來越多,我們需要的算法種類也更多了。谷歌手機似乎從來不以硬件見長,但論算法可謂絕活,從單鏡頭拍長焦拍虛化,到用人工智能去除運動物體的模糊,都在算法的覆蓋範圍裡。

今天的算法當然還有顯著的提升空間。比如說,今天影像算法,往往都是處理已經被壓縮過的數據,而不是傳感器采集的原始數據,它計算的底子根本就是有損的;而另一個顯而易見的,是安卓在超高清夜景視頻方案上的無力,處理一張夜景照片需要幾秒鐘,但夜景視頻需要每秒處理三十張以上照片,想要計算攝影拍下更好看的視頻,就必然要損失分辨率,4K超高清與優化算法不可兼得。

這些問題為什麼沒有得到解決?就像攝像頭會遇上物理規律的瓶頸,算法也會遇到算法的瓶頸,那就是算力。

問題的答案在芯片。廠商們每年都在優化的影像算法,優化的終點就是自研芯片——在硬件不怎麼升級的幾年裡,蘋果用算法優化保持着影像水平的提升,而蘋果處理器新增了Bionic(仿生)的後綴,它代表神經網絡引擎,是承載逐年強大的計算攝影的關鍵。今年谷歌手機的“Tensor”SoC也是最新的自研成果,在這些芯片裡,既有傳統的中央處理器,也有計算攝影必須的人工智能核心和圖像處理核心(ISP)。

為了搞攝影,單獨給這兩個功能做一個“外挂”芯片行不行?當然可以,最早将手機影像作為突破口的OPPO,就打造了這樣一顆芯片,馬裡亞納 MariSilicon X。根據OPPO工程師的計算,如果要想實現像素級的圖像處理,需要10-50Tops的算力,于是馬裡亞納 MariSilicon X集成的自研神經網絡核心MariNeuro,最終的算力被定在了18Tops。

相機和手機芯片有關系嗎(不上芯)3

馬裡亞納® MariSilicon X

這個數字很大嗎?

看你怎麼比。今天一輛特斯拉汽車裝着兩顆人工智能芯片,總算力是144Tops,看起來是高了不少,但手機的尺寸不比汽車,在手機裡,18Tops已經是超越蘋果A15的總算力(15.8Tops)的強大算力。

手機算力不好做,因為手機并沒有那麼多的電力和散熱能力去揮霍,一味地拉高芯片頻率來刷數據沒有實用價值。實際上,馬裡亞納 MariSilicon X一共隻有1.8W功率,遠小于一顆手機SoC大約6-10W的功率上限,論單位功耗産生的算力,馬裡亞納 MariSilicon X數倍于傳統的計算架構,它一方面得益于“專芯專用”架構的高效,另一方面則是OPPO工程師設定功耗目标後,才決定用6nm先進制程去開發這顆全新的芯片。

OPPO做了這樣一個測試。在OPPO的夜景拍照中有一個效果不錯的算法,被應用在去年Find X3 Pro的夜景拍照場景中,在使用手機核心處理器運算時,隻能每秒拍攝2張照片,并使用1.7W的功耗進行計算;同樣的算法如果用馬裡亞納 MariSilicon X運算,則可以達到每秒處理40幀、總功耗僅為0.8W。

40fps的處理速度,已經足以用來實時處理全像素的視頻,而且功耗還低了一倍。

這隻是馬裡亞納 MariSilicon X的能力之一。得益于全自研的I/O與芯片内建的強大存儲,馬裡亞納 MariSilicon X還實現了對傳感器能力的全部潛力挖掘——直接計算原始數據、獲得更高的寬容度與信噪比、實現更好的HDR效果……在強大算力、自研算法的聯合作用下,安卓影像第一次有能力支持極限視頻規格:4K 20bit RAW AI Ultra HDR

相機和手機芯片有關系嗎(不上芯)4

這其實就是今天手機影像提升的方式。我們抱怨硬件停滞,其實今天的硬件還大有作為;我們以為算法已經足夠強大,但其實還有更多算法在等着為我們的創意服務。

總之,得有芯片。

非要自研不可嗎?

在安卓影像領域,長期面臨着一個難題:傳感器、芯片、算法,這三個至關重要的環節,該怎麼擰到一起?

時間是錯配的,算法随時都在叠代,傳感器基本上逐年更新,而芯片的開發則是一項漫長的工作;它們的功能又是相互綁定的:通用的芯片要适應各種算法、算法要适應各種傳感器,為了實現這些兼容就要損失性能……

曾經,手機的芯片、傳感器、算法都是買來的。但當終端廠商擁有了自己的算法能力、傳感器定制開發能力後,必然需要通過自研來打通這個“不可能三角”。

自研的好處,一方面在于需求明确、能做到更合适的規格,另一方面則在于可以實現深度的定制,做到影像垂直鍊路的定制整合,打破算法、芯片與傳感器之間長期存在的協同問題,比如以最基本的3A算法為例,業界從芯片廠商采購的3A算法,導緻傳感器、芯片與算法的技術發展不同步,但自研算法 自研芯片,還有機會加入定制的光譜傳感器,才能做到更準确的還原。

所以說剩下的,就是一條更難走的道路。

在移動影像越來越接近物理極限的時候,自研芯片就成了提升影像質量、解決原有頑疾的必然之舉。在OPPO Find X5系列中,首次實裝的馬裡亞納 MariSilicon X芯片,也首次實現了極限的影像規格,這成了OPPO Find X5系列的關鍵競争力之一。

相機和手機芯片有關系嗎(不上芯)5

圖源:OPPO 官方微博

消費者期待旗艦手機,也許正是因為這些“第一次”帶來的技術突破——天馬行空的産品創意、業界領先的技術落地,旗艦手機就是試驗場,它代表的是未來的趨勢。這些創新必然源于需求,但想實現它們,仍然是一場冒險。

作為OPPO的正統旗艦,在Find系列“複活”後,我們陸續看到了一項項創新,比如雙軌潛望式升降模組、無痕折疊屏等工程突破,在它們背後,是精密加工與機械設計的貢獻;我們也看到了如全鍊路色彩優化等深入安卓底層的新技術,為整個安卓生态做出貢獻。

旗艦手機的創新,即使有些會止步于産品實驗,但更多将會引領趨勢,并成為行業的标配。

自研影像NPU,就是OPPO最新的冒險。盡管影像算力的重要性已經浮出水面,但想把它造出來、造得好,以及為它匹配自研算法,仍然需要艱難探索。

它的難度,可能遠大于此前OPPO任何一項創新。

馬裡亞納是地球上最深的地方,而根據OPPO透露,馬裡亞納 MariSilicon X從一開始,就把自己逼入了研發的深水區——根據計算,隻有用6nm這樣的先進制程,才能撐得起OPPO對計算量和功耗的要求,而業界并沒有這樣一顆6nm NPU核心IP設計可以借鑒,在流片(芯片的試生産)成功前,沒人知道它的設計是否成功、能否達到模拟出來的性能和功耗控制。

隻能靠自己了。2019年,OPPO創始人、CEO陳明永公開宣布,在未來三年裡要為技術研發投下500億,其中造芯的“馬裡亞納”計劃就是最重要的版圖之一。根據業界的信息,一顆6nm芯片流片,單次試驗費用就要超過1億元人民币,而為了這顆芯片,OPPO已經建立了幾千人規模的芯片團隊,并且是平均年薪過百萬的資深專家。

高投入之外,還有高風險。馬裡亞納 MariSilicon X是一顆DSA架構的芯片,這是一種特殊的ASIC芯片,它最大的特點是“專芯專用”,專門為某些算法服務,好處是空前強大的能效,但也意味着應用端被自我限制——一旦性能不達标,或者沒有看準消費者的需求,無法通過批量生産攤薄設計成本,失敗的專用芯片将付出巨大的成本。

這是一場賭局,也是OPPO建立核心技術、自研芯片萬裡長征的第一步。

今天看來,OPPO已經取得了階段性的勝利:從馬裡亞納 MariSilicon X流片一次成功、實現功耗與性能業界領先,再到完成算法調試,最終搭載在Find X5系列手機上,為消費者提供極緻的影像指标。

在行業探索的初期,馬裡亞納 MariSilicon X所承載的,不僅僅是滿足當下的需求,也能成為影像芯片領域的投石問路——架構、算力指标、軟硬件與傳感器的配合等等,馬裡亞納 MariSilicon的經驗,是行業的寶貴知識。

接下來呢?我們确信,這顆芯片将會出現在更多OPPO的手機上,為更廣泛的消費者賦能;OPPO的芯片之路也不會止步于此,高風險、高回報的賭注背後,是對自己成功率的信心。

自研芯片,非做不可。包括OPPO在内,幾乎每一家中國手機廠商都投身到這個領域,手機産業特别是移動影像領域,下一個十年的發展主幹道就在這裡。

曾經的硬件競賽,在長達十年的周期裡,為消費者創造出一代代出色的産品,但在其中,很多創新要歸功于産業鍊上遊的夥伴;今天,手機廠商們在更深層技術——比如自研影像芯片——投入了遠大于以往的精力和财力,也承擔前所未有的高風險。

這可能是手機廠商們動真格“卷”起來的起點。2022年的手機市場也會因為更多深入的研究,變得不再無聊。OPPO Find X5所搭載的馬裡亞納 MariSilicon X芯片,就是新年以來的第一場好戲。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved