芯東西（公衆号：aichip001）

作者 | 雲鵬

編輯 | 心緣

芯東西9月6日消息，vivo今天在一場影像技術分享會上正式介紹了自家的自研ISP芯片V1，并分享了vivo與蔡司聯手在手機光學鏡頭、拍照算法技術方面的新突破。

vivo影像産品經理王兆豐說，夜景、變焦、運動防抖、視頻等特性是vivo影像系統發力的重點方向。在手機拍照領域，“如今算法更重要還是硬件更重要？”是vivo此次抛出的核心問題。

在發布會結尾，vivo也預熱稱，9月9日他們的vivo X70系列旗艦手機将會發布，除了這次展示的新技術，vivo還會帶來更多拍照技術方面的“驚喜”。

一、“等效32MB緩存”幹翻台式CPU，将算法寫到芯片裡

vivo影像算法總監杜元甲說，消費者現在不光需要手機在常規場景下拍出好照片，也希望在一些高挑戰性場景中拍出好照片，比如暗光、運動場景。

這些需求都對手機處理圖像信息的能力提出了更高的要求。如今拍攝一段30幀視頻，每幀圖像允許處理器進行運算的時間僅有33毫秒。

除此之外，功耗也成了一大挑戰：既要提升處理能力，又不能過多增加功耗。為了解決這個問題，vivo的思路是定制化芯片 自研算法結合。

其實此前vivo在引入定制芯片方面已經積累了一定經驗：在vivo X1、X Play中，vivo就将定制Hi-Fi芯片放入手機，提升手機音頻體驗。到2017年，vivo将定制的DSP圖像芯片放入到X9 Plus中，提升手機影像HDR表現。

此次，vivo組建了超過300人的研發團隊，經過24個月研發，最終推出了V1 ISP芯片。杜元甲說，在這枚芯片的研發中，vivo也與手機SoC廠商進行了深度合作，但他并未透露具體廠商名稱。

2019年，vivo曾與三星聯合研發了Exynos 980 5G SoC，據稱今年vivo也将在X70系列旗艦中使用三星Exynos 1080 SoC，可見vivo和三星一直以來都保持着良好的合作關系。

因此我們推測此次vivo ISP芯片的合作廠商，大概率是三星。

V1是vivo自研的第一顆影像芯片，可以搭配不同的主芯片和屏幕，可以擴充ISP算力、釋放主芯片ISP負載。

這枚V1芯片在特定圖像處理任務時，在性能、延遲、功耗等方面具有優勢，杜元甲說，相比CPU、DSP等芯片，V1處理特定任務的效率有“指數級提升”，也可以完成數據的并行處理。

vivo優化了數據在芯片内部的儲存架構和高速讀寫電路，實現了等效32MB的“片上高速緩存”，讀寫速度可以達到35.84Gbps，而目前主流旗艦級台式機CPU的高速緩存也僅有16MB左右。

那麼V1這樣的優化有怎樣的效果呢，在夜景拍攝中，去噪、插幀等這類對算力需求較大的算法都可以應用進來。在V1輔助下，主芯片可以實現1080P 60幀的夜景視頻降噪、插幀。

在V1的加持下，主芯片可以在低光錄像時，以低功耗運行4K 30FPS的MEMC去噪和插幀，這輔助并強化了主芯片在夜景下的影像效果，配合主芯片ISP原有的降噪功能，實現二次提亮二次降噪。

值得一提的是，vivo通過将軟件算法轉移至V1的專用硬件電路中，讓複雜的計算成像功能在默認拍照和錄像預覽下即可開啟。

在高速處理同等計算成像算法時，相比軟件實現的方式，V1的專用算法硬件電路功耗降低了50%。

這也就是vivo所說的“硬件級算法”。

二、蔡司鏡片加持，良品率不到60%也要死磕

vivo光學器件總監朱盼盼說，去年vivo與蔡司達成了合作，從鏡片、鏡頭到濾光片，vivo都聯合蔡司進行了創新。

他提到，眩光、鬼影、邊緣畫質差等問題仍然是如今手機拍照的普遍痛點，而這些問題的解決都需要光學器件性能的提升。

vivo通過使用高規格玻璃鏡片補足了傳統塑膠鏡片的缺點，朱盼盼特别提到了“阿貝數”這一性能指标，vivo的玻璃鏡片阿貝數達到了Vd 81.6，相比上代設計視場色差降低約70%。

得益于新型玻璃鏡片的使用，鏡片中心的透光率達到了95%，相比傳統鏡片提升了2%。

當然，使用玻璃鏡片面臨許多挑戰，比如工藝複雜、良率低，據稱這次vivo的玻璃鏡片工藝步驟有11道，每100片中才能挑選出60片良品。同時，vivo通過AOA工藝，實現了鏡片的動态調整。

為了解決眩光、鬼影等問題，vivo采用了SWC鍍膜技術，将鏡片表面反射率降低至0.1%，而此前這一數值為0.8%，降低了90%。其核心是在鏡片表面上做出“納米級紋路”。

另外，vivo通過ALD鍍膜工藝，讓鏡片上形成0.4nm均勻分布的光學膜層，從而使反射率均勻值到達0.25%左右。朱盼盼特别提到，這些工藝已到達成熟量産階段。

為了解決“花瓣鬼影”問題，vivo通過色素旋塗技術，更好地實現了蔡司T*鍍膜，可以提升紅光的吸收率，從而改善眩光和鬼影問題。

去年vivo和蔡司成立了聯合影像實驗室，朱盼盼說，蔡司的團隊給了他們非常大的幫助。

三、聯手蔡司定義新色彩标準，深度神經網絡賦能拍照算法

王兆豐繼續介紹了vivo在拍照軟件算法層面的突破，vivo通過三年10款機型的打磨，形成了自己一套成像色彩風格。

不過專業的創作者，更偏向于還原人眼看到的真實色彩，為此，vivo與蔡司聯手打造了“蔡司自然色彩”色彩标準。

vivo在P3色域基礎上，選擇了140色卡指定色彩标準，與蔡司共同制定色彩标準，為了适應更加精細的色彩标準，vivo在粗調試中增加了色彩映射矩陣算法，将調試參數增加到384個。

通過這些調試，vivo将照片色相準确度提升了約15.5%。

另外vivo選擇“複刻”蔡司Biotar鏡頭提升人像拍攝的效果，但是複刻需要解決不少難題，比如Z方向景深的模拟、XY方向像場的變化、還原鏡頭光斑。

在這其中，vivo通過深度卷積網絡，學習了28W張人像分割照片、10W張手勢分割圖片；另外vivo建立了虛化模型，實現3D-POP虛化效果。

在還原鏡頭光斑形狀方面，vivo通過散焦濾波核生成技術，對不同鏡頭的光斑進行更真實的模拟。

除了這些算法之外，vivo在人像拍攝、延時攝影、10bit Log視頻拍攝、超級夜景等方面也進行了優化。

vivoRAWHDR3.0算法，提升了夜景拍攝樣張的色彩表現，通過SuperRAW功能，實現了14bit色深，最大支持10幀合成。

結語：手機拍照領域，硬件軟件結合加深

在自研ISP芯片V1、定制光學鏡片、提升鏡片加工工藝的同時，vivo也在算法上繼續打磨，聯合蔡司進行調教。

可以看到，算法的實現需要出色硬件的輔助，随着如今圖像數據量增加，圖像畫質要求提升，算法對于硬件性能要求也“水漲船高”，自研ISP芯片無疑成為了廠商們找到了一個新的突破口。

小米、vivo紛紛推出自研ISP芯片，OPPO的自研ISP芯片也正在路上，如今在手機拍照領域，硬件 軟件“兩條腿走路”已經成為了大趨勢。未來我們也期待廠商們能在芯片層創新上帶來更多突破。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!