楊淨 整理自 凹非寺量子位 報道 | 公衆号 QbitAI

AI 工業，會帶來哪些價值？

跟其他領域相比，又有何不同？

在工業視覺領域做産品、解決方案，是一種怎樣的體驗？

工業視覺能為企業解決什麼問題？

在今天已經達到了什麼發展水平？

……

最近，這些問題得到了一一解答。

新晉AI獨角獸創新奇智的工業視覺團隊，以問答的方式，探讨了AI在工業視覺領域落地的現實挑戰，以及分享了應對這些挑戰時的方法和策略。

它在智能制造領域，從事智能質檢、智能分揀、預測性運維、備品備件預測、生産資源分配和生産流程優化，目前已與鴻海科技、徐工信息、中冶賽迪、香港怡東集團等制造業企業達成合作。

可以說，在AI 工業這塊，他們有很多經驗值得分享。

亮點

1、工業視覺是工業自動化的核心領域，包括檢測、識别、測量、定位等關鍵任務。

2、視覺AI感知技術已經成為創造工業價值的重要切入點。

3、AI相關的技術是由“工業制造”到“工業智造”躍升的基礎。

4、工業視覺要解決的是如何“看”清制造場景、如何“感知”、“理解”關鍵信息的問題。

5、成熟的機器視覺産品，一定需要傳統算法和深度學習算法相輔相成。

6、在「工業視覺」領域做産品是一種什麼體驗？“苦其心志、勞其筋骨”

AI給工業帶來什麼價值？

問：以AI為代表的前沿科技在工業制造特别是工業視覺場景中能貢獻哪些核心價值？

創新奇智：工業視覺是工業自動化的核心領域，包括檢測、識别、測量、定位等關鍵任務。擅長解決視覺感知問題的AI技術已成為創造價值的重要切入點。今天，全球制造業面臨巨大的産業升級壓力。

除了頭部少數大型生産企業，大部分制造業生産線面臨需求快速叠代和信息化、自動化、柔性化不足的矛盾：

一方面，快速變化的全球市場呼喚按需生産、按需定制、按需叠代的高效産線；

另一方面，數據采集難、連通難，自動化程度低，自動化工位之間缺少協同，良品率難于定量評估和精确歸因等現實問題，共同構成了制造業效率提升的整體挑戰。

大部分制造業企業需要在較短的建設周期裡，大跨步補齊信息化、自動化、智能化這三塊短闆，實現跨越式發展。

物聯網、大數據、機器視覺、自動規劃與決策、自動控制等前沿科技是此過程中的關鍵技術。其中，AI相關的技術更是由“制造”到“智造”躍升的基礎。

問：具體到工業視覺場景，為什麼工業視覺需要人工智能？

工業視覺要解決的是如何“看”清制造場景與如何“感知”“理解”關鍵信息的問題。

當前，光學成像技術，多傳感器融合技術，感光和光學處理芯片技術大幅進步，使“看得更小、看得更清”成為現實。在此基礎上，AI恰好可以幫助我們“感知更準确、理解更深刻”。

以電子制造行業為例，我國相關生産線上與視覺檢測有關的工位每年人工成本約60億元。

前沿科技的切入，會将視覺檢測這一工序從較粗放、難量化的勞動密集型工位升級為可精準定量、可完整溯源、可智能集成數據的全自動工位，帶來生産效率和産品質量的大幅提升。

在工業視覺領域做産品，是什麼體驗？

問：在工業視覺領域規劃、定義、設計一款産品或解決方案，是一種怎樣的體驗？

挑戰很大。要說體驗麼，“苦其心志、勞其筋骨”吧。

在工業視覺領域，一個産品的正向開發會經曆需求調研、總體方案設計、關鍵技術驗證、子系統方案設計、樣機試制、現場方案驗證、産品發布和市場推廣等環節，每個階段都要産品經理帶領團隊在正确的方向上，投入全部精力去打磨和優化。

上述過程中，産品經理的思路需要在宏觀和微觀之中随時切換：在考慮客戶需求、産品定位時需要宏觀思考；在考慮技術實現時需要聚焦在各個關鍵層級的技術細節；在布局産品線時需要考慮差異化配置對各類客戶的匹配；在現場方案驗證時需要關注具體數據和定制化需求。

但在這個領域做産品經理也是成就感滿滿的：工業視覺類産品，特别是自動化視覺設備是最能夠帶給人成就感的産品。當産品成功交付并在客戶産線穩定運轉時，客戶的肯定就是對産品開發團隊的最好回報。

問：這個領域，有哪些不同于其他領域的産品規律？

首先，需求條目多。

在工業制造領域，客戶最關注的兩個指标是産能和質量。

圍繞這兩個看似矛盾的指标，工業視覺的産品設計可拆解為多項設計指标：

• 産能相關的主要指标包括上下遊交接方式，産品/設備/儀器TT（tack time）時間，産品穩定性（MTBF、MTBR），機種切換時間等。
• 質量相關的主要指标包括檢測/測量準确率，過漏檢，重複性等。
• 由于工業現場的特殊環境（恒溫、恒濕、超淨、安全）需要考慮的主要指标包括産品的ESD，重量，急停，FFU等。

行業内客戶在方案溝通階段，均會給出詳細的規格要求，有時甚至覆蓋幾百到上千條規格定義。

其次，需求來源多。

工業制造領域的産品，有鮮明的企業級（ToB）産品的特征，其決策方、購買方和使用方通常不是同一團隊。

舉個例子，決策方可能是工程技術部或設備制造部，購買方是采購部門，使用方是生産部門。不同階段面向的客戶部門不同，不同部門對産品的訴求也不同。

再次，定制化程度高。

由于不同客戶的産線布局不同，産線線速不同，上下遊制程設備不同，甚至電梯高度不同（決定設備最高的高度），因此交付給每個客戶的産品有較大的定制化。

但相同的工業視覺産品系列，其核心功能應保持穩定。

問：工業視覺技術可抽象為如何“看”、如何“感知/理解”、如何“規劃/決策”、如何“執行”等幾個方面。以“看”為例，相關的成像技術、照明技術等今天達到了何種水平？

從成像芯片維度（更精、更優、更廣、更快）看。

芯片工藝制程水平的提高使得大靶面的CMOS芯片成為主流工業相機芯片，2M→12M→29M→60M→71M→150M的演進使工業檢測能夠觸達微米級精度，高滿井容量、高動态範圍、低噪聲的特性大幅提高了工業相機的成像質量；

高精度的鍍膜工藝實現了像素級的鍍膜，基于上述技術的偏振相機、高光譜相機能夠在工業檢測場景獲取待檢測産品更多維度的信息；

TDI技術能大幅降低曝光時間，提高相機的掃描頻率，配合高速圖像采集卡，将視覺檢測搭載在高線速的自動化産線。

從照明光源維度看。

十年前機器視覺行業的光源産品基本被日本企業壟斷。今天，國内機器視覺光源廠家迅速崛起，光源産品的種類和質量不斷提升。

目前常見的LED光源（條形光、環形光、同軸光、穹頂光、背光源）及光源控制器已廣泛應用在各種視覺系統，國内供應商也積極配合各類需求和場景的打光驗證和光源方案。

同時，國内各光源供應商積極推進自主光源甚至視覺系統的研發，例如多角度線光源、線掃分時曝光系統、視覺一體化控制器等。此外，投影結構光、激光線光源也在多項3D輪廓或缺陷檢測場景得到應用。

從成像方案維度。

目前的工業視覺産品和設備成像方案多樣，面陣方案（靜止或飛拍檢測）、線陣方案、線激光掃描、編碼結構光、白光共聚焦等多種方案已經得到成熟應用，而複雜的多工位檢測設備常常集成上述多種方案，實現更高成像率的覆蓋和3D輪廓測量。

計算成像、高光譜成像、光場相機等新技術會進一步集成在工業視覺方案中。

光學技術如何應用到工業場景中？

問：“光”和“光學”是如何影響着具體項目的技術實現的？想在産品中用好光學技術，在設計上要着重思考哪些問題？

作為光學工程師，“Garbage in, garbage out（垃圾圖像進，垃圾結果出）”是基本理念，光學系統對工業視覺項目的影響也可見一斑。

總體方案層面：複雜的工業視覺設備基本都會集成多種成像方案，因此也會有多工位的設計，隻有光學方案确定，才能夠确定設備的工位分布、設備布局。

光學系統對産品的結構和自動化設計有約束：受需求驅動，工業視覺産品的分辨率高，同時還要考慮設備的可調試、可維護等DFX需求，視覺系統通常需要預留調節機制。

合格的光學工程師會在設計光學方案的同時輸出視覺方案對機台抖動、定位重複性、視覺機構調節自由度、各自由度調節範圍、載台平面度等指标約束，隻有這些指标明确，才能夠讓下遊設計不返工、調試變輕松。

光學系統對算法性能有指标約束：在工業檢測場景中，工業視覺檢測裝備的核心指标為缺陷檢出率和檢測準确率等。例如，客戶要求90%的缺陷檢出率，一般可拆解為x%的缺陷成像率乘以y%的在成像中的缺陷檢出率。兩項指标的乘積約為90%，則單項指标還需要高不少。光學工程師在進行成像驗證時需要和算法工程師緊密溝通，确認缺陷成像是否滿足算法檢出的需求，以保證缺陷檢出率為最終目标。

總體上，我們認為，工業視覺的産品研發和設計一定要光學先行。視覺工程師除了設計光學方案之外，還需要投大量精力在先進的成像方式預研、先進産品預研等課題上。

例如，在LCD時代預研OLED産品和制程，在OLED時代預研QLED和Micro LED，這樣在上遊産品和制程不斷更叠的過程中，知識積累才不會落伍。簡單說，視覺工程師應和自動化工程師一樣——甚至需要更加——了解制程和工藝。

感知層面又是如何實現的？

問：在“感知”層面，工業視覺軟硬件組件到底需要對工位場景感知到什麼程度才能滿足業務需求？

感知有多重含義。

• 在檢測場景，視覺産品實現缺陷的準确檢測，又快又好地替代人工；
• 在對位場景，視覺産品識别待抓取/組裝/壓接等操作的物體并精确反饋物體位置；
• 在測量場景，視覺産品對制程重點關注的幾何量進行測量，反饋準确的測量結果。

上述場景都需要視覺算法的合理選取、設計和配置。

對檢測場景，感知的基礎需要建立在客戶的人工檢測基準上。對于膜材、卷料、玻璃等各類待檢測産品和工藝，隻要存在人工檢測工位，就會有具體、詳細的人工檢測基準。通過各類算法/模型将圖像上的“疑似異常”檢出是第一步（特征檢測、對象檢測）。之後，如何讀懂客戶的人工判定邏輯并設計相應的算法邏輯更為重要。例如，常見的人工判定基準會規定缺陷的長、寬、面積、點群距離、深度等，我們的算法邏輯也需要以此為依據進行設計。

對于測量場景，常見方式包括2D和3D測量。此類場景首先需要确認客戶要求的檢測精度，據此拆解出視覺系統的分辨率和測量算法精度等關鍵指标。曾經有客戶将二次元（投影影像測量儀）設備作為測量的基準設備，一切測量設備如通過驗收，均需要和二次元設備的測量結果進行對比——在這種情況下，就算某個設備的測量結果已達到其測量原理的極限，但如果和基準設備無法吻合，也無法順利交貨。

對位場景在組裝、抓取、貼裝、打孔等工藝較為常見。這同樣需要首先确認客戶要求的對位精度。電子制造行業要求的定位精度已達到微米級。對位視覺組件的标定、特征識别、坐标計算等各環節均要求亞像素級别的精度，有的場景還需要多次對位才能保證精度。

問：一個好的工業視覺産品或解決方案該如何選擇、組合使用不同的感知技術？

綜合能力是關鍵。制造業客戶更傾向于将整條産線或整條産線中的視覺産品指定給一家方案供應商/設備制造商去集成。這種背景下，如果想要拿到更優質的訂單，就必須在專攻一種視覺産品的基礎上，同時擁有其餘視覺産品或方案的掌控/設計/開發能力。對于好的工業視覺産品或解決方案，一定要具備完整的各類視覺場景的解決能力，以2D/3D測量、特征檢測等傳統算法為基礎，并依靠基于深度學習的檢測、分類、分割在某些複雜的場景打出差異化。

AI技術與傳統工業之間的碰撞

問：和傳統計算機圖形學、傳統計算機視覺技術相比，以深度學習為代表的新一代AI技術有何特長？深度學習技術與傳統技術之間，在解決工業視覺問題上是一種什麼樣的關系？

舉個例子，在某些外觀缺陷檢測的項目中，前期隻使用傳統算法，在保證缺陷檢出率的前提下，過檢率較高，客戶的人工複判工作量較大，并沒有為客戶減少太多人力。

在對過檢圖像進行分析後發現，過檢主要由髒污、灰塵等引起，而這些過檢源依靠傳統算法很難與真實缺陷進行區分。通過引入深度學習算法，驗證了基于深度學習分類的過檢抑制效果，通過幾輪模型優化（現場過檢圖像返回→模型訓練并更新模型→現場驗證并繼續反饋過檢圖像）後，過檢率大幅降低，客戶十分滿意。

另一個例子，手機整機的外觀檢測一直是電子制造領域難度很大的方向。2017年前鮮有廠商敢于嘗試。2017年後，随着視覺器件硬件方案（頻閃、飛拍、6軸機器人）的多樣化，市場上逐漸有廠商開始嘗試。由于手機功能模塊多（攝像頭、聽筒、揚聲器、按鍵、充電孔）、形态多樣（玻璃、金屬、鏡面、磨砂面、倒角、弧面）、缺陷類型多樣（所有外觀缺陷的集大成場景），導緻成像情況複雜，難以用傳統的基于特征檢測的算法完成所有缺陷覆蓋。

基于深度學習的算法在最近幾年的試用中獲得很不錯的反饋。相信在不久的将來，一定會有一款成熟産品能越過整機外觀檢測極高的技術門檻。

這說明，成熟可用性能可靠的機器視覺産品，一定需要傳統算法和深度學習算法的相輔相成。例如，面闆行業的平均節拍時間可短至2.5s。

在高線速要求下，單枚産品（按100Mb數據量）的算法檢測時間需控制在1.5s以内。

這時，傳統算法通常較深度學習算法有速度優勢。

另一方面，對傳統算法較難實現的分類以及複雜場景，深度學習算法更容易大顯身手。

問：在“規劃/決策”和“執行”層面，好的工業視覺組件應如何與工業制造的整體自動化系統交互？有哪些較難解決的産品和解決方案設計問題？

“規劃/決策”層面與“執行”層面的交互，可直觀理解為視覺系統與整機自動化系統的交互和握手，或者上位機軟件與下位機闆卡/PLC的交互和握手。從功能劃分維度講，視覺系統理論上隻負責視覺相關的動作，PLC對機台所有的運動軸、電磁閥、傳感器進行控制。

因此，在控制層面，相機/采集卡的初始化、光源的亮滅、光源亮度的調節、圖像的存儲和檢測完全由視覺系統控制，産品的搬運/交接、各個軸的運動、氣路的通斷、氣壓/溫度/安全光栅/掃碼/急停複位啟動按鈕的控制完全由PLC控制。

在交互層面，圖像采集和檢測結果反饋需要上下位機的通訊交互。當PLC拿到掃碼設備回傳的産品ID後，會将該ID發送給上位機執行圖像的命名和存儲；當産品運動到預設的采圖位置時，PLC會通知上位機可以采圖并且等待上位機的采集完畢信号，之後再執行後續流程；在上位機完成圖像檢測後，會将該枚産品的OK/NG結果反饋給PLC，便于實現産品的分級和下料。

當設備中的視覺工位數量較多時，上下位機之間的交互包含各視覺工位上位機間的通訊以及各視覺工位與PLC的通訊交互，由于各視覺工位動作流程并行，且各工位的産品并不一緻（同一時刻設備中可能存在多枚産品），因此交互方案會變得非常複雜。

創新奇智怎麼做？

問：創新奇智承接了很多工業視覺的典型項目。在這些項目中，你認為技術上最大的挑戰是什麼？

創新奇智在工業視覺項目中既提供核心軟件和算法，也同時集成自研或外購的機台與設備。這個過程中，最大的挑戰是機器視覺為主的軟件算法團隊，與光機電為主的自動化團隊之間如何默契配合。

例如，高精度的AOI自動光學檢測需要完備的光學方案，需要穩定防震的機台，需要高重複定位精度的運動機構，需要上下遊精确聯動匹配産線節拍。軟硬件必須協同一緻，才能達到最優效果。

另一個技術挑戰是快速應對待檢測/測量産品的上新。

工業行業産品種類多樣，産品叠代速度快。

以電子制造行業為例，機種的切換需要調節産品載台、調節搬運機構真空吸嘴位置、調節相機工作距離/鏡頭對焦/光源位置、調節采圖位置、調節探針下壓位置、切換軟件模闆、調節檢測參數、優化算法模型、調節放料位置等幾十項操作。每次切換，機器視覺模型以及整體方案中的定制部分都必須快速适應新場景。

問：創新奇智的ManuVision工業視覺平台将“感知/理解”“規劃/決策”“執行”等工序串聯到一個完整的技術平台上，大幅降低了工業視覺解決方案的開發和實施難度。從産品角度說，ManuVision平台可以為工業視覺場景貢獻哪些價值？

ManuVision平台的設計理念在于讓工業視覺的産品開發更快，讓工業視覺的項目交付更輕。ManuVision平台包含Designer、Runtime和Trainer三大關鍵功能模塊。

Runtime模塊為設備業務執行模塊，通過該模塊的界面可實時觀察設備産能、各工位圖像、檢測結果、異常信息、操作日志等；當設備切換對應産品時，可通過Runtime模塊切換相應的業務流程和深度學習模型。

Designer模塊為檢測方案及業務流程配置模塊。Designer模塊将工業視覺流程中的核心操作封裝為功能塊，通過對功能塊的直觀添加和連接，交付團隊和客戶的産線設備工程師可快速搭建完整的業務流程。

Trainer模塊預置預訓練模型。産線設備工程師、QC和操作員無需任何算法基礎，隻需利用标注工具完成缺陷标注，便可由Trainer模塊自動完成預置模型的優化及測試，模型可在runtime界面一鍵部署。

總體上，ManuVision工業視覺平台将我們對工業視覺技術與産品的整體思考整合在一個統一的軟件框架内，是工業視覺類場景實現“制造”到“智造”升級的高效工具。

— 完 —

量子位 QbitAI · 頭條号簽約

關注我們，第一時間獲知前沿科技動态

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部