2021年4月30日 20:00,CVPR 2021 論文分享繼續!美國羅徹斯特大學四年級博士生田亞鵬将帶來精彩報告。
主題:視聽感知學習魯棒性初探
論文:Yapeng Tian, Chenliang Xu. Can audio-visual integration strengthen robustness under multimodal attacks? CVPR, 2021.
分享概要
多種不同感官的協作和信息融合使我們能成功完成對日常場景的感知。例如,當我們和人交談時,來自對話者的嘴唇變化,手勢,表情和語音都可以幫助我們獲取并理解對方的說話内容和情緒。心理和認知領域的研究已經驗證視聽多模态融合保證了人類感知系統的魯棒性。但是,這極度依賴于感知信息的可靠性。當某些感知模态被攻擊時,我們的多模态感知可能會失敗。著名的麥格科效應可以很好的說明這一問題。
而對于計算模型, 我們可以看到最近已經有很多工作通過結合來自視覺和聽覺的信息進行多模态的視頻場景感知和理解,并取得了優于單模态模型的性能。然而,這些視聽感知計算模型在攻擊下是否依然魯棒?或者這些模型會像人類感知系統一樣容易受到不可靠模态的影響?為了回答這些問題,我們利用對抗攻擊和防禦作為工具來對視聽感知學習的魯棒性進行系統研究。本次論文分享,講者将主要介紹關于視聽感知學習在對抗攻擊下的魯棒性的初步探索發現,并會讨論未來的可能研究方向。
分享提綱
1、視聽感知學習簡介
2、視聽對抗攻擊
3、基于視聽相關性的對抗防禦
4、視聽對抗攻擊和防禦實驗驗證
分享人:田亞鵬
個人簡介:田亞鵬,美國羅徹斯特大學四年級博士生,導師 Chenliang Xu。主要研究方向為視聽多模态視頻場景理解和圖像/視頻複原重建, 在CVPR, ECCV, ICCV, TPAMI等國際期刊會議上發表多篇論文, 是CVPR, ECCV, ICCV, ICML, AAAI, NeurIPS, ICLR, IEEE TPAMI, IEEE TCSVT, IEEE TMM等多個知名國際會議期刊的審稿人。
直播地址
,
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!