整理 | 許愛豔

出品 | AI科技大本營（ID：rgznai100）

【導讀】7 月 3-4 日，由 CSDN 主辦的第三屆 AI 開發者大會（AI ProCon 2020）在線上舉行。本次大會有超萬人報名參與，參與人群覆蓋 60 領域、5000 家企業。其中有來自行業内 70 頂尖企業、開源社區與科研高校的近 100 位行業領袖、技術大咖與研究學者。

他們用更新鮮、更有趣、更年輕的方式，聚焦智能時代 AI 技術的發展曲線以及 AI 與社會各行業結合的最新應用進展，深入解析熱門 AI 技術在行業中的實踐與落地經驗，揭示技術與行業發展面臨的機遇與挑戰。

在 7 月 4 日的知識圖譜與認知智能論壇上來自高校和企業 4 位知識圖譜大咖圍繞知識圖譜的技術進展與在場景中的應用案例為大家帶來了 4 場幹貨滿滿的主題演講。目前，論壇的直播回放已上傳，大家可以收藏反複學習。

以下内容根據「知識圖譜與認知智能」論壇 4 位嘉賓的演講内容，由 AI科技大本營（ID：rgznai100）整理：

嘉賓 1：漆桂林，東南大學教授，AI ProCon 2020 「知識圖譜與認知智能」論壇出品人，議題為《多模态知識圖譜技術進展與應用》

首先，漆教授先帶領大家了解 從 2004 年至今，多模态技術及相關技術的發展曆程。

直到 2013 年 NEIL：Image Knowledge Miner 出現前，無論是語義網還是 ImageNet，嚴格意義上來說都不算多媒體技術領域範疇，大多還處于圖像與文本數據标注階段。在 Image Knowledge Miner 項目中，研究者開始基于自動化抽取、半監督學習等技術抽取圖像實體之間的關系；随後，語義網學者提出 IMGpedia 多模态知識圖譜項目，不過 IMGpedia 沒有對圖像内可能存在的實體間關系進行深入挖掘；基于此，2019 年研究者們進一步提出 Richpedia 多媒體知識圖譜。

雖然，知識圖譜這類符号主義系統（System 2）與深度學習端到端的模型（System 1）兩個系統都是從 Input（Question）到 Goal（Answer）的任務過程，但是兩種系統的處理與推理邏輯卻是完全不同的。如此，在常識性問題、知識性問答等任務中知識圖譜可以彌補深度學習的不足。

那麼，多模态知識圖譜時又可以發揮哪些價值?

在現實場景中，多模态數據是普遍存在的，而多模态知識圖譜可以幫助我們豐富信息，回答更多的問題。

多模态知識圖譜的三大意義：

（1）多模态間是互補的關系

（2）通過跨模态可以獲得更多的信息、細節與答案

（3）不同模态間可以進行消歧

那究竟什麼是多模态知識圖譜？如何定義？與傳統知識圖譜有哪些區别？以及更重要的課題——如何構建多模态知識圖譜？可以怎麼應用？在後半段的分享中，漆教授圍繞三個研究工作中的問題及其解決方法都一一為大家進行了講解。

有了這些方法與解決問題的思路，目前多模态知識圖譜技術的研究與應用還面臨着哪些挑戰？接下來，大家還可以投入到哪些研究問題中？大家可以觀看漆教授完整的演講分享深入了解這些内容，相信可以為你目前的學習與研究帶來啟發。

嘉賓 2：丁效，哈爾濱工業大學助理研究員/碩士生導師，議題為《基于事理圖譜的文本推理技術》

演講開始，丁老師便引導大家開始思考：目前大家對知識圖譜都有一定的了解，那麼我們為什麼需要事理圖譜呢？什麼是事理圖譜呢？與大家熟知事理圖譜又可以如何應用？有哪些典型的應用場景呢？

對事理圖譜有了初步了解後，我們就要跟着丁老師一起進到事理圖譜工作中開始學習了。現在大家都知道了，在事理圖譜中，事件是非常重要的一個概念，我們隻有明确清晰了事件的定義，才能在認知層面掌握事件之間的關系（歸納、因果、上下位、條件關系等），進而組織成為知識，并通過形成的這些認知在現實場景下發揮推理與引導作用。關于剛剛提到的這四種事件之間的關系，大家可以在視頻裡具體學習。

有了事理圖譜，我們可以做哪些文本推理任務？接下來，我們就一起來看丁效老師為大家分享的基于事理圖譜的五大文本推理任務及其關鍵技術。

不同的任務中還存在着不同的問題，針對這些問題目前又有哪些解決方法，在後半段的分享中，大家可以詳細掌握五大任務中的關鍵方法與技術，滿滿幹貨，不容錯過！

2018--2019 年間，丁效老師所在的哈工大 HIT-SCIR 實驗室連續發布了兩版《金融事理圖譜》，在數據規模、事件數、事件關系以及抽取結果上都在不斷豐富與提升。

同時，這些事理圖譜的演示系統大家還可以在線體驗。

除了這些應用，事理圖譜還有哪些潛在應用？大家可以掃碼觀看丁老師的完整演講。

前兩位老師針對多模态知識圖譜和事理圖譜為大家分享了當下知識圖譜的熱門研究問題與關鍵技術應用，接下來是兩位業界的技術大咖為大家帶來的分享，一覽群智的劉老師與文因互聯的鮑捷老師将通過實際業務中的需求和面臨的諸多問題與挑戰，為大家分享将知識圖譜落地場景的實踐之道。

嘉賓 3：一覽群智技術副總裁 劉占亮，議題為《從AI到IA，知識圖譜信息抽取在智能審單業務中的應用實踐》

從大規模通用知識圖譜到行業知識圖譜，領域專業知識與邏輯變得更密集、更複雜深入，因而場景與需求也變得更複雜，知識圖譜面臨着諸多的新挑戰。

以智能審單系統為例，在國際結算、跨境支付與保險理賠等場景中，知識圖譜都是其背後強有力的技術支撐。

構建知識圖譜的數據來源有結構化與非結構化的數據，而在知識圖譜設計與構建的過程中，需要思考的一個重要問題是知識如何表示，在設計好圖譜模式後，在進行知識抽取與映射轉換。

在接下來的分享中，劉老師以智能審單系統包含的三個知識圖譜——基礎知識圖譜、單據知識圖譜與審核規則知識圖譜為例，為大家介紹知識圖譜構建的關鍵問題與實踐經驗。

• 基礎知識圖譜構建流程

• 單據知識圖譜構建流程

單據知識圖譜是智能審單系統中的核心技術，承擔着對單據規範、單據條款、字段的理解能力，在實際業務場景的構建過程中會面臨諸多挑戰。

首先，面臨着不同于其他 OCR 系統的技術挑戰。單據圖譜中的 OCR 技術不僅要識别文字，對識别後的票據還要進行要素抽取（業務分析模塊）；其次，單據要素抽取并不是一項簡單的工作，尤其是對沒有統一模闆制式的票據，在信息抽取模型構建過程中需要結合多種方法來幫助開放式票據的信息抽取；最後，通過 Schema 對抽取後的信息進行歸一化。

• 審核邏輯知識圖譜

下面展現了智能審單系統的完整業務流程，在構建知識圖譜的過程中還有諸多技術問題，大家可以在劉老師的完整演講中學習。

嘉賓 4：鮑捷，文因互聯 CEO，議題為《深數據需要一把柳葉刀--知識圖譜在金融領域實戰》

如題，什麼是深數據呢？這先要從一個大背景說起：感知智能時代與認知智能時代。

大家都知道，傳統感知智能時代有三要素——算法、算力與數據，但它們在認知時代下卻失去了原本的效果。

根本原因是認知時代是強依賴外源知識，有些問題不是有海量數據、算力資源和高精準的模型就可以解決的。所以，我們提出了新的要求——「深數據」這一概念由此而生，而傳統方法在深數據上失去了原本的效能。

那究竟什麼是深數據？其中最典型的案例就是在金融場景中。大部分的金融數據都是隐藏在 PDF 文件中的，目前，在信貸與債券領域中可以用到的數據不僅是結構化的數據，更多的數據是需要閱讀 PDF 文件，理解其内容，進而輔助業務的實踐，這就需要大量的行業或領域的專業知識。而我們需要做的就是通過機器訓練進行部分的替代，識别并掌握各類文檔中的語義信息，根據業務需求構建知識圖譜。

大家不免提出質疑，這些通過大量數據标注進行訓練，或者把 PDF 文件轉換成 word，亦或者通過 ODR 識别不就可以解決了嗎？直播中鮑捷老師告訴大家：并非如此簡單。想象與現實間的差距是不容小觑的。對金融領域知識圖譜的構建來說，其難不在于“大”、“多”，而在于“深”。

而深數據給我們帶來的這些困難，我們可以怎麼辦呢？在接下來的分享中，鮑捷老師結合自己與團隊在金融領域知識圖譜構建與應用的多年經驗，從深度文本分析、深度領域建模與深度場景約束三大解決方法給大家一些實踐之道。

• 深度文本分析：無論是篇章中包含的複雜語義關系，還是表格中變化多樣的陳述方式，對 PDF、Word 這些文檔中需要進行複雜、深度、細粒度的語義分析與理解時，都需要深度文本分析的處理。

• 深度領域建模：想要做好金融文本分析，沒有深度領域的建模也是不行。這一過程中也會有各種問題需要深入解決，如根據業務規則，如何選擇正确的數值；如果隻看表面數據沒有業務邏輯也可能無法正确處理問題。

• 深度場景約束：在深入場景中，我們還會面臨稀疏标注、快速冷啟動、定向優化、可解釋性等問題。

在業務中，出現這些問題了，有哪些解決思路呢？如何能利用當下有限的資源解決盡可能多的問題呢？

問題已經發現了，我們可以有哪些解決方法呢？

首先，要先說明的一個觀點是：我們今天講的内容不是要反對深度學習，而是與之相反，我們要在實際中采取融合多種的方法，如 DeepQA 和 AlphaGo 的解決思路與架構，把一個問題仔細分解成幾百個小問題，對每一個小問題選擇合适的解決方法，再組合到一起。

這也就引出了我們今天分享的主題——深數據需要一把柳葉刀，這把柳葉刀的核心思想。這些要點在具體業務中如何實現，大家可以在鮑捷老師的分享中再深入學習。

鮑捷老師對篇章識别模型（SamartChapter技術）、表格分析（SmartTable技術）、基于 XBRL 規則進行财務數據自動化校驗、稀疏标注（小樣本學習）、快速冷啟動、定向優化等問題的技術解決思路為大家做進一步的分析與講解。

掃碼直接觀看【知識圖譜與認知智能】論壇回放視頻

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!