事件抽取(EE)是信息抽取研究中的一個重要而富有挑戰性的課題。事件作為一種特殊的信息形式，是指在特定時間、特定地點發生的涉及一個或多個參與者的特定事件，通常可以描述為狀态的變化。事件提取任務旨在将此類事件信息從非結構化的純文本中提取為結構化的形式，主要描述現實世界中事件發生的“誰、何時、何地、什麼、為什麼”和“如何”。在應用方面，該任務便于人們檢索事件信息，分析人們的行為，促進信息檢索、智能問答、知識圖譜構建等實際應用。

事件提取可分為兩個層次:基于模式的事件提取和基于開放域的事件提取。在基于模式的事件抽取任務中，事件被認為是特定的人和對象在特定的時間和地點進行交互的客觀事實。基于模式的事件提取是尋找屬于特定事件模式的單詞，即發生的動作或狀态變化，其提取目标包括時間、地點、人、動作等。在開放域事件提取任務中，事件被認為是一組主題的相關描述，可以通過分類或聚類形成。基于開放領域的事件提取是指獲取與特定主題相關的一系列事件，通常由多個事件組成。無論是基于模式還是開放域事件提取任務，事件提取的目的是從大量文本中捕獲我們感興趣的事件類型，并以結構化的形式顯示事件的基本元素。

事件提取具有大量的工作價值，是一種相對成熟的研究分類法。它從文本中發現事件提及，并提取包含事件觸發器和事件參數的事件。事件提及是指包含一個或多個觸發器和參數的句子。事件提取需要識别事件、對事件類型進行分類、識别元素以及判斷元素角色。觸發器識别和觸發器分類可分為事件檢測任務。參數标識和參數角色分類可以定義為一個參數提取任務。觸發器分類是一個多标簽分類]任務，用來對每個事件的類型進行分類。角色分類任務是一種基于單詞對的多類分類任務，确定句子中任意一對觸發器和實體之間的角色關系。因此，事件提取可以依賴于一些NLP任務的結果，如命名實體識别(NER)、語義解析和關系提取。

上圖是事件抽取的流程圖。事件提取是找到焦點事件類型，并用它的角色提取其元素。對于pipeline範例事件提取，有必要區分給定文本的文本中的事件類型，稱為觸發器分類。針對不同的事件類型，設計了不同的事件模式。然後，根據模式提取事件元素，包括元素識别和元素角色分類子任務。在早期階段，論點提取被視為一個詞分類任務，并對文本中的每個詞進行分類。此外，還有序列标記、機器閱讀理解（MRC）和序列到結構生成方法。對于聯合範例事件提取，該模型同時對事件類型和元素角色進行分類，以避免觸發分類子任務帶來的錯誤。

近年來，深度學習方法在很多領域得到了應用，深度學習模型能夠自動有效地提取句子中的重要特征。與傳統的特征提取方法相比，深度學習方法可以自動提取特征。它可以對語義信息進行建模，并在更高的層次上自動組合和匹配觸發特征。這些方法的有效性在自然語言處理中得到了驗證，并取得了許多突破。在事件提取任務中使用深度學習可以使許多研究人員消除特征提取工作。

大多數基于深度學習的事件提取方法通常采用監督學習，這意味着需要高質量的大數據集。依賴人工标注語料庫數據耗時耗力，導緻現有事件語料庫數據規模小、類型少、分布不均勻。事件提取任務可能非常複雜。一個句子中可能有多個事件類型，不同的事件類型将共享一個事件元素。同樣的論點在不同事件中的作用也是不同的。根據抽取範式，基于模式的抽取方法可分為基于流水線（pipeline）的抽取方法和基于聯合的抽取方法。對基于流水線（pipeline）的模型學習事件檢測模型，然後學習元素抽取模型。聯合事件提取方法避免了觸發器識别錯誤對元素提取的影響，但不能充分利用事件觸發器的信息。到目前為止，最好的事件提取方法是基于聯合的事件提取範例。

3.3.1基于流水線（pipeline）的事件信息抽取方法

采用基于流水線（pipeline）的方法，它首先檢測觸發器，并根據觸發器判斷事件類型。元素提取模型根據事件類型和2觸發器的預測結果提取元素并對元素角色進行分類。

基于流水線（pipeline）的方法将所有子任務視為獨立的分類問題（《Zero shot transfer learning for event extraction,》、《Pipelined query processing in coprocessor environments》、《R-node: New pipelined approach for an effective reconfifigurable wireless sensor node》）。流水線（pipeline）方法被廣泛使用，因為它簡化了整個事件提取任務。如圖所示，基于流水線（pipeline）的事件提取方法将事件提取任務轉化為多階段分類問題。所需的分類器包括：

1） 觸發器分類器用于确定術語是否為事件觸發器和事件類型。

2） 元素分類器用于确定單詞是否為事件的元素。

3） 元素角色分類器用于确定元素的類别。

經典的基于深度學習的事件提取模型DMCNN（《Event extraction via dynamic multi-pooling convolutional neural networks》）使用兩個動态多池卷積神經網絡進行觸發分類和元素分類。觸發器分類模型識别觸發器。如果存在觸發器，元素分類模型将用于識别元素及其角色。PLMEE（《Exploring pretrained language models for event extraction and generation》）還使用了兩種模型，分别采用觸發器提取和元素提取。元素提取器使用觸發器提取的結果進行推理。通過引入BERT，它表現良好。

基于流水線（pipeline）的事件提取方法通過之前的子任務為後續子任務提供額外信息，并利用子任務之間的依賴關系。Du等人（《Event extraction by answering (almost) natural questions》）采用問答方法來實現事件提取。首先，該模型通過設計的觸發器問題模闆識别輸入句子中的觸發器。模型的輸入包括輸入句子和問題。然後，它根據已識别的觸發器對事件類型進行分類。觸發器可以為觸發器分類提供額外信息，但錯誤的觸發器識别結果也會影響觸發器分類。最後，該模型識别事件元素，并根據事件類型對應的模式對元素角色進行分類。在論點提取中，該模型利用了上一輪曆史内容的答案。這種方法最顯著的缺陷是錯誤傳播。直觀地說，如果在第一步中觸發器識别出現錯誤，那麼元素識别的準确性就會降低。因此，在使用流水線（pipeline）提取事件時，會出現錯誤級聯和任務拆分問題。流水線（pipeline）事件提取方法可以利用觸發器的信息提取事件元素。然而，這需要高精度的觸發器識别。錯誤的觸發器将嚴重影響元素提取的準确率。因此，流水線（pipeline）事件提取方法将觸發器視為事件的核心。

基于流水線（pipeline）的方法将将事件提取任務轉化為多階段分類問題。基于流水線（pipeline）的事件提取方法首先識别觸發器和元素标識基于觸發器識别的結果。它考慮了觸發因素作為事件的核心。然而，這一階段性戰略将導緻錯誤傳播。觸發器的識别錯誤将被傳遞到元素分類階段将導緻整體性能下降。此外，因為觸發檢測總是在前元素檢測，元素将不被考慮同時檢測觸發器。因此，每個環節都是獨立的缺乏互動，忽視了它們之間的影響。因此，整體依賴關系無法處理。典型的例子是DMCNN。

3.3.2 聯合學習的事件信息抽取方法

為了克服由事件檢測引起的錯誤信息傳播，研究人員提出了一種基于聯合的事件提取範式。它通過結合觸發器識别和元素提取任務來減少錯誤信息的傳播。

事件抽取在自然語言處理中具有重要的實用價值。在使用深度學習對事件提取任務建模之前，研究了事件提取中的聯合學習方法。如下圖所示，該方法在第一階段根據候選觸發器和實體識别觸發器和元素。在第二階段，為了避免事件類型錯誤信息的傳播，同時實現了觸發器分類和元素角色分類。将觸發器“died”分為Die事件類型，元素“Baghdad”分為Place元素角色等。

基于聯合模型的深度學習事件提取方法主要利用深度學習和聯合學習與特征學習進行交互，避免了學習時間過長和複雜的特征工程。Li等人（《Joint event extraction via structured prediction with global features》）在傳統特征提取方法的基礎上，研究了觸發器提取和元素提取任務的聯合學習，并通過結構化感知器模型獲得最優結果。Zhu等人（《Bilingual event extraction: a case study on trigger type determination》）設計了高效的離散特征，包括特征詞中包含的所有信息的局部特征，以及可以連接觸發器和元素信息的全局特征。Nguyen等人（《Joint event extraction via recurrent neural networks》）通過深度學習和聯合學習成功構建了本地特征和全球特征。它使用遞歸神經網絡将事件識别和論點角色分類結合起來。構建的局部特征包括文本序列特征和局部窗口特征。輸入文本由單詞向量、實體向量和事件元素組成。然後将文本轉換為遞歸神經網絡模型，以獲得深度學習的序列特征。本文還提出了一個帶記憶的深度學習模型對其進行建模。它主要針對事件觸發器之間、事件元素之間以及事件觸發器與事件元素之間的全局特性，以同時提高任務的性能。

事件提取涉及實體識别等相關任務，這有助于改進事件提取。Liu等人（《Leveraging framenet to improve automatic event detection》）利用論點的局部特征來輔助角色分類。他們首次采用了實體聯合學習任務，旨在降低任務的複雜性。前面的方法使用标記的特征輸入數據集，并輸出事件。Chen等人（《Automatically labeled data generation for large scale event extraction》）簡化了過程，即純文本輸入和輸出。在過程的中間，它是事件元素的聯合學習。這種聯合學習因素主要提供每個輸入事件中不同事件的關系和實體信息。

上述聯合學習方法可以實現觸發器和元素的聯合建模事件提取。然而，在實際工作過程中，觸發器和元素的提取是連續進行的，而不是同時進行的，這是一個亟待讨論的問題。此外，如果在深度學習中加入端到端模式，特征選擇工作量将顯著減少，這也将在後面讨論。聯合事件提取方法避免了觸發器識别錯誤對事件元素提取的影響，考慮到觸發器和元素同等重要，但不能利用觸發器的信息。

為了克服流水線（pipeline）的方法的缺點，研究人員提出了聯合方法。聯合方法構造了一個聯合學習模型來觸發識别和元素識别，其中觸發和元素可以相互促進提取效果。實驗證明，聯合學習方法的效果優于流水線（pipeline）學習方法。經典案例是JRNN（《Joint event extraction via recurrent neural networks》）。聯合事件提取方法避免了事件元素提取中的觸發器識别，但不能利用觸發器信息。聯合事件提取方法認為事件中的觸發器和元素同等重要。然而，無論是基于流水線（pipeline）的事件提取還是基于聯合的事件提取都無法避免事件類型預測錯誤對元素提取性能的影響。此外，這些方法不能在不同的事件類型之間共享信息，不能獨立地學習每種類型，這不利于僅使用少量标記數據的事件提取。

3.3.3 基于深度學習的事件信息抽取模型

傳統的事件提取方法對深度特征的學習具有挑戰性，使得依賴于複雜語義關系的事件提取任務難以改進。最新的事件提取工作基于深度學習體系結構，如卷積神經網絡（CNN）、循環神經網絡（RNN）、圖形神經網絡（GNN）、Transformers或其他網絡。深度學習方法可以捕獲複雜的語義關系，顯著改善多事件提取數據集。下面會介紹了幾種典型的事件提取模型。

3.3.3.1基于CNN的模型

事件提取是信息提取中一個特别具有挑戰性的問題。傳統的事件提取方法主要依賴于設計良好的特征和複雜的NLP工具，這會消耗大量人力資源成本，并導緻數據稀疏和錯誤傳播等問題。為了在不使用複雜的自然語言處理工具的情況下自動提取詞彙和句子級特征，Chen等人引入了一種稱為DMCNN的單詞表示模型。它捕捉單詞有意義的語義規則，并采用基于CNN的框架來捕捉句子層面的線索。然而，CNN隻能捕獲句子中的基本信息，它使用動态多池層來存儲基于事件觸發器和元素的更關鍵的信息。事件提取是由具有自動學習特征的動态多池卷積神經網絡實現的兩階段多類分類。第一階段是觸發器分類。DMCNN對句子中的每個單詞進行分類，以确定觸發因素。對于具有觸發器的句子，此階段應用類似的DMCNN為觸發器分配元素，并對齊元素的角色。圖6描述了元素分類的體系結構。詞彙級特征表示和句子級特征提取用于捕捉詞彙線索和學習句子的組成語義特征。

CNN歸納出句子中k-gram的基本結構。因此，一些研究人員還研究了基于卷積神經網絡的事件提取技術。Nguyen等人[114]使用CNN來研究事件檢測任務，與傳統的基于特征的方法相比，它克服了複雜的特征工程和錯誤傳播限制。但它廣泛依賴其他受監督的模塊和手動資源來獲取特征。在跨域泛化性能方面，它明顯優于基于特征的方法。此外，為了考慮非連續的K-G，Nguyen等人（111）引入了不連續的CNN。CNN模型通過具有豐富局部和全局特征的結構化預測應用于基于流水線（pipeline）和基于聯合的範式，以自動學習隐藏的特征表示。與基于流水線（pipeline）的方法相比，基于聯合的範式可以緩解錯誤傳播問題，并利用事件觸發器和元素角色之間的相互依賴性。

3.3.3.2基于RNN的模型

除了基于CNN的事件提取方法外，還對RNN進行了一些研究。RNN用于建模序列信息，以提取事件中的元素，如圖7所示。JRNN提出了一種雙向RNN，用于基于聯合的範例中的事件提取。它有一個編碼階段和預測階段。在編碼階段，它使用RNN來總結上下文信息。此外，它還預測了預測階段的觸發和論證。

以前的方法嚴重依賴于特定語言的知識和現有的NLP工具。一種更具前景的從數據中自動學習有用特征的方法。Feng等人（《A language independent neural network for event detection》）開發了一種混合神經網絡，用于捕捉特定序列和信息片段的上下文，并将其用于訓練多語言事件檢測器。該模型使用雙向LSTM獲取需要識别的文檔序列信息。然後利用卷積神經網絡獲取文檔中的短語塊信息，将這兩種信息結合起來，最終識别出觸發點。該方法可以使用多種語言（英語、漢語和西班牙語）進行穩健、高效和準确的檢測。在跨語言泛化性能方面，複合模型優于傳統的基于特征的方法。深度學習中的樹結構和序列結構比序列結構具有更好的性能。為了避免過度依賴詞彙和句法特征，依賴橋遞歸神經網絡（DBRNN）（《Jointly extracting event triggers and arguments by dependency-bridge RNN and tensor based argument interaction》）基于雙向RNN進行事件提取。DBRNN依靠銜接語法相關單詞來增強。DBRNN是一個基于RNN的框架，它利用依賴關系圖信息提取事件觸發器和元素角色。

3.3.3.3基于注意力的模型

深度學習模型對事件特征的自動提取和外部資源對事件特征的增強主要集中在事件觸發器的信息上，而對事件元素和詞間相關性的信息關注較少。句子級順序建模在捕獲很長範圍的依賴關系時效率很低。此外，基于RNN和基于CNN的模型不能完全模拟事件之間的關聯。注意機制中結構信息的建模逐漸引起了研究者的關注。随着研究方法的不斷提出，增加注意機制的模型逐漸出現，如圖所示。注意機制的特點決定了它可以在不考慮位置信息的情況下，利用全局信息對局部環境進行建模。在更新詞語的語義表示時有很好的應用效果。

注意機制通過控制句子各部分的不同權重信息，使模型在關注句子重要特征信息的同時忽略其他不重要的特征信息，并合理分配資源以提取更準确的結果。同時，注意機制本身可以作為一種對齊，解釋端到端模型中輸入和輸出之間的對齊，使模型更具解釋性。

一些研究人員還使用分層注意機制來進行信息的全局聚合。四個模塊：單詞表示、句法圖卷積網絡、自我注意觸發分類和論點分類模塊。通過引入語法快捷弧，信息流得到了增強。利用基于注意的圖卷積網絡對圖信息進行聯合建模，提取多個事件觸發器和元素。此外，當聯合提取事件觸發器和元素以解決數據集不平衡時，它優化了有偏損失函數。

3.3.3.4基于GCN的模型

句法表征為句子中的事件檢測提供了一種将單詞直接鍊接到其信息上下文的有效方法。Nguyen等人（《Graph convolutional networks with argument-aware pooling for event detection》）研究了一種基于依賴樹的卷積神經網絡來執行事件檢測，他們是第一個将語法集成到神經事件檢測中的人。他們提出了一種新的池化方法，該方法依賴于實體提及來聚合卷積向量。該模型對當前單詞和句子中提到的實體的基于圖形的卷積向量進行合并。該模型聚合卷積向量以生成用于事件類型預測的單個向量表示。該模型将對實體提及的信息進行顯式建模，以提高事件檢測的性能。

在（《Event time extraction and propagation via graph attention networks》）中，TAC-KBP時隙用于填充任務中提出的四元時間表示，該模型預測事件的最早和最晚開始和結束時間，從而表示事件的模糊時間跨度。該模型基于共享元素和時間關系為每個輸入文檔構建文檔級事件圖，并使用基于圖的注意網絡方法在圖上傳播時間信息，如圖所示，其中實體加下劃線，事件用粗體顯示。Wen等人基于輸入文檔的事件關系構建文檔級事件圖方法。将提取文檔中的事件元素。然後，根據關鍵字（如前後）和事件發生的時間邏輯，按時間順序排列事件。實體元素在不同事件之間共享。模型實現将事件合并到更準确的時間線中。

3.3.3.5基于transformer的模型

利用一個在不同事件中扮演不同角色的元素來改進事件提取是一個挑戰。楊在論證角色方面的預測有助于克服角色重疊問題。此外，由于訓練數據不足，該方法通過編輯原型并通過對質量進行排序來篩選開發的樣本，從而自動生成标記數據。他們提出了一個框架，即基于預訓練語言模型的事件提取器（PLMEE）[37]，如圖10所示。PLMEE通過結合使用提取模型和基于預先訓練的語言模型的生成方法來促進事件提取。它是一個兩階段的任務，包括觸發器提取和元素提取，由觸發器提取程序和元素提取程序組成，這兩個程序都依賴于伯特的特征表示。然後，它利用角色的重要性來重新權衡損失函數。

GAIL（《Joint entity and event extraction with generative adversarial imitation learning》）是一個基于ELMo的模型，利用生成性對抗網絡幫助模型關注更難檢測的事件。他們提出了一個基于生成對抗式模仿學習的實體和事件提取框架。這是一種采用生成對抗網絡（GAN）的反向強化學習（IRL）方法。該模型通過使用IRL的動态機制，直接評估實體和事件提取中實例的正确和錯誤标記。

DYGIE （《Entity, relation, and event extraction with contextualized span representations》）是一個基于BERT的框架，它對句子和跨句子上下文中的文本跨度和捕獲進行建模。許多信息提取任務，如命名實體識别、關系提取、事件提取和共同引用解析，都可以受益于跨句子的全局上下文或不依賴于局部的短語。它們将事件提取作為附加任務，并在事件觸發器及其元素的關系圖中進行跨度更新。廣度表示是在多語句BERT編碼的基礎上構造的。

事件抽取是信息抽取的一個重要研究方向，在信息收集、信息檢索、輿論分析等方面發揮着重要作用，具有應用價值。傳統的事件提取方法大多采用人工構造的方法進行特征表示，并使用分類模型對觸發器進行分類，識别元素的作用。近年來，深度學習在圖像處理、語音識别、自然語言處理等方面取得了顯著的效果。為了解決傳統方法的不足，系統地讨論了基于深度學習的事件提取。在伯特模型出現之前，主流的方法是從文本中找到觸發點，并根據觸發點判斷文本的事件類型。近年來，随着BERT事件提取模型的引入，基于全文的事件類型識别方法已成為主流。這是因為BERT具有出色的上下文表示能力，在文本分類任務中表現良好，尤其是在數據量較小的情況下。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!