對論文中的觀點進行事實核查，并進行文獻重複檢查，對于科研人員來說，相當重要。但要在過往數不盡的論文中進行快速的查驗和查重，卻不是一項簡單的工作。

華盛頓大學和艾倫人工智能研究所的研究人員表示，他們開發出了一種AI系統，稱為VeriSci，該系統可以自動對科學觀點進行事實核對。這篇名為《Fact or Fiction: Verifying Scientific Claims》的論文5月1日發表在預印本網站Arxiv上。據論文介紹，這套AI系統不僅可以識别支持或反對研究觀點的摘要，還可以從摘要中提取證據，為自己的預測提供論證。

對論文中的觀點進行事實核查，還有另外一個重要作用，即可以幫助解決科學文獻的重複問題。在文獻中，發現研究的重複性非常困難。2016年，對1500位科學家進行的民意調查，其中70%的人表示曾嘗試進行文獻查重，但未能實現。

具體來說，研究人員先建立了一個SciFact語料庫。這個語料庫裡包含：科學主張；支持或駁斥科學主張的摘要；以及合理的注釋依據。接着，利用引用技術，這個方法可以對科學文獻中的科學主張進行标注，之後研究人員基于BERT模型（雙向編碼器表征量模型，由谷歌推出，是自然語言處理領域裡的模型）來訓練系統，從而可以識别句子并标注每個主張。

據介紹，SciFact數據集從5183個摘要語料庫中，對1409個科學觀點進行了事實核對。這些摘要都是從擁有數百萬科學論文的公共數據庫（S2ORC）中收集的。為了确保隻收錄高質量的論文，研究小組剔除了少于10篇引文和部分文本的文章，并從一系列涵蓋基礎科學、臨床醫學等領域的備受贊譽的期刊中随機抽樣。

同時，為了給SciFact貼上标簽，研究人員招募了一組注釋員。注釋員的工作是從原始文章的上下文中找到引文句子，并能根據引文重寫3個觀點，需要确保觀點符合原文含義。另一邊，自然語言處理專家則負責創建關鍵詞反過濾，以獲取摘要駁斥關鍵詞的示例。這樣做也可以避免引入帶有明顯偏見的科學觀點。注釋員用支持、反駁或信息不足來對論文摘要進行标注，并适當地标出支持或反駁的理由。研究人員同時還引入了幹擾因素，避免出現同一個引文句子在同一篇文章中不同段落出現的情況。

這個語料庫裡包含：科學主張；支持或駁斥科學主張的摘要

SciFact數據集建好後，訓練VeriSci模型則包括三個部分：抽象檢索，即檢索與給定觀點具有最高相似度的摘要；基本原理選擇，它可以确定每個候選摘要的基本原理；标簽預測，即進行最終的标簽預測。在實驗中，研究人員稱，大約有一半的（46.5%）概率，系統能夠正确識别支持或反駁标簽，并提供合理的證據。

為了證明系統的通用性，研究小組圍繞新冠病毒的科學論文進行了試驗論證。報告稱，VeriSci提出的與新冠病毒相關的大多數觀點（36個中有23個）被醫學生注釋者認為是合理的，表明該模型可以成功地檢索和分類。

但VeriSci并非完美，因為它常常被上下文所迷糊，無法綜合論據，或者是無法将不同來源的信息整合起來進行判斷。

“科學事實核查提出了一系列獨特的挑戰，拓展了神經模型在複雜語言理解和推理方面的局限性。盡管規模很小，但利用SciFact對VeriSci進行訓練，比根據維基百科文章和政治新聞構建的事實檢查數據集進行訓練，性能更好。”研究人員在論文中稱： “研究提供了希望，但是我們的發現表明，必須進行額外的工作才能提高端到端事實檢查系統的性能。”

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!