編輯導語：通過知識圖譜，不僅可以将互聯網的信息表達成更接近人類認知世界的形式，而且提供了一種更好的組織、管理和利用海量信息的方式；本文作者分享了關于AI産品經理的知識圖譜簡介以及利用，我們一起來了解一下。

01 為什麼要了解知識圖譜

AI核心要研究的是如何讓計算機去完成以往需要人的智力才能勝任的工作，而人的智能性核心體現在對不同事物的感知能力、推理能力、決策能力；因此要想做出AI産品就離不開對感知的研究，推理機制的研究以及智能決策方向的研究。

對感知智能而言，AI已經做了很多突破，例如機器對聽覺、視覺、觸覺的感知能力，通過攝像頭、麥克風或者其他的傳感設備，借助語音識别、圖像識别的一些算法模型，能夠進行識别和理解。

感知智能的發展能夠采集到海量的不同來源及不同存儲方式的數據，如果想要用這些數據做出具體場景化的應用，目前市面上常用的方式有兩種：

• 統計分析，也就是在業務中做的最多的數據理解和分析，包括了語義分析、情感分析，及各種指标分析的數據可視化。
• 決策，基于收集或者産生的數據去做自動化決策，或者智能推薦、智能問答等。而在做這些内容時依賴的核心技術就是知識圖譜相關的技術。

02 知識圖譜是什麼

了解知識圖譜是什麼之前，先了解數據、信息、知識之間的關系。

• 數據是指聲音、圖像、符号，通常指最原始的記錄，數據間彼此孤立，沒有經過加工和解釋。
• 信息是指數據經過加工處理後，建立了某種聯系或增加了某些屬性；信息可以經過加工和處理轉化為數據進行存儲，數據是信息的表現形式。
• 知識是通過實踐獲得的認識或經驗的總和，可以是已經文本化的知識，也可以是存儲在大腦中的認知。

eg：

「38.5」這是一條數據，不具有任何意義。

「小明測量體溫為38.5度」這是一條信息，并且38.5是一個關鍵指标。

「正常人體的溫度為36-37度，當體溫超過基礎體溫1度及以上時，即認為發熱，而不同的溫度範圍又可分為低熱、高熱…」這是一條知識，是通過許多病例、實驗總結出的公認正确的。

「小明發熱了，因為他體溫為38.5度」這個結果是由知識推理而來的。

知識圖譜是基于圖模型來描述知識以及構建關聯關系模型的技術手段，現實世界中常用到的知識，或者我們腦海中記住的知識，通常是一段描述性的話；而知識圖譜就是将某段描述知識的話抽象成主體、屬性、關系的三元組，并利用圖譜的形式呈現出來。

如下圖即是一個簡單的知識圖譜，「張柏芝」、「謝霆鋒」、「王菲」是人物主體；「出生年月」、「性别」、「年齡」為主體屬性；「前妻」、「現任女友」、「情敵」為知識抽象出的關系。

知識推理過程

“前妻”知識：

男女雙方在法律上曾經成立過婚姻，後通過協議或訴訟的方式解除了婚姻，終止了夫妻間權利和義務，對男方而言稱呼女方為前妻。

推理過程：

張柏芝和謝霆鋒之間在法律上曾經成立過婚姻，後解除了婚姻，且張柏芝是女性，因此張柏芝是謝霆鋒的前妻。

在知識圖譜技術中，「張柏芝」、「謝霆鋒」、「王菲」被稱為節點，節點可以是實體也可以是抽象出的概念；加粗的黑線稱為邊，表現實體或概念之間的關系，如「張柏芝」和「謝霆鋒」的關系是「前妻」。

圖中每一個圓都是一個節點，連接圓的直線都是邊，可以看出知識圖譜是由節點和邊組成；而節點和節點之間的邊，可以是屬性、也可以是關系，例如「張柏芝」、「謝霆鋒」之間的邊代表的是關系，「張柏芝」、「性别：女」之間的邊代表的是屬性。

可以用來做什麼？

最早知識圖譜的應用是用來提升搜索引擎的能力，早期的搜索，是依賴網頁間的超鍊接、搜索關鍵詞與網頁包含關鍵詞的匹配關系進行精确或模糊搜索。

但互聯網終極形态是萬物的互聯，搜索的終極目的也是對萬物的直接搜索，因此僅依靠關鍵詞之間的匹配不足以滿足日益豐富的搜索需求。

在傳統的搜索模式下，當我們搜索「謝霆鋒的前妻是誰？」，檢索結果可能是某個網頁中包含了「謝霆鋒的前妻是張柏芝」這句話，我們才能找到網頁，在從網頁中的信息中得知謝霆鋒的前妻是張柏芝這個結論。

而上圖知識圖譜的建立，當搜索需求産生時會快速的返回「張柏芝」及個人信息。

知識圖譜的構建原理及流程？

知識圖譜的構建通常分為兩類，一類是開放域的知識圖譜、一類是垂直領域的知識圖譜；像google、百度搜索等搜索引擎建立的知識圖譜屬于開放域的，像某個領域，電商、金融、圖情、生活娛樂等基于具體領域和場景構建的知識圖譜為垂直領域的知識圖譜。

兩種圖譜的場景應用不太一樣，但涉及的底層邏輯和構建流程是相似的。

知識圖譜的構建涉及了知識表示、知識獲取、知識處理和知識利用等多方面。

知識表示：

簡單理解就是設計者把得到的知識，針對各種問題的類型和場景，設計成多種表現形式，而使用者可以直接使用這種設計好的表示方法來代表這類知識信息。

例如我作為系統設計者，我定義了“V”為“或”的意思，其它使用者均可用“V”代表“或”。

知識獲取：

指人通過設計、程序編碼、人機交互使機器獲取知識；例如人為建立知識庫，讓專家系統來獲取知識，大部分都是通過人工的方式将人類的知識存儲到機器中，這個過程就是知識獲取的過程。

• 知識庫是相互關聯的事實及數據的集合，常被用來支持專家系統，是專業領域内規則的集合，包含了規則所聯系的所有關系和數據。
• 專家系統是人工智能研究方向之一，是指利用人類某個領域專家解決問題的知識或者方法來進行程序化，依賴知識庫中的知識體系來進行決策。

知識處理：

包含了知識的加工、邏輯判斷、推理、知識輸出的過程。

nlp自然語言處理是知識處理的核心。

知識利用：

将規範的知識結構應用到具體的場景之中，創造價值。

在構建技術上，數據和算法是知識圖譜的底層支持，包含了信息表示、信息抽取、信息融合、信息推理和信息決策等多個階段。

信息來源：

通常可以通過多個渠道或者來源來獲取知識圖譜的數據，包含了文本、結構化數據庫、多媒體數據、傳感器數據、人工衆包數據等。

信息表示：

利用計算機語言來描述人腦或者文本中的知識，來幫助進行下一步推理。

應用到的技術手段，例如文本數據，通常會使用nlp自然語言處理技術，進行實體識别、實體鍊接、關系抽取、事件抽取等從文本中抽取出知識，在利用RDF把三元組作為基本的數據模型。

基本邏輯包含了實體、實體屬性、實體之間的關系。

信息抽取：

結構化和文本化的數據是目前主要使用的數據形式，從結構化數據中抽取信息一般使用現有的D2R工具，如D2RServer。

從文本中抽取信息主要經曆實體識别和關系抽取兩部分，關系抽取一般可以使用基于特征模版的方法（人工打标簽），或者機器學習的方式進行抽取。

信息融合：

通常自己的數據源或者知識庫不足以構建解決實際問題時，會去從第三方的知識庫或者收集其他渠道的結構化數據進行融合；主要包含了模式層的融合和數據層的融合，核心解決的問題是避免實體與關系的沖突，或者相同實體含義但使用的不同的數據标識符，造成了不必要冗餘。

知識圖譜補全與推理：

此環節核心是依賴于補全算法去實現，一種方法是基于本體推理的補全方法，另一種是基于圖結構和關系路徑進行補全。

通常推理和補全是一個相互協作的過程，通過推理發現有問題的地方，進行補全。

應用與決策：

語義檢索、智能問答、智能決策系統、推薦系統。

下面通過具體示例來理解知識圖譜的構建流程：

03 應用實例：電商知識圖譜的構建

在目前電商的交易場景中，交易規模巨大，不僅涉及了線上、線下交易場景，還有各種新零售、多語言平台、線上線下相結合的各種複雜的購物場景，企業對數據的聯通需求越來越強烈，因此電商的知識圖譜對于行業而言變得很重要。

電商的知識圖譜主要是圍繞商品構建的，基于人、貨、場的主要框架進行拆解。

在電商這個領域下進行知識表示時，首先需要确認共涉及多少個一級本體、二級本體，電商知識主要的獲取來源是知識衆包，核心涉及了本體的設計，圍繞商品本身的屬性、消費者的需求、平台運營管理的機制。

在不同平台和渠道的數據采集工具不一樣，采集上來的數據的存儲形式也會略有差異；例如電商的賣點、詳情、圖片、評價，輿情信息中的品牌和口碑，涉及了大量的文本數據、圖像數據。

在進行知識表示時涉及了各種NLP、CNN技術；要求知識命名識别系統具有大規模實體類型識别的能力，并且把識别出的主體與知識圖譜進行鍊接。

以阿裡電商認知圖譜的示例主要包括：

商品域：型号、尺碼、大小、顔色、口感、材質..

用戶域：

性别、年齡、風格、品牌、購買力…

LBS域：購物場景、群體、泛品類……

然後需要對實體進行描述，除了基礎的屬性及屬性值以外，需要通過實體标簽進行實現，大部分實體标簽變化比較快，通常是通過知識推理獲取的；例如商品的标簽中，可以通過材料的配比或者國家行業标準進行處理。

例如：

• 低糖：食品每100克或100毫升的糖含量不能超過5克；
• 無糖：食品每100克或100毫升糖含量不能超過0.5克；

通過知識推理，可以根據商品配料表中的數據轉化為「無糖」、「低糖」的知識點，從而将數據轉化為知識标簽；大部分信息在提取之後會比較零散，需要将已建立好關系的知識庫中或者第三方的知識庫來源的信息做融合，以及實體對齊、實體消歧義的技術操作。

實體對齊：

例如迪奧是一個品牌名，DIOR為同一個品牌的英文名，雖然是同一個品牌由于文本不一樣，會被計算機識别為兩個實體，因此我們需要将類似的内容對齊和統一化。

實體消歧：

例如蘋果是一種水果，在某些上下文中它可能表達蘋果手機，這時需要根據上下文進行實體消歧。

完成上述操作後，才會進行實體的抽取，實體抽取的過程中會利用算法進行實體間的相似性計算，主要依賴于本體庫中建立的本體之間的關系，進行推理和補齊；例如不同人買了同一件商品，或買了相似商品，該以怎樣的節點進行知識圖譜的關聯；可以采用自動化抽取或者人工抽取的方式進行實現，自動化抽取可以大批量任務，以及在多源異構的數據處理中具有極大優勢。

但對于複雜場景的抽取和識别依舊需要人工的介入。

在初步的知識圖譜構建成功之後，需要進行知識庫的質量評估，當部分關系無法通過知識庫進行抽取時，需要進行知識推理算法及知識圖譜補全算法進行關系鍊路的優化；目前市面上已有部分技術上的解決方案，感興趣童鞋可以查閱更多資料進行擴展。

#專欄作家#

大鵬，公衆号：一個數據人的自留地。人人都是産品經理專欄作家，《數據産品經理修煉手冊》作者。

本文原創發布于人人都是産品經理。未經許可，禁止轉載

題圖來自Unsplash，基于CC0協議。

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部