本文着重講解:AI的技術範圍?時下有哪些落地的AI技術?各自的優缺點是什麼?産品經理視角應該知道的技術和切入的角度?
随着大數據的累積,AI迅猛發展,希望了解AI的人,期待從事AI産品經理工作的人也越來越多。
但是擺在希望從事AI産品經理工作的人面前的第一件事是:AI的技術範圍?時下有哪些落地的AI技術?各自的優缺點是什麼?産品經理視角應該知道的技術和切入的角度?
本篇重點解答以上問題。
AI的發展已有近七十年的曆史,AI在技術實現上可歸類為六種途徑,即符号主義、連接主義、學習主義、行為主義、進化主義和群體主義。
六種途徑并非泾渭分明,它們隻是從不同的角度提出了解決方案,如學習主義就用到了人工神經網絡來實現。産品經理理解的AI應該是廣義範疇。
目前今日頭條估值高達350億美金,今日頭條系産品的快速發展主要特征是對AI和機器學習的應用。
時下流行的機器學習以及深度學習算法,實際上是符号主義、連接主義以及行為主義理論的進一步拓展。
對于機器學習的理解,筆者認為:産品經理可以從三個問題入手——即機器學什麼、機器怎麼學、機器做什麼?
首先,機器學習需要學習的内容是能夠表征此項任務的函數,即能夠實現人們需要的輸入和輸出的映射關系。從信息論的角度來看,其學習的目标是确定兩個狀态空間内所有可能取值之間的關系,使得熵盡可能最低。熵越低信息越有序。
其次,機器怎麼學。要實現學習目标,就要教給機器一套評判的方法,而不同于告訴機器每個具體步驟如何操作的傳統方法,這需要對機器描述過程演進為對機器描述結果。
從數學角度來看,就是為機器定義一個合适的損失函數,能夠合理量化真實結果和訓練結果的誤差,并将之反饋給機器繼續作叠代訓練。
最後,機器學習究竟要做什麼,其實主要做三件事——即分類(Classification)、回歸(Regression)和聚類(Clustering)。其中分類和回歸屬于監督學習的範疇,而聚類則屬于非監督學習的範疇。
目前多數人工智能落地應用的背後,都是通過對現實問題抽象成相應的數學模型,分解為這三類基本任務的有機組合,并對其進行建模求解的過程。
機器學習的産品過程演示:
這裡,我們首先讨論當前的三大最常見的機器學習任務及其常用算法。
回歸是一種用于連續型數值變量預測和建模的監督學習算法,回歸任務的特征是具有數值型目标變量的标注數據集。
回歸算法有很多種,其中最為常用的算法主要有四種:
分類算法用于分類變量建模及預測的監督學習算法,許多回歸算法都有其對應的分類形式,分類算法往往适用于類别(或其可能性)的預測,而非數值。
其中最為常用的算法主要有五種:
聚類算法基于數據内部結構來尋找樣本自然族群(集群)的無監督學習任務,使用案例包括用戶畫像、電商物品聚類、社交網絡分析等。
用戶電商物品需求聚類分析圖:
其中最為常用的算法主要有四種:
在機器學習領域内,兩個最為重要的概念是維度及特征選取。其中“維(Dimensionality)”通常指數據集中的特征數量(即輸入變量的個數),而特征選取是從你的數據集中過濾掉不相關或冗餘的特征。
特征選取(Feature Selection)主要包括四種方法:
特征選取與特征提取不同,其關鍵區别在于:特征選取是從原特征集中選取一個子特征集,而特征提取則是在原特征集的基礎上重新構造出一些(一個或多個)全新的特征。
特征提取(Feature Extraction)主要用來創造一個新的、較小的特征集,但仍能保留絕大部分有用的信息。
主要包括三種方法:
(1)主成分分析:非監督式算法,它用來創造原始特征的線性組合。新創造出來的特征他們之間都是正交的,也就是沒有關聯性。
具體來說,這些新特征是按它們本身變化程度的大小來進行排列的。第一個主成分代表了你的數據集中變化最為劇烈的特征,第二個主成分代表了變化程度排在第二位的特征,以此類推。
(2)線性判别分析:監督式學習方式,它必須使用有标記的數據集。
(3)自編碼機:人工神經網絡,它是用來重新構建原始輸入的,關鍵是在隐含層搭建比輸入層和輸出層更少數量的神經元。這樣,隐含層就會不斷學習如何用更少的特征來表征原始圖像。
機器學習還包括密度估計(Density Estimation)和異常檢測(Abnormal Detection)的任務,在此略過。總的來說歸類機器學習算法一向都非常棘手,由于其背後實現原理、數學原理等存在差異,其分類标準存在多個維度,而常見的分類标準主要包括:生成/判别、參數/非參數、監督/非監督等。
筆者認為:時下深度學習大熱,是因為DL(DeepLearning)在機器學習算法中主要有以下三點。
傳統産品在語音識别、物體識别方面無法有效展開應用,其重要原因之一就是:這類算法無法使用語音及圖像的高維度數據(High-dimensional Data)在高維空間學習複雜的函數,這類高維空間通常也意味着對算力的極大消耗,即使算力極為豐富的現階段也無法有效滿足其算力需求。
因此,深度學習方法應運而生。傳統産品算法所面臨的問題被稱作維度詛咒(Curse of Dimensionality),高維度數據的參數設置需求随着變量的增加呈指數型增長,對計算能力提出了極大挑戰,近乎無法完成。
而深度學習采用多層調參,層層收斂的方式,将參數數量始終控制在一個較為合理的水平,使得原本不可計算的模型可運算了。
其理解如圖所示:
從理論上來說,深度神經網絡可以表征任何函數,因此深度神經網絡可以通過不同的參數及網絡結構,對任意函數進行拟合,排除了其無法學習到複雜函數的可能性。
深度學習具有自動學習特征的能力,這也是深度學習又叫無監督特征學習(Unsupervised Feature Learning)的原因。從深度學習模型中選擇某一神經層的特征後,就可以用來進行最終目标模型的訓練,而不需要人為參與特征選取。
AI算法從專家系統至特征工程到深度學習這個過程中,人工參與在逐漸減少,而機器工作在逐漸增加,深度學習算法主要包括兩個方面。
(1)卷積神經網絡(Convolutional Neural Network,CNN)
卷積神經網絡是近年發展起來,并引起廣泛重視的一種高效識别方法。時下CNN已經成為衆多科學領域的研究熱點之一。
K.Fukushima在1980年提出的新識别機是卷積神經網絡的第一個實現網絡,随後,具有代表性的研究成果是Alexander和Taylor提出的“改進認知機”,該方法綜合了各種改進方法的優點并避免了耗時的誤差反向傳播。
一般CNN的基本結構包括兩層:
1)特征提取層:每個神經元的輸入與前一層的局部接受域相連,并提取該局部的特征。一旦該局部特征被提取後,它與其它特征間的位置關系也随之确定下來。
2)特征映射層:網絡的每個計算層由多個特征映射組成,每個特征映射是一個平面,平面上所有神經元的權值相等。特征映射結構采用sigmoid函數作為卷積網絡的激活函數,使得特征映射具有位移不變性。
此外,由于一個映射面上的神經元共享權值,因而減少了網絡自由參數的個數。卷積神經網絡中的每一個卷積層都緊跟着一個用來求局部平均與二次提取的計算層,這種特有的兩次特征提取結構減小了特征分辨率。
CNN主要用來識别位移、縮放及其他形式扭曲不變性的二維圖形。由于CNN的特征檢測層通過訓練數據進行學習,所以在使用CNN時,避免了顯示的特征抽取,而隐式地從訓練數據中進行學習。
再者由于同一特征映射面上的神經元權值相同,所以網絡可以并行學習,這也是卷積網絡相對于神經元彼此相連網絡的一大優勢。
卷積神經網絡以其局部權值共享的特殊結構,在語音識别和圖像處理方面有着獨特的優越性,其布局更接近于實際的生物神經網絡。權值共享降低了網絡的複雜性,特别是多維輸入向量的圖像,可以直接輸入網絡這一特點,避免了特征提取和分類過程中數據重建的複雜度。
(2)遞歸神經網絡(Recurrent Neural Network, RNN)
在實際應用中,我們會遇到很多的多序列形數據,如:自然語言處理問題中的單詞、語音處理中每幀的聲音信号、每天股票價格的時間序列數據等。
以某自然語言處理公司産品為例:
為了建模序列問題,RNN引入了隐狀h(hidden state)的概念。一個RNN網絡中可以存在一個或多個隐狀态,計算時每一步使用的參數都是一樣的,即每個步驟的參數都是共享的,這是RNN的重要特點之一。
同時需要注意的是:RNN網絡的輸入和輸出序列必須是等長的。由于這個限制的存在,經典RNN的試用範圍比較小,但也有一些問題适合經典的RNN結構建模,如:計算視頻中每一幀的分類标簽。
因為要對每一幀進行機選,一次輸入和輸出序列等長,又如:輸入為字符,輸出為下一個字符的概率,著名的用于生成文章、詩歌甚至是代碼的Char RNN(The Unreasonable Effectiveness of Recurrent Neural Networks)就是一個很好的例子。
當我們要處理的問題輸入是一個序列,輸出是一個單獨的值而不是序列的時候,需要對RNN網絡中最後一個h進行輸出變化即可完成,這種結構通常用來處理序列分類問題。
如:輸入一段文字判别它所屬的類别;輸入一個句子判斷其情感傾向;輸入一段視頻并判斷它的類别等等。對于輸入不是序列而輸出為序列的情況,隻需要在序列開始時進行輸入計算或把輸入信息作為每個階段的輸入即可。
這種網絡結構可以處理的問題包括兩方面:
RNN最重要的一個變種是N輸入M輸出,這種結構又叫做Encoder-Decoder模型,也可稱之為Seq2Seq模型。實際生産生活中我們遇到的大部分問題序列都是不等長的,如:機器翻譯中源語言和目标語言中的句子往往沒有相同的長度。
為此Encoder-Decoder結構會先将輸入數據編碼成一個上下文向量C,得到C的方式有多種,最簡單的方法就是把Encoder的最後一個隐狀态賦值給C,還可以對最後的隐狀态做一個變換得到C,也可以對所有的隐狀态做變換。
在得到C後,就用另一個RNN網絡對其解碼,這部分RNN網絡被稱為Decoder,具體做法就是将C當做之前的初始狀态輸入到Decoder網絡中。
由于這種Encoder-Decoder結構不限制輸入和輸出的序列長度,因此應用範圍廣泛,常見應用包括:
在Encoder-Decoder結構中,Encoder把所有的輸入序列都編碼成一個統一的語義特征C再解碼。因此,C中必須包含原始序列中的所有信息,它的長度就成了限制模型性能的瓶頸。
如:機器翻譯問題,當需要翻譯的句子較長時,一個C可能存不下那麼多信息,就會造成翻譯精度的下降。而Attention機制通過在每個時間輸入不同的C來解決這個問題,每一個C會自動去選取與當前所要輸出的結果最合适的上下文信息。
以上從一名入行AI産品經理的視角,簡要介紹了深度學習CNN及RNN兩類網絡的基本原理及應用場景,雖然其在多種識别、感知任務中表現優異。
但筆者實踐中發現DL也存在着以下三方面的不足:
(1)數據基礎問題:我們在實際生産生活中所收集到的數據往往都是小數據,而不是大數據。比如說:我們手機上的個人數據,在教育、醫療、基因的檢測與實驗、學生測驗、客服問答上的數據,都是小數據。
所以隻有實現從大數據向小數據遷移的通用模型,才能真正幫助更多的領域用上人工智能,這是人工智能的普及性問題,但基于大數據叠代的深度學習模型無法勝任小數據場景業務。
例如:當筆者在給AI 領域做AI賦能産品咨詢設計的時候,搭建的Call out機器人構建完Fintech領域,這個架構的知識庫到互聯網教育領域需要重新搭建。
(2)模型可靠性問題:深度學習模型非常脆弱,稍加移動、離開現有的場景數據,它的效果就會降低,因此深度學習模型的可靠性是一個重要問題。
對機器學習來說,由于訓練數據和實際應用數據存在區别,訓練出來的模型被用于處理它沒有見過的數據時,效果就會大打折扣。而緩解這一問題的辦法,正是遷移學習,它能把可靠性提升一個台階。
(3)應用上的問題:特别是機器學習模型在應用個性化方面的問題。比如:在手機上,在推薦信息、服務的時候,它要适用于個人的行為。
因為任何個人的數據都是小數據,個性化的問題就是如何把雲端的通用模型适配到終端的小數據上,讓它也能工作。這就是遷移學習比較适合的事情,幫助機器學習從雲端往移動端遷移。
例如:Siri是一款雲端通用型軟體機器人,但是Siri并不能完全基于筆者本人的工作、生活提供工作生活的個性化建議,這裡需要解決的問題是——如何把雲端大數據情況下的場景,切換到個性化的本地落地産品。
AI領域的機器學習、深度學習技術是一個無線逼近的極限。産品經理時下了解AI技術以後,一個關鍵責任是落地産品,時下切入AI産品的重點角度是如何在AI技術本身随着算法完善、數據豐富、算力增長進行中,交付符合用戶心理預期的産品。
這裡不僅僅是AI技術問題,更是産品經理捕捉人性的能力。
産品經理入行AI産品經理,需要提升自己的兩個能力:
認知技術能力,決定産品經理能不能利用技術的無線逼近;判斷需求能力,決定産品經理能否在時下的AI技術水平下交互符合用戶人性的産品。
這種能力需要我們持續學習,畢竟一款産品的成功是一家企業成功的代表!
連詩路,公衆号:LineLian。人人都是産品經理專欄作家,《産品進化論:AI 時代産品經理的思維方法》一書作者,前阿裡産品專家,希望與創業者多多交流。
本文原創發布于人人都是産品經理。未經許可,禁止轉載。
題圖來自PEXELS,基于CC0協議
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!