1、相似度是搜索引擎去重用的最多的算法,用的比較多的一種是TF除以IDF算法,這個也是計算相關性的算法,TF和IDF的主要意思是說如果某個詞或短語在一篇文章中出現的頻率高,并且在其他文章中很少出現,則認為此詞或者短語具有很好的類别區分能力,适合用來分類;
2、數據指紋,當搜索引擎通過相似度把文章收集起來後,要判别一下是否是重複文章,經常用的就是數據指紋,數據指紋有很多種算法,常見的比如講文章的标點符号提出,進行對比,你很難想象有兩篇不同的文章,标點符合是一緻的。還有對向量進行對比,也就是
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!