利用爬蟲爬取網絡數據是否合規?爬蟲技術應用合法性引争議，今天小編就來聊一聊關于利用爬蟲爬取網絡數據是否合規?接下來我們就一起去研究一下吧!

利用爬蟲爬取網絡數據是否合規

爬蟲技術應用合法性引争議

保障數據安全亟待規制非法爬取數據行為

核心閱讀

在大數據時代的背景下，愈來愈多的市場主體投入巨資收集、整理和挖掘信息。如果任由網絡爬蟲任意使用他人通過巨大投入獲取的數據資源，将不利于鼓勵商業投入、産業創新和誠實經營，甚至可能直接違背了數據來源用戶的意願和知情權，最終勢必損害健康的競争機制。

□ 本報記者 張 維

□ 法制網見習記者 邢國涵

随着社會經濟的快速發展，數據的價值日益凸顯，已然成為企業科技創新的必備要素。但企業通過技術手段獲取數據時，數據抓取技術的應用行為是否合理合法，是一個值得深思的問題。

近年來，網絡爬蟲“爬取數據”成為熱詞，相關司法案例不斷出現。據不完全統計，近些年涉及網絡爬蟲的司法案件達十餘起，其中既包括民事案件，還包括刑事案件。這類案例甚至還有愈演愈烈之勢。

在近日于上海舉行的長三角數據合規論壇(第三期)暨數據爬蟲的法律規制研讨會上，上海市人民檢察院研究室副主任陳超然透露，檢察機關正在積極推動企業合規改革試點工作，數據合規正是其中重點。“目前爬蟲爬取數據案件非常普遍，當網絡平台或者個人通過技術手段抓取别的平台數據時，這種行為是否合法，平台數據主體是誰，歸誰使用，值得深入研讨。”

杭州長三角大數據研究院副院長郭兵認為，數據爬蟲作為中立性的技術，已在互聯網産業領域得到廣泛應用。需要注意的是，如果爬蟲技術不當應用，會對其他競争者的合法權益造成損害，甚至涉嫌違法或者犯罪，也将對産業的健康發展産生非常大的負面影響。

爬取數據涉嫌侵權

從技術角度看，爬蟲是通過程序去模拟人類上網或者浏覽網頁、App行為，讓其高效地在網上抓取爬蟲制造者所需要的信息。

歐萊雅中國數字化負責人劉煜晨說，大多數網站拒絕爬蟲訪問，其中的原因既包括商業利益考量，也包括自身網站運營安全的考量。除了爬蟲可能爬到網站不願被爬取的數據以外，網站經營者往往還會擔心爬蟲幹擾網站正常運營。

而非正規爬蟲自動持續且高頻地對被爬取方進行訪問，服務器負載飙升，也會給服務器帶來“難以承受”之重：應對經驗不足的網站，尤其是中小網站可能會面臨網站打不開、網頁加載極其緩慢、有時甚至直接癱瘓的情況。

新浪集團訴訟總監張喆說，無論是爬蟲還是實現其他目的的技術，就其本身而言，都是中立的，但爬蟲技術的應用不是中立的，技術應用都帶有應用者的目的。這時候不應該評價技術原理，而是需要評價技術用來幹什麼，這一行為手段是否具有正當性。

提及網絡爬蟲，robots協議是繞不開的話題。robots協議(也稱爬蟲協議)的全稱是“網絡爬蟲排除标準”，網站通過robots協議明确警示搜索引擎哪些頁面可以爬取，哪些頁面不能爬取。該協議也被行業稱為搜索領域的“君子協定”。

劉煜晨說，當網絡爬蟲訪問一個網站，robots協議像立在自己房間門口的一個牌子，告訴外來者誰可以過來，誰不可以過來。但是，這隻是一個君子協議，隻能起到告示作用，起不到技術防範作用。

實踐中，惡意爬蟲爬取時不遵守網站的robots協議，并可能爬取到不該爬的數據，這種情形并非孤例。小紅書法務負責人曾翔說，惡意爬蟲案例經常發生在内容平台和電商平台。在内容上被爬取的更多是視頻、圖片、文字、網紅互動數據、用戶行為等，在電商領域則多為商家信息和商品信息。

“内容平台一般約定了相關内容知識産權歸發布者或者發布者和平台共同所有，這些爬蟲沒有簽訂協議就獲得用戶授權，涉嫌對知識産權人權利的侵犯。”曾翔說。

或應明确網站權利

這就涉及到數據的權屬及是否能開放的問題。

上海市浦東區人民法院知識産權庭法官徐弘韬認為，數據是内容産業的核心競争資源，内容平台經過彙總分析處理後的數據往往具有極高的經濟價值。

“如果要求内容平台經營者将其核心競争資源向競争對手無限開放，不僅有違‘互聯互通’精神的實質，也不利于優質内容的不斷更叠和互聯網産業的持續發展。”徐弘韬說。

惡意爬蟲爬取數據案件頻發的背後，是數據的價值增加，以數據為核心的市場競争愈發激烈。

華東政法大學教授高富平說，進入大數據時代，數據價值再次凸顯，現在的爬蟲技術已經從原來的網頁爬蟲進入到底層數據的爬取。數據爬蟲問題會變得越來越嚴重。

在大數據時代的背景下，愈來愈多的市場主體投入巨資收集、整理和挖掘信息，業内人士對此表示擔憂：如果任由網絡爬蟲任意使用或利用他人通過巨大投入所獲取的數據資源，将不利于鼓勵商業投入、産業創新和誠實經營，甚至可能直接違背了數據來源用戶的意願和知情權，最終勢必損害健康的競争機制。

高富平認為，如果網站合法積累數據資源，那麼這些數據資源就應該屬于網站的資産。“允許數據生産者、控制者基于商業目的開放數據是有好處的，通過許可使用、交換交易等方式，可以讓更多人享用數據服務。期待在未來确認數據所有合法生産者對數據的控制權、使用權。”

有序流轉同等重要

目前，網站雖然可以去指定相應策略或技術手段，防止爬蟲抓取數據，但爬蟲也有更多技術手段來反制這種反爬策略。

劉煜晨說，反爬和爬取的技術一直在叠代，在技術領域，沒有爬不了的網站和App，隻有願不願意爬和多難爬的問題。

據了解，現實中惡意網絡爬蟲制造者抗辯時，往往将robots協議限制爬取與數據流轉聯系起來。徐弘韬認為，在“互聯互通”的語境下，“有序”和“流轉”同等重要、缺一不可，需排除假借“互聯互通”妨礙公平競争、危害用戶數據安全的行為。

“對于非搜索引擎爬蟲的正當性判别，要考慮是否足以保障用戶數據的安全性。包括身份數據、行為數據等在内的用戶數據，從屬性來講不僅僅是經營者的競争資源，同樣具有用戶的個人隐私屬性，而此類數據的集合更涉及社會公共利益。”徐弘韬說。

據了解，近年來有關數據安全的法律規範正在不斷完善中。數據安全法作為數據安全的基本法，承載着解決我國數據安全核心制度框架的重要任務。此外，還有2019年通過的密碼法，工信部拟出台《工業和信息領域數據安全管理辦法(試行)》等，一些地方如深圳、上海等也在探索制定數據管理相關規範。

來源： 法治日報

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!