搜索引擎大戰(zhàn)聚焦“ROBOTS協(xié)議”

　　搜索戰(zhàn)爭不斷升級。在這場大站背后，搜索引擎到底是否可以自動抓取用戶的資料，讓“Robots協(xié)議”成為焦點。

　　自動抓取用戶內(nèi)容之爭

　　自某網(wǎng)站推出搜索之日起，一直被業(yè)界指責無視在全世界范圍內(nèi)具有極強約束力的“Robots協(xié)議”。它不僅未經(jīng)授權(quán)大量抓取百度、google內(nèi)容……

　　簡單而言，“robots協(xié)議”就是搜索引擎在抓取網(wǎng)站內(nèi)容時，雙方約定的一個規(guī)則。其中包括網(wǎng)站是否希望被搜索引擎抓取，希望或不希望被哪些搜索引擎抓取，以及哪些內(nèi)容不允許被抓取。它有些類似于人類社會的“日內(nèi)瓦公約”，但在法律上卻不具備那樣的約束效力。

　　“robots.txt”并不是某一個公司制定的。早在上世紀90年代中期就已出現(xiàn)，當時還沒有Google。其實，“Robots協(xié)議”的起源，是在互聯(lián)網(wǎng)從業(yè)人員的公開郵件組里討論而誕生的。即便是今天，互聯(lián)網(wǎng)領(lǐng)域的相關(guān)問題也仍在一些專門的郵件組中討論，并隨之產(chǎn)生(主要是在美國)。

　　自有搜索引擎之日起，“Robots協(xié)議”已是一種目前為止比較有效的方式，用自律維持著網(wǎng)站與搜索引擎之間的平衡，讓兩者之間的利益不致過度傾斜。

　　1994年6月30日，在經(jīng)過搜索引擎人員以及被搜索引擎抓取的網(wǎng)站站長共同討論后，正式發(fā)布了一份行業(yè)規(guī)范，即“robots協(xié)議”。此前，相關(guān)人員一直在起草這份文檔，并在世界互聯(lián)網(wǎng)技術(shù)郵件組(www-talk@info.cern.ch)中公開討論。其發(fā)布后，這一協(xié)議被幾乎所有的搜索引擎采用，包括最早的altavista，infoseek，后來的google，bing；而中國的百度，搜搜，搜狗等公司也相繼采用并嚴格遵循。

　　協(xié)議的約束與壟斷無關(guān)

　　記者翻閱涉及“robots協(xié)議”的一些案例，發(fā)現(xiàn)它在這些年全世界范圍內(nèi)具有極強的約束力，甚至可以說是網(wǎng)站隱私與安全的一張王牌。事實證明，“robots協(xié)議”作為內(nèi)容站和搜索引擎雙方權(quán)利對等的一項約定，極大維護了整個互聯(lián)網(wǎng)生態(tài)的平衡和秩序的安定。國內(nèi)的網(wǎng)站和搜索引擎，即使利益受損也未越雷池一步，表現(xiàn)出了極強的自律和令人尊敬的人文關(guān)懷。

　　2008年9月8日，淘寶網(wǎng)宣布封殺百度爬蟲，百度忍痛遵守爬蟲協(xié)議。因為一旦破壞協(xié)議，用戶的隱私和利益就無法得到保障，搜索網(wǎng)站就談不到人性關(guān)懷。

　　面對“robots協(xié)議”，不僅百度受制，Google也是有苦難言。此前，facebook、NAVER(韓國著名門戶和搜索引擎)都對google設(shè)置了“robots協(xié)議”內(nèi)容，禁止其抓取。由于google還不像百度有自有內(nèi)容，所以一直處于被動，令其在韓國始終無法獲取大量市場份額。

　　在這些事實面前，稱“Robots協(xié)議”幫助Google和百度這樣的壟斷搜索引擎“遏制后起的競爭者”的說法不攻自破。人們甚至可以看到，“robots協(xié)議”所扮演的，更多是一個有力的反壟斷工具。

　　北京市漢卓律師事務(wù)所首席律師趙虎對媒體表示，“Robots協(xié)議”是維護互聯(lián)網(wǎng)世界隱私安全的重要規(guī)則。如果這種規(guī)則被破壞，對整個行業(yè)就是滅頂之災。這次3B大戰(zhàn)中暴露出綜合搜索侵犯用戶隱私權(quán)的問題，就不應(yīng)該小視。