摘要：百度和360這兩家頭部互聯(lián)網(wǎng)公司，自從360在2012年推出360搜索后就成為直接競爭對手，彼此之間頻生摩擦，引發(fā)了大量訴訟。2013年，百度起訴360不正當(dāng)競爭，索賠1億元，引起社會轟動。這起糾紛因Robots協(xié)議而起，這是互聯(lián)網(wǎng)網(wǎng)站與搜...
百度和360這兩家頭部互聯(lián)網(wǎng)公司，自從360在2012年推出360搜索后就成為直接競爭對手，彼此之間頻生摩擦，引發(fā)了大量訴訟。
2013年，百度起訴360不正當(dāng)競爭，索賠1億元，引起社會轟動。這起糾紛因Robots協(xié)議而起，這是互聯(lián)網(wǎng)網(wǎng)站與搜索引擎的溝通方式，又被稱為爬蟲協(xié)議、機(jī)器人協(xié)議，各個(gè)互聯(lián)網(wǎng)網(wǎng)站通過設(shè)置Robots協(xié)議，“告訴”搜索引擎，自己的哪些內(nèi)容可以被爬取，哪些則不能被爬取。
案件緣起于360搜索上線后，百度并未將其列入Robots協(xié)議白名單，因此360搜索無法爬取百度的網(wǎng)站內(nèi)容。但360搜索越過了Robots協(xié)議，抓取了百度百科、百度知道、百度貼吧中的內(nèi)容，并生成快照向360搜索用戶提供。
這起案件在2014年8月7日宣判，百度勝訴，獲賠70萬元。但案件審理過程中，360提起了一項(xiàng)反訴，稱百度利用Robots協(xié)議是為了限制360搜索，是為了維護(hù)自己的市場壟斷地位而設(shè)立的競爭壁壘，帶有惡意和歧視性。
這起反訴的結(jié)果是360獲勝，法院判決百度構(gòu)成不正當(dāng)競爭，向360賠償20萬元。
不過，這場拉鋸戰(zhàn)可謂曠日持久。在一審判決多年之后，今年7月，北京市高級人民法院才最終做出二審判決，維持原判，駁回百度的上訴。
這起判決的意義已超出“3B大戰(zhàn)”的商業(yè)爭端，而是對互聯(lián)網(wǎng)搜索業(yè)務(wù)起到了厘清規(guī)則的作用。
360搜索引擎于2012年8月16日上線。在此之前，360依靠免費(fèi)策略徹底改變了互聯(lián)網(wǎng)安全市場，隨后掀起“3Q大戰(zhàn)”，讓互聯(lián)網(wǎng)大佬騰訊極為被動。這一次，互聯(lián)網(wǎng)搜索霸主百度也不免為之虎軀一震。果然，“3B大戰(zhàn)”瞬間開打。
據(jù)第三方公司Hitwise數(shù)據(jù)顯示，截至2012年8月26日，百度、360、谷歌、搜狗、騰訊搜搜的份額依次為56.44%、10.22%、7.54%、7.14%、4.72%。
也就是說，360搜索引擎上線僅10天，就搶占了搜索市場的十分之一，并讓百度丟掉了近6%的市場份額。
一場國內(nèi)互聯(lián)網(wǎng)發(fā)展史上留名的“828夜戰(zhàn)”打響了。2012年8月28日晚上9時(shí)左右，百度開始在小范圍進(jìn)行測試：用戶通過360綜合搜索訪問百度知道、百科、貼吧等服務(wù)時(shí)，將會強(qiáng)行跳轉(zhuǎn)至百度首頁。
360隨后展開對攻，用戶在360瀏覽器中使用360綜合搜索時(shí)，點(diǎn)擊來自百度相關(guān)服務(wù)的搜索結(jié)果，會被直接帶至“網(wǎng)頁快照”頁面。根據(jù)部分頁面上提示的時(shí)間，這些百度頁面的快照，應(yīng)該是360搜索當(dāng)日傍晚存儲的。
雙方采取這些舉措的根源就是Robots協(xié)議。由于360搜索未被百度列入Robots協(xié)議的白名單，360搜索就無法爬取百度知道、百科、貼吧中的海量內(nèi)容。雖然其時(shí)，360搜索宣稱“擁有13000多臺服務(wù)器，龐大的蜘蛛爬蟲系統(tǒng)每日抓取網(wǎng)頁數(shù)量10多億，引擎索引的優(yōu)質(zhì)網(wǎng)頁數(shù)量超過200億”。
360搜索越過了Robots協(xié)議，直接向用戶提供百度網(wǎng)頁的快照。當(dāng)時(shí)，百度工程師趙明華在微博中稱，“360搜索不顧Robots協(xié)議肆意抓取百度數(shù)據(jù)，是一種不遵守互聯(lián)網(wǎng)基本協(xié)議的行為，對全體網(wǎng)民的隱私和安全都會造成威脅，也破壞網(wǎng)民完整的搜索體驗(yàn)”，直斥360為偷竊數(shù)據(jù)(小偷)、劫持用戶(強(qiáng)盜)、欺騙(騙子)合作伙伴(主要是中小站長)。
理解“3B大戰(zhàn)”，首先需要理解什么是Robots協(xié)議。
Robots協(xié)議的英文全稱為Robots Exclusion Protocol，直譯為機(jī)器人排除協(xié)議，又可稱為爬蟲協(xié)議、機(jī)器人協(xié)議，是指網(wǎng)站所有者設(shè)置于網(wǎng)站根目錄下的一個(gè)文本文件，即robots.txt。
為了提高網(wǎng)絡(luò)用戶獲取信息的效率，搜索引擎出現(xiàn)，但同時(shí)也帶來了新問題：
一是網(wǎng)絡(luò)機(jī)器人過快抓取或重復(fù)抓取相同的網(wǎng)頁內(nèi)容導(dǎo)致受訪網(wǎng)站的服務(wù)器過載，影響網(wǎng)站正常運(yùn)行，降低了抓取的效率；
二是一些網(wǎng)絡(luò)機(jī)器人抓取網(wǎng)站管理后臺的內(nèi)部信息、臨時(shí)性文件、cgi腳本等對網(wǎng)絡(luò)用戶沒有使用價(jià)值的信息。
這些問題表明，需要建立一種受訪網(wǎng)站與搜索引擎的網(wǎng)絡(luò)機(jī)器人之間的交互方式，通過這種方式，網(wǎng)站所有者能夠提示網(wǎng)絡(luò)機(jī)器人哪些網(wǎng)頁內(nèi)容沒有必要抓取，從而引導(dǎo)其抓取對網(wǎng)絡(luò)用戶有用的信息。
為解決上述問題，荷蘭網(wǎng)絡(luò)工程師Martijn Koster于1994年初首先提出通過在網(wǎng)站的根目錄下設(shè)置robots.txt文件的方式來提示搜索引擎的網(wǎng)絡(luò)機(jī)器人抓取的范圍。
1994年6月30日，一些網(wǎng)絡(luò)機(jī)器人設(shè)計(jì)者及愛好者在網(wǎng)絡(luò)機(jī)器人郵件組論壇上就Martijn Koster的提議達(dá)成一致意見，并形成了一個(gè)書面文檔《機(jī)器人排除標(biāo)準(zhǔn)》（《A Standard for Robot Exclusion》），其中有如下說明：“它不是一個(gè)由標(biāo)準(zhǔn)組織備案的官方標(biāo)準(zhǔn)，也不屬于任何商業(yè)組織。它沒有強(qiáng)制執(zhí)行力，也不能保證所有目前的或未來的網(wǎng)絡(luò)機(jī)器人將使用它。它是網(wǎng)絡(luò)機(jī)器人的設(shè)計(jì)者們提供給互聯(lián)網(wǎng)社區(qū)的一個(gè)通用工具，能夠保護(hù)服務(wù)器免受網(wǎng)絡(luò)機(jī)器人不必要的打擾?！?/p>
若某網(wǎng)站希望禁止任何搜索引擎的網(wǎng)絡(luò)機(jī)器人抓取，該網(wǎng)站的robots.txt文件寫法如下：
User-agent:*
Disallow:/
1997年，Martijn Koster向互聯(lián)網(wǎng)工程任務(wù)組（IETF，Internet Engineering Task Force）提交了一份名為《網(wǎng)絡(luò)機(jī)器人控制方法》（《A Method for Web Robots Control》）的互聯(lián)網(wǎng)草案（Internet-Draft），其中對如何設(shè)置robots.txt文件作了進(jìn)一步的說明。
IETF是互聯(lián)網(wǎng)領(lǐng)域最具權(quán)威的國際組織，其主要任務(wù)是制定互聯(lián)網(wǎng)領(lǐng)域的技術(shù)規(guī)范，絕大多數(shù)互聯(lián)網(wǎng)技術(shù)標(biāo)準(zhǔn)均出自IETF。任何人都可以向IETF提交互聯(lián)網(wǎng)草案，只有被IETF采納才會成為行業(yè)標(biāo)準(zhǔn)或規(guī)范。
然而，IETF至今仍未采納該草案。
2014年8月7日，百度起訴360不正當(dāng)競爭案一審宣判，百度勝訴，獲賠70萬元。但法院在這起案件中擱置了百度Robots協(xié)議拒絕360搜索的合理性問題。
（2014年8月7日，百度360不正當(dāng)競爭糾紛案宣判 來源：北京一中院）
此案中，北京一中院認(rèn)定，360搜索引擎在網(wǎng)絡(luò)用戶點(diǎn)擊原本鏈接到百度具體網(wǎng)頁的搜索結(jié)果時(shí)，直接鏈接至奇虎公司網(wǎng)頁快照界面，其行為明顯已經(jīng)超出網(wǎng)頁快照的合理范圍。這種行為構(gòu)成了不正當(dāng)競爭。
百度曾請求法院判令禁止360搜索抓取百度網(wǎng)站，但沒有得到法院支持。
法院認(rèn)為：百度在不知曉360提供搜索引擎服務(wù)的前提下，沒有將360搜索引擎加入其Robots協(xié)議的白名單內(nèi)并無不當(dāng)。但是在360推出搜索引擎之后，尤其是在雙方爭議短時(shí)間內(nèi)快速升級，行政機(jī)關(guān)和行業(yè)協(xié)會已經(jīng)積極介入調(diào)處，360也明確表示希望抓取原告網(wǎng)站內(nèi)容的前提下，百度既沒有充分闡明如此設(shè)置Robots協(xié)議的理由，又拒絕修改其Robots協(xié)議。
事實(shí)上，根據(jù)今年7月北京高院作出的判決書披露，當(dāng)年北京一中院已經(jīng)就百度Robots協(xié)議是否合理留出了余地：“鑒于本案360對于百度將其網(wǎng)站相關(guān)欄目設(shè)置的Robots協(xié)議是否正當(dāng)已經(jīng)另行提起訴訟，對于網(wǎng)站服務(wù)商或所有者設(shè)置Robots協(xié)議限制搜索引擎爬蟲機(jī)器人抓取的合理理由的范圍不予評述，留待后續(xù)案件中，在雙方當(dāng)事人充分闡明對合理理由的意見后，再行判定?！?/p>
2012年“828夜戰(zhàn)”打響后，宜搜CEO汪溪接受媒體采訪時(shí)認(rèn)為，與“3Q大戰(zhàn)”“二選一”、速戰(zhàn)速決的打法不同，“3B大戰(zhàn)”將是“小刀刮肉”式的持久戰(zhàn)。
此話一語成真?！?B大戰(zhàn)”引發(fā)了多起訴訟，雙方互有勝負(fù)，延續(xù)至今。2013年10月，360起訴百度不正當(dāng)競爭，此案至今仍在二審之中。
但360起訴百度Robots協(xié)議設(shè)置不合理，則將“3B大戰(zhàn)”的層次從商戰(zhàn)拉升到了互聯(lián)網(wǎng)規(guī)則層面。
此案的爭議焦點(diǎn)為：百度通過設(shè)置Robots協(xié)議的方式限制360搜索引擎抓取其相關(guān)網(wǎng)頁內(nèi)容是否構(gòu)成不正當(dāng)競爭。
在法律界，形成了完全相反的觀點(diǎn)：有人認(rèn)為如何設(shè)置Robots協(xié)議是百度的經(jīng)營自由，有人則認(rèn)為Robots協(xié)議的初衷是為了促進(jìn)信息共享，應(yīng)該保障互聯(lián)網(wǎng)的開放、公平。最終，法院采納了后一種觀點(diǎn)。
在判決書中，法院舉了一個(gè)形象的例子。
如果把網(wǎng)站比作一個(gè)對公眾開放的博物館，Robots協(xié)議就相當(dāng)于在博物館入口處懸掛的提示牌，告知游客哪些區(qū)域不對外開放，如：“本館三樓301-302室正在裝修、四樓為辦公區(qū)，謝絕參觀”。
提示牌的目的并不是限制游客的正常參觀活動，而是通過提示游客哪些區(qū)域?yàn)榉菂⒂^區(qū)，從而引導(dǎo)游客更有效的參觀游覽。
提示牌的內(nèi)容對所有游客應(yīng)一視同仁，如果要禁止某一類人進(jìn)入?yún)⒂^，則需要有合理、正當(dāng)?shù)睦碛?，如可基于安全的考慮，禁止無民事行為能力人進(jìn)入?yún)⒂^。在缺乏合理、正當(dāng)理由的情況下，禁止某一類人進(jìn)入一個(gè)對公眾開放的博物館參觀顯然是不合理的。
2012年11月1日，在中國互聯(lián)網(wǎng)協(xié)會的牽頭組織下，十二家互聯(lián)網(wǎng)企業(yè)簽署了《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》（簡稱《自律公約》）。該公約第八條規(guī)定：互聯(lián)網(wǎng)所有者設(shè)置機(jī)器人協(xié)議應(yīng)遵循公平、開放和促進(jìn)信息自由流動的原則，限制搜索引擎抓取應(yīng)有行業(yè)公認(rèn)合理的正當(dāng)理由。
法院認(rèn)為，任由互聯(lián)網(wǎng)公司設(shè)置Robots協(xié)議會導(dǎo)致以下后果：
第一，影響了360搜索引擎的正常運(yùn)行。百度對Robots協(xié)議的設(shè)置方式導(dǎo)致360搜索引擎無法抓取其相關(guān)網(wǎng)站的網(wǎng)頁內(nèi)容，使得360搜索引擎的功能無法正常發(fā)揮，從而直接影響360搜索引擎用戶的上網(wǎng)體驗(yàn)，進(jìn)而可能導(dǎo)致360搜索引擎的網(wǎng)絡(luò)用戶流失。
第二，損害了相關(guān)消費(fèi)者的利益。影響網(wǎng)絡(luò)用戶對360搜索引擎使用體驗(yàn)的同時(shí)，迫使存在相關(guān)信息檢索需求的網(wǎng)絡(luò)用戶不得不更換其他搜索引擎，從而影響網(wǎng)絡(luò)用戶自主選擇的決定權(quán)，增加了選擇成本。
第三，將導(dǎo)致360搜索引擎與百度之間交易機(jī)會和競爭優(yōu)勢的“此消彼長”。用戶放棄使用360搜索引擎，在導(dǎo)致360搜索引擎的交易機(jī)會和競爭優(yōu)勢受到削弱的同時(shí)，一定程度上增加了百度搜索引擎的交易機(jī)會和競爭優(yōu)勢。
事實(shí)上，包括互聯(lián)網(wǎng)工程任務(wù)組在內(nèi)的一些重要的國際組織拒絕采納Robots協(xié)議作為行業(yè)標(biāo)準(zhǔn)的原因就是考慮到少數(shù)行業(yè)巨頭可能會利用Robots協(xié)議本身的漏洞而將其作為壟斷的工具。
第四，有違公平競爭原則，擾亂了正常的互聯(lián)網(wǎng)競爭秩序。百度對Robots協(xié)議的利用方式，是將其他經(jīng)營者區(qū)別對待，此種有針對性、歧視性的設(shè)置方式，有違公平競爭原則。此種行為與互聯(lián)網(wǎng)發(fā)展普遍遵循的開放、平等、協(xié)作、分享原則不符，若任由其發(fā)展，可能導(dǎo)致同行業(yè)經(jīng)營者的效仿，從而有損社會公共利益。
21世紀(jì)經(jīng)濟(jì)報(bào)道記者發(fā)現(xiàn)，目前在360搜索已經(jīng)可以正常搜索并打開百度的網(wǎng)頁內(nèi)容。
此役過后，在公平、開放的競爭環(huán)境下，百度仍然牢牢占據(jù)國內(nèi)搜素引擎市場的最大份額，360搜索得到了有效發(fā)展，新的搜索產(chǎn)品也在不斷出現(xiàn)。
艾媒咨詢《2018中國PC搜索市場專題報(bào)告》顯示，百度仍然占據(jù)56%的流量份額，360搜索流量份額35.2%居于第二。而艾媒咨詢《2019-2020年中國移動搜索市場運(yùn)行監(jiān)測報(bào)告》顯示，百度移動搜索的用戶份額為71.1%，神馬搜索、搜狗搜索的用戶份額分別為40.3%、32%。
更多內(nèi)容請下載21財(cái)經(jīng)APP
