百度与360公司爬虫机器人不正当竞争纠纷案,又被称为Robots协议案,是中国搜索领域爬虫机器人竞争第一案,该案关系互联网行业尤其是搜索引擎的基本游戏规则而广泛被业界、政府和网民关注。8月7日,该案宣判,北京市第一中级人民法院驳回了百度有关不正当竞争的诉求,表明百度单方面利用歧视性Robots协议打击竞争对手的行为不会被公众和法庭所支持,而360则可以继续抓取百度的内容网站。
据悉,Robots协议由荷兰籍网络工程师Martijn Koster于1994年首次提出,是一个被放置在网站中的.TXT文件,为搜索引擎爬虫做出提示,设置允许与不允许两种语句,网络爬虫据此“自觉地”抓取或者不抓取该网页内容。Robots协议的目的,是为了保障著作权、保护个人隐私,尽可能地让互联网健康发展。
虽然名为“协议”,但Robots协议只是行业惯用的说法。它既不是法律意义上的协议,也不是国际组织采纳的标准,因此不受任何机构保护。而百度的Robots协议的特别之处,在于其白名单机制——允许除360之外的搜索引擎访问百度网站,这种白名单在全球是绝无仅有的。
法院判360搜索可抓取百度内容:自由竞争的胜利 请看下一页
“从百度对360的诉讼来看,有不公平竞争之嫌。”知名IT人士于刚表示,把Robots协议的作用强调于奇虎360身上,而自己却在抓取其他搜索引擎内容或网站里的视频、音乐文件时忽视Robots协议。这样的行为,并非Robots协议初衷。
己所不欲勿施于人,为何百度在robots协议面前,采用两套做法?答案很简单,打击和封堵直接竞争对手360搜索的自由发展。
业内人士分析,360的产品一向以迅速扩张著称,当年白手起家的安全产品如此,今日拥有几亿用户并有入口优势的360更不容小觑。而搜索,是百度的根本,百度不会坐以待毙,眼看着搜索市场被360分割。