珠宝秤厂家
免费服务热线

Free service

hotline

010-00000000
珠宝秤厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

Robot协议不是行业标准只是搜索引擎的家规

发布时间:2020-02-14 06:01:56 阅读: 来源:珠宝秤厂家

硅谷网9月6日讯 鉴于网络安全与隐私的考虑,搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt,网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录,或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就会按照该文件中的内容来确定访问的范围。

最近,Robot协议又被拿来说事儿,有人说360违反Robot协议抓取搜索引擎搜索结果,还有人说着会引起行业大乱,随后似乎又有几个不知名的小网站随声附和。不过反驳之说,似乎只见诸文字,真对360搜索反感的网站倒还真没见到。

Robots协议是什么?在百科网站里的定义,robot协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

当搜索蜘蛛访问站点时,它会首先检查网站根目录下是否存在Robots.txt。如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

Robot协议对于小白用户并不重要,之前也并不广为人知。最近和Robots相关的新闻都发生在电子商务网站,之前有两个:一个是京东屏蔽一淘的蜘蛛,另一个是淘宝屏蔽百度的蜘蛛。现在,3B大战闹得很凶,很多人把Robot协议拿出来说事儿。

而在我看来,Robot充其量是互联网江湖规矩、“潜规则”而已。

Google是互联网江湖的大佬,Robots的发展恰恰与Google的发展密不可分。

当年,谷歌凭借搜索引擎飞速发展,可很多大型网站原有的商业模式遭到了严重的破坏。为了维护自身的利益,一些欧美大网站联合起来与Google谈判,要求Google必须做到“有所为有所不为”,于是就有了“Robots协议”。

对于这份所谓的Robots协议,很多企业并不买账。毕竟,这只是谷歌自己制定的规范,并不是各大搜索厂商的共识或统一的协议,也从来没有任何一家国内搜索引擎服务商公开承诺遵守Robots协议或签署类似协议或声明。所以,在很多人眼里,充其量是谷歌的“家规”。

而事实上,这个由搜索引擎制定的协议,只会规定如何与网址分享内容,绝对不会对于搜索引擎不利的条款。伴随搜索引擎的发展,Robots协议朝着相反的法相发展:

Robots协议目的是为了限制谷歌,但最终却帮助Google和百度这样的垄断企业遏制了后起的竞争者。因为,Google当年在制定这个协议时,特意留下了后门,即:协议中不仅包括是否允许搜索引擎进行搜索的内容,还包括允许谁和不允许谁进行搜索内容。Google和百度在实现了垄断地位之后,就利用这些排斥性规则挡住了后来的进入者。

这样看来,Robots协议是互联网的一份“不平等条约”“垄断条款”。

值得一提的是,尽管Robot造成了搜索引擎的霸权与垄断,但当年制定条款的初衷却非常值得我们尊重。Robot制定的两个原则是:

1、搜索技术应服务于人类,尊重信息提供者的意愿,并维护其隐私权;

2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

现在,我们由Robot最初的两个初衷,却得到得到两个与众不同的答案:

抓取搜索页面无罪

既然,Robot协议的初衷是为了保护“信息提供的隐私”“最终信息提供者的意愿”,那么对于在搜索引擎结果中,再次抓取的行为则无罪可言:

搜索引擎的结果被抓取,实质上是经过了两次Robot。那么,如果第一次Robot是完全符合协议,保护了信息者的隐私,那么在已经保护了隐私的搜索结果里,再次检索,又怎能破坏隐私呢?

愿意把信息提供给百度的站长们,无非是希望访问用户增加、网站流量增加。那么,增加一个新的搜索引擎,检索其内容,为其带来更多流量和用户的时候,难道不是最大程度地满足信息提供者的意愿吗和需求?

所以,那些担心百度搜索结果被抓取的人们,或许你们是对百度太没信心了,你们太过于担心百度搜索结果中有“隐私”了!

搜索引擎有资格独占搜索结果么?

那么,百度能否以站长自居也使用Robot协议,拒绝其他搜索引擎的检索呢?显然不能。

对于Robot有人打了个比方:

如果将网站视为酒店里的一个房间,robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观,哪些房间因为存放贵重物品,或可能涉及住户及访客的隐私而不对搜索引擎开放。

如果房间代表是每个站长的权利,百度所抓取的内容就是整个酒店,事实上它并也没这个资格,因为搜索引擎是不生产内容的,所以,充其量百度是小区的物业。那么,物业有没有资格在大门口放一块“请勿打扰”的牌子呢?显然不能!因为,它代表不了站长,就像小区物业没法干涉你的好朋友去你家串门一样。

而且,搜索引擎不是制造内容和生产内容的网站,它不是内容的生产者(百度社区产品不在此讨论范围),就像物业一样,它只是一个托管者而已,它无权干扰和干涉它所检索的网站被更多的搜索引擎检索,更无权干涉搜索领域的后起之秀为中小网站带来更多的用户和流量。

所以,那些拿Robot协议说事儿的人们,请想想Robots的初衷是什么?是为了保护站长、内容的生产者,而不是保护搜索引擎。而现在,Robots已经变成“搜索引擎家规”和行业垄断的潜规则,这些搜索垄断巨头可对流量的垄断和控制力,正让让中小网站岌岌可危。

所以,笔者认为Robots最缺的,不是违反设立初衷去保护日益强悍的搜索引擎,而是对搜索引擎自身的制约。而要想最好最大程度地保护站长,只有让更多搜索引擎充分竞争,打破搜索引擎垄断,才能最大程度让利给站长,也是最快和最可行互联网和谐之路。

(责任编辑:硅谷网·)

上一篇:网宿科技与北京大学信息化与信息管理研究中达成合作关系

下一篇:互联网云时代-即将盛世来临 对“Robot协议不是行业标准,只是“搜索引擎的家规”。”发布评论

中山代理记账兼职

中山筹划税务方法

中山筹划税务如何合理避税