欢迎来访-小涛SEO技术博客,专注分享SEO技术,SEO思维;提供网站SEO诊断,SEO优化;

robots协议是什么

SEO基础问答 小涛SEO 845浏览 0评论

robots协议是什么

对于刚接触SEO的人可能对robots协议比较陌生,那么robots协议是什么呢,今天小涛就来给大家简单的说一下

robots协议,顾名思义就是一份协议,一种搜索引擎蜘蛛和网站达成的协议,通常放在站点根目录。Robots协议通常又叫爬虫协议、机器人协议等,学名叫“网络爬虫排除标准”(Robots Exclusion Protocol)。因为搜索引擎蜘蛛在爬取网站时,第一个访问的文件就是robots协议,那网站就可以通过Robots协议告诉搜索引擎蜘蛛网站的哪些页面可以抓取,哪些页面不能抓取。当一个搜索蜘蛛访问一个网站时,首先会检查在这个网站的站点根目录下是否有robots.txt,如果存在,搜索引擎蜘蛛就会按照该文件中的内容来确定访问的范围;如果robots.txt文件不存在,就是说所有的搜索引擎蜘蛛都可以访问网站上的页面。

那么robots协议应该怎么写呢,robots.txt文件是一个文本文件,用个常见的文本编辑器,就可以创建和编辑,例如记事本

robots格式

User-agent: *

Disallow:

allow:

“*”和”$”的含义

Baiduspider支持使用通配符”*”和”$”来模糊匹配url。

“$” 匹配行结束符。

“*” 匹配0或多个任意字符。

User-agent: 指定下面的规则适用于哪个蜘蛛

Disallow:  是告诉蜘蛛不要抓取某些文件或者目录

allow: 告诉蜘蛛应该抓取某些文件

例如: 禁止百度搜索引擎的访问

User-agent: Baiduspider
Disallow: /

例如: 允许百度搜索引擎的访问

User-agent: Baiduspider
allow: /

转载请注明:深圳SEO技术博客_专注网站关键词排名,SEO技术经验分享 » robots协议是什么