欢迎来访-小涛SEO技术博客,专注分享SEO技术,SEO思维;提供网站SEO诊断,SEO优化;

实战分享-教你怎么一步判断真假Baiduspider

SEO学习分享 小涛SEO 960浏览 0评论

教你怎么一步判断真假Baiduspider

百度蜘蛛简单来说就是百度搜索引擎的一个自动程序。用来爬取、访问、收集、整理互联网上的网页、图片、视频等内容,然后分类建立索引数据库,使用户在百度中搜索时能找到自己需要的网页、图片、视频等内容。

那对于站长们来说,判断百度蜘蛛的真假显得尤为重要,经常有些站长因为不了解Baiduspider可能对其进行了屏蔽,导致网站无法正常被爬取。也有一些站长说在网站日志里看到百度蜘蛛访问网站过于频繁,已经超过服务器的承受能力,想屏蔽它又不敢屏蔽,怕屏蔽错了。

那怎么去判断是否是真的百度蜘蛛在访问我们的网站呢!通常来说,百度蜘蛛常见的ip段只有2个,一个是电信(220.181.108.*)、一个是网通(123.125.71.*),我们可以通过DNS反解IP得方式来识别是否是真的Baiduspider。Baiduspider的hostname以 *.baidu.com *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 也就是假的百度蜘蛛。

一、主机是Linux平台的,可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取,例如:

host 123.125.66.120

120.66.125.123.in-addr.arpa domain name pointer

baiduspider-123-125-66-120.crawl.baidu.com.

host 119.63.195.254

254.195.63.119.in-addr.arpa domain name pointer

BaiduMobaider-119-63-195-254.crawl.baidu.jp.

二、主机是Windows平台的,可以用nslookup命令来反解IP,点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”,比如IP为123.125.71.97,会出现如下图:

nslookup命令来反解IP

我们可以看到红框内出现Baiduspide并且以.baidu.com格式结尾,说明这是真的百度蜘蛛。

百度蜘蛛不会以其它任何形式去访问用户网站,只要是百度的IP段,代码中肯定会有名称为Baiduspide且以 *.baidu.com *.baidu.jp 的格式命名,其它任何形式的都属于假冒蜘蛛。

假冒蜘蛛的危害:

1、占用网络带宽,无效流量上涨。

2、在有限的带宽情况下,影响正常蜘蛛抓取网页。

3、对SEO优化工作带来影响

因此发现是假冒采集蜘蛛,我们要及时的使用robots屏蔽其IP,禁止频繁访问网站给服务器带来过大压力。

转载请注明:深圳SEO技术博客_专注网站关键词排名,SEO技术经验分享 » 实战分享-教你怎么一步判断真假Baiduspider