cloudflare cdn百度蜘蛛爬虫抓取失败解决

你的网站能不能被百度收录,首先要测试抓取

https://ziyuan.baidu.com/crawltools/

如果显示几次抓取失败,那么很有可能防火墙阻止了爬虫。

特别是你使用cloudflare cdn那么默认是阻止的

网上说的添IP xxx.xxx.xxx.xxx/24 然而,我试了并没有用。

解决办法:

进cloudflare选中文语言 防火墙--防火墙规则

分别or添加包含以下 用户代理 (user agent)

百度内容抓取蜘蛛UA关键字:

Baiduspider/2.0

Baiduspider-image

Baiduspider-render/2.0

http://www.baidu.com/search/spider.html

如图示操作。

完成后再次测试抓取,结果可以了

其它蜘蛛爬虫的User Agent你可以自己百度搜索一下,方法相同。

点赞

发表评论

电子邮件地址不会被公开。必填项已用 * 标注