中小网站建议屏蔽DataForSeoBot爬虫。

近期通过日志分析发现DataForSeoBot爬虫最近大量抓取数据，且频次非常高，极大消耗服务器资源。它究竟是个什么来头？

DataForSeoBot官网：https://dataforseo.com/dataforseo-bot

DataForSeoBot爬虫是什么

许多人会将 DataForSEO Link Bot 视作另一个搜索引擎的网络爬虫。其实不然。

DataForSEO 是通过向世界各地的 SEO 爱好者和专业人士提供高质量的数据来创造公平的竞争环境。

换句话说，就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的，这些数据可以被用作SEO竞争分析、SEO软件开发、市场调查、甚至网络推广等方面。也就是说，对于被抓取的网站本身来说，无任何价值，甚至有数据被采集的负面影响。

如何禁止DataForSeoBot爬虫？

官网宣称DataForSeoBot爬虫支持robots.txt协议，但在百度搜索中发现，有站长吐槽它不太守规矩。所以建议通过同时使用以下两种方式来禁止它。

1、robots.txt方法

User-agent: DataForSeoBot
Disallow: /

2、通过修改Nginx或其它WEB服务器规则禁止抓取

Nginx禁止DataForSeoBot爬虫规则如下：

if ($http_user_agent ~ "DataForSeoBot/1.0" )
{
      return 403;
}

另外还可以通过禁止IP访问权限的方式，但IP地址可能会变更，所以不推荐封禁IP。