网站屏蔽爬虫 mj12bot ahrefs YisouSpider

在 nginx 配置文件 / 部分中里写入


if ( $http_user_agent ~* (mj12bot|ahrefs|YisouSpider) ) {     
  return 403;
}

这样就可以通过 nginx 的 http_user_agent 来下进行字符串匹配，屏蔽 mj12bot或 ahrefs 或 YisouSpider 爬虫。还可以自行扩展。

修改配置文件后，记得运行 nginx -s reload 让配置生效。

可以通过curl 命令进行测试，-A 参数可以指定 http_user_agent


curl 'https://www.hashspace.cn/server-bot-spider.html' -A'ahrefsbot'

nginx 会直接返回 403 无权限访问页面


<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx</center>
</body>
</html>

服务器

Hello！需要输入验证码