哈希空间
服务器
网站屏蔽爬虫 mj12bot ahrefs YisouSpider
在 nginx 配置文件 / 部分中里写入
if ( $http_user_agent ~* (mj12bot|ahrefs|YisouSpider) ) {
return 403;
}
这样就可以通过 nginx 的 http_user_agent 来下进行字符串匹配,屏蔽 mj12bot或 ahrefs 或 YisouSpider 爬虫。还可以自行扩展。
修改配置文件后,记得运行 nginx -s reload
让配置生效。
可以通过curl 命令进行测试,-A 参数可以指定 http_user_agent
curl 'https://www.hashspace.cn/server-bot-spider.html' -A'ahrefsbot'
nginx 会直接返回 403 无权限访问页面
<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx</center>
</body>
</html>
本文 最佳观看地址:https://www.hashspace.cn/server-bot-spider.html 阅读 759