哈希空间

网站屏蔽爬虫 mj12bot ahrefs YisouSpider

在 nginx 配置文件 / 部分中里写入

if ( $http_user_agent ~* (mj12bot|ahrefs|YisouSpider) ) { return 403; }

这样就可以通过 nginx 的 http_user_agent 来下进行字符串匹配,屏蔽 mj12bot或 ahrefs 或 YisouSpider 爬虫。还可以自行扩展。

修改配置文件后,记得运行 nginx -s reload 让配置生效。

可以通过curl 命令进行测试,-A 参数可以指定 http_user_agent

curl 'https://www.hashspace.cn/server-bot-spider.html' -A'ahrefsbot'

nginx 会直接返回 403 无权限访问页面

<html> <head><title>403 Forbidden</title></head> <body> <center><h1>403 Forbidden</h1></center> <hr><center>nginx</center> </body> </html>

本文 最佳观看地址:https://www.hashspace.cn/server-bot-spider.html 阅读 759

打开 哈希空间 微信小程序中查看更佳