采集和防止采集是一个经久不息的话题，一方面都想搞别人的东西，另一方面不想自己的东西被别人搞走。
本文介绍如何利用nginx屏蔽ip来实现防止采集，当然也可以通过iptable来实现。
1.查找要屏蔽的ip 代码如下：
代码语言：javascript复制awk '{print $1}' nginx.access.log |sort |uniq -c|sort -n
nginx.access.log 为日志文件，会到如下结果，前面是ip的访问次数，后面是ip，很明显我们需要把访问次数多的ip并且不是蜘蛛的ip屏蔽掉，本例当中我们屏蔽掉 165.91.122.67 ... 13610 202.112.113.192 95772 180.169.22.135 337418 219.220.141.2 558378 165.91.122.67
2.在nginx的安装目录下面,新建屏蔽ip文件，命名为blockip.conf，以后新增加屏蔽ip只需编辑这个文件即可。 加入如下内容 代码如下：
代码语言：javascript复制deny 165.91.122.67;保存一下。
3.在nginx的配置文件nginx.conf中加入如下配置，可以放到http, server, location, limit_except语句块，需要注意相对路径，本例当中nginx.conf，blocksip.conf在同一个目录中。 代码如下： include blockip.conf;
4.重启一下nginx的服务：/usr/local/nginx/nginx -s reload 就可以生效了。
高级用法：
屏蔽ip的配置文件既可以屏蔽单个ip，也可以屏蔽ip段，或者只允许某个ip或者某个ip段访问。 代码如下：
代码语言：javascript复制# 屏蔽单个ip访问deny IP;
# 允许单个ip访问allow IP;
# 屏蔽所有ip访问deny all;
# 允许所有ip访问allow all;
#屏蔽整个段即从123.0.0.1到123.255.255.254访问的命令deny 123.0.0.0/8
#屏蔽IP段即从123.45.0.1到123.45.255.254访问的命令deny 124.45.0.0/16
#屏蔽IP段即从123.45.6.1到123.45.6.254访问的命令deny 123.45.6.0/24如果你想实现这样的应用，除了几个IP外，其他全部拒绝， 那需要你在blockip.conf中这样写： 代码如下：
代码语言：javascript复制allow 1.1.1.1; allow 1.1.1.2;deny all;单独网站屏蔽IP的方法，把include blocksip.conf; 放到网址对应的在server{}语句块， 所有网站屏蔽IP的方法，把include blocksip.conf; 放到http {}语句块。
屏蔽访问过于频繁的IP脚本需要根据实际的nginx log 格式,修改,取出 访问IP 和User-Agent. 在nginx配置文件中添加一条配置
屏蔽访问过于频繁的IP脚本需要根据实际的nginx log 格式,修改,取出 访问IP 和User-Agent. 在nginx配置文件中添加一条配置 代码如下：
代码语言：javascript复制include ./vhost/blockip.conf;脚本内容:
代码语言：javascript复制!/bin/bash nginx_home=/usr/local/webserver/nginx log_path=/usr/local/webserver/nginx/logs tail -n50000 /usr/local/webserver/nginx/logs/access.log |awk '{print $1,$12}' |grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou" |awk '{print $1}'|sort|uniq -c|sort -rn |awk '{if($1>1000)print "deny "$2";"}' >$nginx_home/conf/vhost/blockip.conf /etc/init.d/nginx reloa免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：zbxhhzj@qq.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。 转载本站文章请保留原文链接，如文章内说明不允许转载该文章，请不要转载该文章，谢谢合作。
