最近有一台服务器被一些采集快拖死了，整了几天了，也没有找到比较好的办法来处理
下午无意中想到，能否让客户端必须先写入cookie或是加载js后，才能正常进入网站。因为爬虫或采集基本都不能正常写入cookie或加载JS
通过判断cookie的方式来进行一些限制，在用户打开站点时，写入cookie，然后通过cookie中的值来进行判断，如果不匹配就返回空，除开搜索引擎的爬虫，如果客户端无法写入这个cookie也就无法正常加载站点。测试下来基本ok，但是因为要在用户第一次打开的过程中写入cookie，就必然有一次跳转的动作，用户体验不是太好
还有就是通过AJAX的方式GET一个值给python，然后python进行验证，验证不通过则返回为空，这个我没测试，理论上是行得通的。我这暂时用了cookie的方式，虽然用户体验差了点，但至少能保证大部分真实用户的正常访问
不知道各位看官有没有什么比较好的办法？谢谢
BTW：这Firefox升级的太猛烈了，升级到8.0.1后，FCKeditor直接挂掉了，杯具，第一次用HTML写blog，NND，突然想起了《社交网络》，回归原始社会了哦，杯具，漏洞目录
2011-11-27, 23:55:00