.htaccess 屏蔽垃圾蜘蛛

满意沟通 · 发表于 2012-7-20 17:34:03

本帖最后由满意沟通于 2012-9-14 17:19 编辑

很多不安robots.txt的来的
在用.htaccess 搞一下
运行出错的时候自己删掉部分排查

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} "360space|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu|Collapsar" [NC]
RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [F=403,L]
</IfModule>

复制代码

文章来源:http://www.yilufafa.net/Linux-hosting-use-htaccess-file-to-prevent-bad-robots

唐伯虎 · 发表于 2012-7-25 15:34:10

感谢分享，做个标记！

满意沟通 · 发表于 2012-7-25 15:05:01

增加一个疑似奇虎家的

信仰 · 发表于 2012-7-21 03:06:27

做个记号,用得着

汉陈帝国 · 发表于 2012-7-21 02:54:56

标记

满意沟通 · 发表于 2012-7-21 02:01:39

飞天金猪发表于 2012-7-20 22:43
360space 是什么？

这个经常只爬 favicon.ico

飞天金猪 · 发表于 2012-7-20 22:43:17

360space 是什么？

誓誓 · 发表于 2012-7-20 22:39:04

马克

hitsword · 发表于 2012-7-20 19:56:19

MARK

满意沟通 · 发表于 2012-7-20 19:53:11

藐视天地发表于 2012-7-20 18:50
好屌我看不懂

亲会用就好

		自动登录	找回密码
密码			注册