全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

IP归属甄别会员请立即修改密码
查看: 3097|回复: 16
打印 上一主题 下一主题

.htaccess 屏蔽垃圾蜘蛛

[复制链接]
跳转到指定楼层
1#
发表于 2012-7-20 17:34:03 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
本帖最后由 满意沟通 于 2012-9-14 17:19 编辑

很多不安robots.txt的来的
在用.htaccess 搞一下
运行出错的时候自己删掉部分 排查
  1. <IfModule mod_rewrite.c>
  2.         RewriteEngine on
  3.         RewriteCond %{HTTP_USER_AGENT} "360space|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu|Collapsar" [NC]
  4.         RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [F=403,L]

  5. </IfModule>
复制代码
文章来源:http://www.yilufafa.net/Linux-hosting-use-htaccess-file-to-prevent-bad-robots

评分

参与人数 2威望 +35 收起 理由
小夜 + 20 赞一个!
ihack520 + 15 很好

查看全部评分

17#
发表于 2012-7-25 15:34:10 | 只看该作者
感谢分享,做个标记!

评分

参与人数 2威望 +20 收起 理由
辰景 + 15 神马都是浮云
春哥 + 5 赞一个!

查看全部评分

16#
 楼主| 发表于 2012-7-25 15:05:01 | 只看该作者
增加 一个疑似奇虎家的
15#
发表于 2012-7-21 03:06:27 | 只看该作者
做个记号,用得着
14#
发表于 2012-7-21 02:54:56 | 只看该作者
标记
13#
 楼主| 发表于 2012-7-21 02:01:39 | 只看该作者
飞天金猪 发表于 2012-7-20 22:43
360space  是什么?

这个经常只爬 favicon.ico
12#
发表于 2012-7-20 22:43:17 | 只看该作者
360space  是什么?
11#
发表于 2012-7-20 22:39:04 来自手机 | 只看该作者
马克
10#
发表于 2012-7-20 19:56:19 | 只看该作者
MARK
9#
 楼主| 发表于 2012-7-20 19:53:11 | 只看该作者
藐视天地 发表于 2012-7-20 18:50
好屌 我看不懂

亲 会用就好
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-1-15 04:23 , Processed in 0.068783 second(s), 14 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表