被蜘蛛爬死的惨案。。。。

zhaohengde · 发表于 2012-7-20 17:14:05

robots.txt <meta name="jikespider" content="nofollow">

慕容咩咩 · 发表于 2012-7-20 17:16:52

看到很多404。。。

geyunbing · 发表于 2012-7-20 17:25:30

提示: 作者被禁止或删除内容自动屏蔽

满意沟通 · 发表于 2012-7-20 17:27:24

这个垃圾蜘蛛早就改屏蔽了

只看该作者 · 发表于 2012-7-20 17:28:49

提示: 作者被禁止或删除内容自动屏蔽

wdlth · 发表于 2012-7-20 17:43:45

Google CC对Google PSS的站伤害最大，惨无人道的爬。

李院长 · 发表于 2012-7-20 17:56:40

国内的搜索引擎，把只留了baidu，其它全部ban掉了

收录再多也带来不了几个访问量，得不偿失

藐视天地 · 发表于 2012-7-20 18:53:01

蜘蛛全部屏蔽

360安全卫士 · 发表于 2012-7-20 18:56:28

kwx 发表于 2012-7-20 17:02
木办法，玩的就是内存

你错了，死的地方是在于运算。运算开销的不只是内存

360安全卫士 · 发表于 2012-7-20 18:57:21

李院长发表于 2012-7-20 17:56
国内的搜索引擎，把只留了baidu，其它全部ban掉了

收录再多也带来不了几个访问量，得不偿失 ...

求院长给份垃圾蜘蛛黑名单，拜谢

		自动登录	找回密码
密码			注册