怎么判断是真Google的蜘蛛还是伪造user-agent的蜘蛛。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4702 天前的主题，其中的信息可能已经有所发展或是发生改变。

想屏蔽掉那些假的爬虫。咋办呢！

蜘蛛

屏蔽掉

user

12 条回复 • 1970-01-01 08:00:00 +08:00

Cadina

2013 年 3 月 3 日

http://www.iplists.com
善用搜索啊

liuxurong

2013 年 3 月 3 日

@Cadina 感谢，好人.

liuxurong

2013 年 3 月 3 日

@Cadina 似乎年代久远了点，很多IP没都有啊。

explon

2013 年 3 月 3 日 via iPhone

判断客户端支持不支持 Flash 可以干掉大部分

liuxurong

2013 年 3 月 3 日

@explon google真的蜘蛛也不支持Flash吧？..

keithl

2013 年 3 月 3 日

reverse dns

explon

2013 年 3 月 3 日 via iPhone

@liuxurong 屏蔽支持的啊

run2

2013 年 3 月 3 日

@explon 普通的curl会被v2ex服务器报400 Bad Request,加了ua就不会了，curl -A "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5"
curl哪传的过去是否有flash，你怎么判断的到？

liuxurong

2013 年 3 月 3 日

@explon 我是防假蜘蛛，不是防真人類。假蜘蛛一樣不支持。

liuxurong

2013 年 3 月 3 日

@explon 不过还是谢谢你。

swulling

2013 年 3 月 3 日

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=80553

liuxurong

2013 年 3 月 3 日

@swulling 终极解决方案。谢谢。