有豆瓣的同事吗？想请教下豆瓣的反爬策略

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3255 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题，能否有人剖析下豆瓣的反爬策略

第 1 条附言 · 2017 年 2 月 17 日

评论区炸锅了。。。

第 2 条附言 · 2017 年 2 月 17 日

我的 IP 应该被加入了豆瓣的黑名单。

检测到有异常请求从你的 IP 发出，请登录使用豆瓣。

第 3 条附言 · 2017 年 2 月 17 日

我不是豆瓣员工，标题输入有误。

我是写了一个代理 IP 工具目前用豆瓣做测试，结果把我自己的原始 IP 封了。

豆瓣

反爬

策略

请教

25 条回复 • 2017-02-20 11:15:35 +08:00

knightdf

2017 年 2 月 17 日

这能告诉你？

gimp

2017 年 2 月 17 日

买海量代理可解决绝大部分反爬问题

linbiaye

2017 年 2 月 17 日

这是要人吃豆瓣的饭砸豆瓣的锅。

murmur

2017 年 2 月 17 日

兄弟这不厚道啊

wangyifei6817

2017 年 2 月 17 日

有法院的同事吗？想请教下现行法律有什么漏洞

xidianlz

2017 年 2 月 17 日

有福彩中心的同事吗？想请教下下一期中奖号码是多少

quietcoder

2017 年 2 月 17 日

有监狱的同事吗？想请教一下怎么越狱

jixiangqd

2017 年 2 月 17 日

@wangyifei6817
@xidianlz
@quietcoder
都好 6 ，哈哈哈哈

HGladIator

2017 年 2 月 17 日 via iPhone

有钻石矿井的同事吗？想请教一下怎么哪点儿回家

expkzb

2017 年 2 月 17 日

看标题，楼主应该在豆瓣工作

phrack

2017 年 2 月 17 日 via Android

@expkzb 很明显不是

expkzb

2017 年 2 月 17 日

@phrack 所以为什么是“同事”呢？

yopming

2017 年 2 月 17 日

我觉得楼主是也要建立反爬机制吧

lhbc

2017 年 2 月 17 日 via iPhone

有银行的同事吗？我想请教下小型机的和审计系统的 root 密码。

engHacker

2017 年 2 月 17 日 via iPhone

@expkzb 楼主语文自学的

Famio

2017 年 2 月 17 日

我知道有一个人知道，而且这个人开发了收集豆瓣小组里妹子福利图片的 app ……

ywgx

2017 年 2 月 17 日

入职豆瓣，加白名单自己的 IP

sunchen

2017 年 2 月 17 日

没什么反爬啊

lhbc

2017 年 2 月 17 日 via iPhone

@expkzb 如果楼主是豆瓣员工，在公共论坛讨论公司机密。最轻最轻的处罚应该是开除，如果造成信息安全事故，可能还得承担民事或者刑事责任。
如果楼主不是豆瓣员工，那一定是伸手惯犯。

julypanda

2017 年 2 月 17 日

@yopming 或者是反-反爬机制

em70

2017 年 2 月 17 日 via Android

豆瓣防盗链就是按频率的，白天一分钟超过 40 次就出验证码，晚上放宽到 60

okboom

2017 年 2 月 17 日

代理就能解决，邪恶点用 tor 就可以( ╯□╰ )

wmttom

2017 年 2 月 17 日 via iPhone

以前做过的豆瓣抓取是，伪装真实浏览器 cookie ，每个 cookie 每分钟请求几十次，高频率容易被封 ip ，保持出验证码的低频多代理。然后出验证码都是英语单词，简单处理下背景，找个 OCR 接口一调，再做下单词纠错，自动提交验证码继续抓。

xrlin

2017 年 2 月 18 日

我的 ip 也被拉黑了，今天用 pyspider 爬取一些豆瓣的一些信息拿来练习下数据分析つ﹏⊂

IanPeverell

2017 年 2 月 20 日 via iPhone

可能会根据你的请求频率，短时间内请求数量，以及请求间隔是否有规律
所以我的想法是多代理，设随机不少于一定数值的延迟