V2EX › fate0 的所有回复 › 第 1 页 / 共 1 页

@samray 可能我说的不清楚，我现在说的就是分布式爬虫的情况，可以稍微修改一下 scrapy-redis 里的 dupefilter 文件，不使用之前 redis set 去重的方式，在这里改成使用 bloom filter，将 bloom filter 所使用的 bit 数组用 Redis 的 bitmap 进行存取。其他地方不需要修改。

2017 年 6 月 22 日

回复了 samray 创建的主题 › Python › 从京东"窃取"150+万条数据 (爬虫)

@samray 1000+w 的数据去重也可以用 bloom filter 啊，就用 Redis 的 bitmap 存 bit 数组就可以了。

2017 年 6 月 22 日

回复了 samray 创建的主题 › Python › 从京东"窃取"150+万条数据 (爬虫)

@samray https://github.com/aivarsk/scrapy-proxies 这代码也是从一个文本读内容啊，完全可以自己实现一个 download middleware 从 redis 里取。

2017 年 6 月 21 日

回复了 samray 创建的主题 › Python › 从京东"窃取"150+万条数据 (爬虫)

@samray 这不算什么问题吧，出现 exception 就换下一个代理，商业代理偶尔也有抽风的时候，也会出现下一刻不可用，就看换代理的频率是不是可以接收的范围内。

2017 年 6 月 21 日

回复了 samray 创建的主题 › Python › 从京东"窃取"150+万条数据 (爬虫)

@samray readme 里说可以全加载到内存，只不过想体现这个程序的方便而已，我个人喜欢把所有的代理都放在 redis 里，每间隔 15min 就把 proxylist 拉下来换一批，2000+个代理，15min 内一般项目一般都够用了，用 proxylist 的优点是自己不用再维护一个 proxy pool, 缺点是没法给每个 proxy 打分统计、proxylist 上的代理，可能在某个地区没法使用。

2017 年 6 月 21 日

回复了 samray 创建的主题 › Python › 从京东"窃取"150+万条数据 (爬虫)

代理部分，下次可以试试我写的代理程序 [https://www.v2ex.com/t/369905]( https://www.v2ex.com/t/369905) (｡・`ω´･)

2017 年 6 月 21 日

回复了 fate0 创建的主题 › Python › 写了个抓代理程序，维护了个代理池

@inmyfree 之前也想抓这个网站，但是这个网站更新的速度是小时级的...后期可能会加上去，不过数据肯定不是全抓下来。

2017 年 6 月 21 日

回复了 fate0 创建的主题 › Python › 写了个抓代理程序，维护了个代理池

@v1024 拿 travis 干这事感觉挺好的，免费、方便、不被墙 =。=

2017 年 6 月 21 日

回复了 fate0 创建的主题 › Python › 写了个抓代理程序，维护了个代理池

@mingyun 那几个网站被国内墙了呗，等着看其他网站的结果就好了。

2017 年 4 月 5 日

回复了 prasanta 创建的主题 › Python › Python 开源项目结构总结

可以看看这个模版 https://github.com/audreyr/cookiecutter-pypackage