ssllff123 最近的时间轴更新 ssllff123 最近的时间轴更新 |
ssllff123V2EX 第 155553 号会员，加入于 2016-01-15 12:17:25 +08:00 |
| [开源] serpapi 一秒平替， Bing 搜索结果随便用， 无需翻墙，无需费用 Chamber • ssllff123 • 2025 年 7 月 11 日 |
| 知乎免登录谷歌插件 分享创造 • ssllff123 • 2020 年 12 月 5 日 • 最后回复来自 abcd191898105 | 5 |
| celery+rabbitmq ，为什么不是在 celery 队列里面存 问与答 • ssllff123 • 2016 年 11 月 28 日 • 最后回复来自 ssllff123 | 3 |
| scrapy 如何多开 问与答 • ssllff123 • 2016 年 9 月 12 日 • 最后回复来自 ssllff123 | 6 |
ssllff123 最近回复了
2016 年 11 月 28 日 回复了 ssllff123 创建的主题 › 问与答 › celery+rabbitmq ，为什么不是在 celery 队列里面存 |
我已经解决了，如果用 celery ， backend 不要用 rabbitmq ，因为， celery 会自动给每个任务的结果建立一个队列，所以队列越来越多，越来越多。
celery 确实不是队列，可能我的问题没有描述清楚。
celery 确实不是队列，可能我的问题没有描述清楚。
2016 年 10 月 17 日 回复了 dongweiming 创建的主题 › 推广 › 赠送几本《Python Web 开发实战》 |
54 祝股票顺利
2016 年 10 月 10 日 回复了 xdeng 创建的主题 › 程序员 › 你们都用什么来做爬虫的 |
2016 年 9 月 12 日 回复了 ssllff123 创建的主题 › 问与答 › scrapy 如何多开 |
好吧 。发现多开并没有提高多少效率。现在能提高效率的应该就是 redis 了。
2016 年 9 月 9 日 回复了 wangleineo 创建的主题 › 问与答 › 怎样设计一个分布式的爬虫服务？ |
@knightdf scrapy 实现了这个功能。 scrapy-redis 但是我正在学习中
2016 年 9 月 9 日 回复了 oceantree 创建的主题 › 分享发现 › 手把手爬虫教你写爬虫---电商爬虫、互联网金融爬虫 |
@oceantree 能不能请教怎么处理的 js 啊
Select Language