V2EX › ssllff123 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2016 年 11 月 28 日

我已经解决了，如果用 celery ， backend 不要用 rabbitmq ，因为， celery 会自动给每个任务的结果建立一个队列，所以队列越来越多，越来越多。

celery 确实不是队列，可能我的问题没有描述清楚。

2016 年 10 月 17 日

54 祝股票顺利

2016 年 10 月 10 日

@for4 我和你想的一样，但是有些问题
1 ，是不是 celery 就可以自动多线程了。任务只需要实现爬虫的功能就可以了。
2 ，感觉并不快啊。
3 ，可否有写好的项目看看

2016 年 9 月 12 日

好吧。发现多开并没有提高多少效率。现在能提高效率的应该就是 redis 了。

2016 年 9 月 9 日

@knightdf scrapy 实现了这个功能。 scrapy-redis 但是我正在学习中

2016 年 9 月 9 日

@oceantree 能不能请教怎么处理的 js 啊