推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2314 天前的主题，其中的信息可能已经有所发展或是发生改变。
我当前是使用 queue 单向队列；
我需要实现功能如下：
从数据库拉取数据，然后放入队列，然后多线程进行访问；
线程每次使用 queue.get 获取一条数据访问；结束业务的时候又把数据 put 到队尾；
一直循环；
我另外还有一个线程，一直监听一个接收事件，如果接收到数据，就往队列里插入数据；
那么问题来了，如果我想中间的时候往队列里增加数据 或者 删除数据怎么办？
比如我想删除队列里的某一个数据，好像 queue 不支持从中间删除数据。
我这样的业务逻辑是不是不应该使用队列？
第 1 条附言 · 2019 年 9 月 17 日
我的原始业务逻辑大概是：
我想有一个数组 或者 队列 一样存放数据的地方，我不想每次都查询数据库，所以把数据拉出来就放在这里面，暂且称之为 [池] ；
我要从池里拉取 url 进行访问，如果访问正常，则从新插到池最后，否则就丢弃，
然后我是多线程的，我害怕线程会取到同一条数据，所以用了队列的方式，毕竟 queue.get 可以避免线程取到同一条数据；
并且我有一个 redis 订阅，如果 redis 有新的数据了，我就把新的数据放入池里；
其实最终我并不是想用队列来实现，只是害怕线程会取到同样的数据，我才用了队列；
可是我发现队列并不能满足我的业务需求，比如往队列里删除指定数据；
所以各位，有什么高见；
我想有一个数组 或者 队列 一样存放数据的地方，我不想每次都查询数据库，所以把数据拉出来就放在这里面，暂且称之为 [池] ；
我要从池里拉取 url 进行访问，如果访问正常，则从新插到池最后，否则就丢弃，
然后我是多线程的，我害怕线程会取到同一条数据，所以用了队列的方式，毕竟 queue.get 可以避免线程取到同一条数据；
并且我有一个 redis 订阅，如果 redis 有新的数据了，我就把新的数据放入池里；
其实最终我并不是想用队列来实现，只是害怕线程会取到同样的数据，我才用了队列；
可是我发现队列并不能满足我的业务需求，比如往队列里删除指定数据；
所以各位，有什么高见；
 |
1
Amit 2019 年 9 月 16 日
这里没看出来哪里一定需要队列，queue.get 每次获取一条数据，数据还有插入删除的操作，不如直接使用数据库实现一个链表，定时任务每次查询一条头部记录
|
 |
2
smallgoogle OP @Amit 因为不想每次都从数据库里拉数据，想第一次启动的时候就拉出数据放在队列，然后利用队列会锁住数据的功能，让多线程不会执行到同一条数据。
|
 |
3
speedofstephen 2019 年 9 月 16 日
额 linkedlist 其实实现了 Queue
|
 |
4
xstoop 2019 年 9 月 16 日
感觉你的队列使用有问题，一般队列的消费者跟生产者是分开的
|
 |
5
Lax 2019 年 9 月 16 日
“队列会锁住数据” ？？？这是个什么原理
|
|
6
smallgoogle OP @xstoop 我认为我使用队列是有问题的，但是应该使用啥，我就是不知道 = =
|
|
7
smallgoogle OP @Lax 我想表达的是，我多线程的时候，他们不会取到同一条数据的意思。 = =
|
 |
8
workspace 2019 年 9 月 16 日
关键字 redis list pop
|
|
9
workspace 2019 年 9 月 16 日
另外可看下最近基于 redis 实现的一个简单队列： https://github.com/lgphone/delay-queue
|
 |
10
tt67wq 2019 年 9 月 16 日
redis zset 可以的，用分数来维持顺序
|
|
11
xstoop 2019 年 9 月 16 日
@smallgoogle 抛开你说的队列，线程这些。你大概描述一下你要实现的业务需求是什么呢
|
 |
12
raysonlu 2019 年 9 月 16 日
有点好奇你的业务，消费者每次消费完毕，都放回队列，然后又有一个生产者往队列塞东西，最后这个队列岂不是越滚越大？ BTW，插队这种不恶劣行为估计是做不了的，删除的话，你可以再维护一个删除名单表让每次消费队列的时候都查询一下。zset 可以维持顺序，但消费者只能是定时任务中运行了。
|
 |
13
alexzhu592 2019 年 9 月 16 日 via Android
@Lax 他应该是说的是阻塞
|
|
14
alexzhu592 2019 年 9 月 16 日 via Android
你的业务不适合用队列，想其他办法吧
|
 |
15
hspeed18 2019 年 9 月 17 日  1
为什么不说一下你的业务需求是什么，用队列的理由是什么？
|
 |
16
ziding 2019 年 9 月 17 日
感觉你是用错了，如果有任务优先级的要求，你应该用优先队列，而不是普通队列。如果用普通队列，要求能够撤回某些消息，应该用业务补偿，回滚的方式进行处理，而不是中间取消掉某个任务。
|
 |
17
hellotime 2019 年 9 月 17 日
还是抛出原始需求比较好
|
|
18
smallgoogle OP |
|
19
raysonlu 2019 年 9 月 17 日
像你说的，存放数据的地方，是个池或者数组，可以满足你增删需求，然后处理数据是个队列，可以满足多线程需求，那么，池归池，队列归队列，再找一个单线程的方法，让池中的数据迅速流入队列不就好了？
|
|
20
hellotime 2019 年 9 月 17 日
@smallgoogle 这哪是原始需求，你的原始需求应该类似是我想搞一个代理网站，逐个测试一下代理，如果代理不行了就遗弃，可以的就保存起来，待下次检测。原始需求指的是产品要啥功能，而不是你做为开发说你要个队列。。
|
|
21
hellotime 2019 年 9 月 17 日
多线程好像也取不到同一条记录把。
|
 |
22
lazyfighter 2019 年 9 月 17 日
你应该说需求，另外这样使用队列，不会 oom 吗
|
 |
23
movax21h 2019 年 9 月 17 日
应该不需要列队吧？
因为你的多线程其实根本不会对同一个数据进行读写操作。（没有这个业务需求） 简单点，如果有 4 个线程，把从数据库获取的 url，分成四份不就行了吗？ 最后处理完成之后，再合一起。 不要打架，好处都有啥。 |
 |
24
Zzzz07 2019 年 9 月 17 日
我也有个类似的需求，当有新的数据加入时就删除队列，出队时队列为空就重新去数据库中查询添加到队列中
|
|
25
alexzhu592 2019 年 9 月 17 日
其实你的需求就是要保证容器的并发安全，同时又增删操作，主要是查询，你就直接用 redis 就可以了
|
 |
26
jimrok 2019 年 9 月 17 日
感觉是一个做爬虫的小白
|
 |
27
jiangbingo 2019 年 9 月 19 日
K:V 映射的字典 pop 出 K-url，update V-数据 会有什么问题？
|
Select Language