dreamer2020 最近的时间轴更新 dreamer2020 最近的时间轴更新 |
dreamer2020V2EX 第 263592 号会员，加入于 2017-10-30 17:09:33 +08:00 |
| nodejs 爬虫长时间运行后卡住 Node.js • dreamer2020 • 2018 年 5 月 23 日 • 最后回复来自 dreamer2020 | 17 |
dreamer2020 最近回复了
2021 年 9 月 8 日 回复了 kuanos 创建的主题 › macOS › mac 版的 QQ 巨卡 |
同特别卡，16 款 Mac Pro，切换群聊框、滚动消息都特别慢，以为是消息太多的缘故，看了网上同样的讨论，发现可能是图片缓存的问题，清理了一下，有几十 G，之后就比较流畅了。
2018 年 5 月 23 日 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@qfdk 一次最多会塞 4 万条数据
2018 年 5 月 23 日 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@gabon node 不是单线程的么？没有考虑过锁的问题
2018 年 5 月 23 日 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@whypool 内存这个问题之前我也注意到了，确实需要释放，我现在最多是 300M 左右。
迭代用得比较多，主要是 for，用了 async/await 控制异步，用 Promise.map 做了多并发。大佬说的递归，应该是在函数里面使用 setTimeout 延迟调用自己吧？
另外，关于 Promise.map 有什么改进建议么？
迭代用得比较多，主要是 for，用了 async/await 控制异步，用 Promise.map 做了多并发。大佬说的递归，应该是在函数里面使用 setTimeout 延迟调用自己吧？
另外，关于 Promise.map 有什么改进建议么？
2018 年 5 月 22 日 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@airyland 这确实是一个当前的解决办法！
2018 年 5 月 22 日 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@jiangzhuo 哦，明白了。感谢！
2018 年 5 月 22 日 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@jiangzhuo 弱问一下，怎么样查看当前状况下的堆栈啊？
Select Language