V2EX › 1a1a11a 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2017 年 3 月 12 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

@Lax 谢谢

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

@v2pro 好东西，学习了

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

@Lax HLL 是什么，三个字母不太好搜，能不能给个名字？谢谢啦！

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

@bjlbeyond 好像不太对题？还是我没理解到点？

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

@wmttom 这个主意不错，非常感谢

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

@binux 我把去重完的 url 写磁盘了和待爬 url 队列写磁盘了，要不内存不一会儿就满，服务器是前兆带宽，我满载了在爬。。。

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

@jiangzhuo 哦，对，你的数值错了，是 470 亿，单位是 10 亿，不是 1 亿，所以你的计算要再乘以 10

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

@jiangzhuo 为什么我 72G 的内存刷刷刷就满了 :(，估计有不少费 url ，加上 python 可能比较费内存，你发的这个网址挺好玩的，不知道为什么中间突然降下去了，我一直觉得网页总数是单调增加的，不过从这个网站看，还挺稳定的。

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

@samcode 这个可以考虑，谢谢啦。

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

@gouchaoer 如果没有 redis 这类的，数据库查询会不会慢？我没测试过，不太了解

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

检查过了，主要是 url 数据量太大了，写入磁盘的已经几百 GB 了，不过有些 url 是没意义的，需要想办法过滤掉。

2017 年 3 月 9 日

回复了 1a1a11a 创建的主题 › 编程 › 爬虫判重

@wmttom bloom filter 在这里不好用吧，再不那么重视准确性的情况下，的确可以用

2017 年 1 月 25 日

@magickzl 隐藏了么？目录. 开头？