这是一个创建于 3687 天前的主题，其中的信息可能已经有所发展或是发生改变。
写了个 python 程序通过请求 api 批量获取数据，放到 EC2 上跑了，刚开始半小时能处理上万条数据， EC2 里监控看到网络输出 5 分钟内平均也有 1.3M ，但是后来就变慢了， 12 个小时才处理不到 5 万多条，网络输出也降到了 0.3M ，之前以为是程序问题，但是后来在本地电脑上跑， 12 个小时都处理 15 万条了。是不是 aws 限制了我的带宽？可有办法破？一年免费计划的
 |
1
gamexg 2015 年 12 月 13 日
api 是哪国的？
考虑过网络问题吗？ |
 |
3
oott123 2015 年 12 月 13 日
感觉楼主的信用卡要爆
|
 |
5
aabbccli 2015 年 12 月 13 日
你不会是在 EC2 上爬 AMAZON 产品吧
|
 |
7
initialdp 2015 年 12 月 13 日 via Android
不一定是 ec2 的问题，也可能是对端限制了抓取。
|
 |
8
semicircle21 2015 年 12 月 13 日
关注一下磁盘 IO, IO 也有漏斗算法, 不在乎预算可以试一下 Provision 的 IOPS 看看有没有改善.
|
 |
9
itopidea 2016 年 1 月 6 日
我也发现了，现在打开越来越慢啊 http://freebt.org/
|
Select Language