V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
iorilu
V2EX  ›  程序员

下载 huggingface 大模型有什么好方法吗

  •  
  •   iorilu · 2025 年 2 月 15 日 · 4562 次点击
    这是一个创建于 333 天前的主题,其中的信息可能已经有所发展或是发生改变。

    也用了 https://hf-mirror.com/

    但这个基本下几 G 就限流了

    直接 huggingface 下载也是比较慢的, 反正下 7,8G 以上文件基本 没完成就没速度了

    大家有啥好方法吗, 现在模型太大了, 都是几十 G

    25 条回复    2025-04-02 19:46:26 +08:00
    1daydayde
        1
    1daydayde  
       2025 年 2 月 15 日
    限流的话断点续传就好了
    774157009
        2
    774157009  
       2025 年 2 月 15 日
    modelscope.cn +断点续传
    wencan
        3
    wencan  
       2025 年 2 月 15 日
    hf-mirror cli 断点续传
    4BVL25L90W260T9U
        4
    4BVL25L90W260T9U  
       2025 年 2 月 15 日
    你都能上 v 站了, 翻墙还不利索?
    Kite6
        5
    Kite6  
       2025 年 2 月 15 日 via Android
    代理+直接 wget
    nagisaushio
        6
    nagisaushio  
       2025 年 2 月 15 日 via Android
    MagmaBlock
        7
    MagmaBlock  
       2025 年 2 月 15 日
    可以用 cloudflare workers 跑一个反向代理,github 有现成的脚本
    前提是你的网络和 cloudflare 的链接质量得靠谱,有些宽带不行
    hertzry
        8
    hertzry  
       2025 年 2 月 15 日 via iPhone
    If you are running on a machine with high bandwidth, you can increase your download speed with hf_transfer, a Rust-based library developed to speed up file transfers with the Hub.

    pip install "huggingface_hub[hf_transfer]"
    HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download ...
    penisulaS
        9
    penisulaS  
       2025 年 2 月 15 日
    有时候下载断流,我刷新一下 hf 的页面,速度就突然有了
    omega3
        10
    omega3  
       2025 年 2 月 15 日
    上个优质科学网络 tg:wavevwe
    iorilu
        11
    iorilu  
    OP
       2025 年 2 月 15 日
    @ospider 这种大文件下一会儿就限流的, 除非不停换节点
    kokutou
        12
    kokutou  
       2025 年 2 月 15 日 via Android
    代理呢。。。。
    国外 vpn 都随便 1t 流量,敞开下啊
    evan9527
        13
    evan9527  
       2025 年 2 月 15 日
    梯子问题,换一家。
    4BVL25L90W260T9U
        14
    4BVL25L90W260T9U  
       2025 年 2 月 15 日
    @iorilu #11 我用的 jms 从来不限流
    xujiang
        15
    xujiang  
       2025 年 2 月 15 日
    国内有阿里的魔塔
    https://modelscope.cn/
    基本的 model 都有,支持全速下载
    asly
        16
    asly  
       2025 年 2 月 15 日 via iPhone
    好像可以复制下载链接用迅雷下载
    vmebeh
        17
    vmebeh  
       2025 年 2 月 15 日 via iPhone
    好像就 huggingface 的主域名被墙,反正用 lm studio 下模型直接跑超 ISP 给的带宽,梯子肯定没这速度
    pckillers
        18
    pckillers  
       2025 年 2 月 16 日
    直接去 modelscope 下载。 一般都有人分流。
    milkpuff
        19
    milkpuff  
       2025 年 2 月 16 日
    我浏览器下载比较慢,链接粘到 aria2 下载千兆满速,不知道为啥
    chapiom
        20
    chapiom  
       2025 年 2 月 16 日 via iPhone
    可以开类似联通 9929 这样的,国外下载很快
    frandy
        21
    frandy  
       2025 年 2 月 16 日
    之前因为这个问题写了个脚本,集成 aria2 还有点问题,没问题
    https://github.com/readmagic/hx
    希望能帮到你
    frandy
        22
    frandy  
       2025 年 2 月 16 日
    @frandy #21 迅雷没问题
    ethusdt
        23
    ethusdt  
       2025 年 2 月 16 日 via iPhone
    hf 被墙了吗,年前我下载模型四个 wget 一起,拉满千兆带宽的,没挂代理。
    bushnerd
        24
    bushnerd  
       2025 年 4 月 2 日
    我稍微改进了一下 https://hf-mirror.com/的 hfd.sh 脚本,就是调用迅雷来下载,基本可以达到满速,且支持断点续传,比 aria2 使用起来稳定的多。
    https://gist.github.com/bushnerd/b8ec8c5576a4221696b283b90d1eacb3
    bushnerd
        25
    bushnerd  
       2025 年 4 月 2 日
    @bushnerd 忘了说了,thunder.exe 只有 Win 版本的, 因此这个脚本得在 wsl 中使用,调用 Windows 中的迅雷。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5697 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 03:15 · PVG 11:15 · LAX 19:15 · JFK 22:15
    ♥ Do have faith in what you're doing.