zhongdenny's recent timeline updates zhongdenny's recent timeline updates |
zhongdennyV2EX member #197175, joined on 2016-10-19 23:59:59 +08:00 |
zhongdenny's recent replies
@mingtdlb ollama 的默认 671b ，400G 大小，好像写着是 4 比特量化版本。官方版本 163 个 4G 的文件，合计大概 700G 。
Feb 8, 2025 Replied to a topic by 2067 › Local LLM › 有没有富哥实际部署了 671b 完全体 R1 的来说说跟 llama3.1:405b 的性能有多大进化 |
@nagisaushio 你是用 ollama 还是 llama.cpp 来运行的？
我用了 2.22bit 的版本，llama.cpp ，8 卡 4090 ，跑到 3 token/s 。
我用了 2.22bit 的版本，llama.cpp ，8 卡 4090 ，跑到 3 token/s 。
Select Language