V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  diudiuu  ›  全部回复第 1 页 / 共 34 页
回复总数  662
1  2  3  4  5  6  7  8  9  10 ... 34  
正常,那某软外包,也开了很多人,不照样没人管,现在连新闻的影子都没有。
没用过不知道,听说国外的厉害
7 小时 42 分钟前
回复了 admin948 创建的主题 程序员 Github Copilot 计费方式修改后的受害者来了
我 6 月 1 号把所有的 token 消耗完了,pro ,就问了三个问题,我很是尴尬
10 小时 36 分钟前
回复了 luis1180 创建的主题 程序员 现在有人用讯飞的 coding plan 吗
直接充值 deepseek 会不会更好点
@sjmcefc2 #39 有好有坏,好的就是能跑,坏的就是跑不快
@coefu #20 苹果比较诡异,只要 cpu 能加载完成,token 都要在 20token/s ,带宽算法搞不明白。 我这个是 m4 试验出来的结果
算卦
GitHub 脚本给说下
3 天前
回复了 Livid 创建的主题 Local LLM DiffusionGemma
@Livid #29 没有用啥高级的工具,我是用 llama.cpp 方式部署的
直接可以用它带的网页聊天就可以看见 token/s

还有一个比较准确的方式,开始测试聊天,把从开始聊天到结束聊天的日志导出来,直接让 ai 分析,里面就有思考每秒生成 token 数,真实吐出的 token 数

你要 vllm 方式,就不是很清楚
3 天前
回复了 Livid 创建的主题 Local LLM DiffusionGemma
gemma4:26b 处理文本总结一把好手,写代码还有数据计算类的推理,简直一言难尽.
我用本地模型帮别人考试,一般语言问答题,本地都能考高分
考到那种数学计算等,就没过过

站长你这个 dgx 跑这个模型,输出的 token/s 是多少
3 天前
回复了 mingtdlb 创建的主题 Local LLM GPU 跑 LLM 也会超频吗?
上来就给人整个 H200 ,人都没办法评判
--ctx-checkpoints 64
--checkpoint-interval 8192
尝试减轻下问题
为什么天天有个别人热帖子,就会有个来分析的。
这个也挺招人烦的
你这让我想到了疫情遇到的一键事

离我家很远的一个地方,某防疫办天天给我发短信说我有活动嫌疑,还给我打电话说最近不要跑
我找市长热线确认过,电话是真的。最后我俩都保持默契了,你打你发,我就当没看见
5 天前
回复了 carverReal 创建的主题 程序员 上班被 @突然觉得一阵恶心
那些 @的基本不是给干活人看的
5 天前
回复了 gp0119 创建的主题 Apple iOS 27 史诗级更新!
@EIJAM #83 66666
6 天前
回复了 guoguobaba 创建的主题 问与答 教育孩子失败
你管这叫 18 岁?
6 天前
回复了 gp0119 创建的主题 Apple iOS 27 史诗级更新!
@EIJAM #61
你这就是犟嘴了,日本顶多也能查到两年的放假日子,我巴不得日本人最好立马马上死,天皇天天死也是好事
1  2  3  4  5  6  7  8  9  10 ... 34  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3254 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 49ms · UTC 13:21 · PVG 21:21 · LAX 06:21 · JFK 09:21
♥ Do have faith in what you're doing.