TGOcc

```html
<pre>
oMLX - LLM inference, optimized for your Mac
Benchmark Model: mlx-community--diffusiongemma-26B-A4B-it-4bit
================================================================================

Single Request Results
--------------------------------------------------------------------------------
Test TTFT(ms) TPOT(ms) pp TPS tg TPS E2E(s) Throughput Peak Mem
pp1024/tg128 1246.4 22.51 821.6 tok/s 44.8 tok/s 4.105 280.6 tok/s 14.23 GB
pp4096/tg128 4422.4 23.73 926.2 tok/s 42.5 tok/s 7.436 568.0 tok/s 14.69 GB

Continuous Batching
pp1024 / tg128
--------------------------------------------------------------------------------
Batch tg TPS Speedup pp TPS pp TPS/req TTFT(ms) E2E(s)
1x 44.8 tok/s 1.00x 821.6 tok/s 821.6 tok/s 1246.4 4.105
2x 88.9 tok/s 1.98x 368.4 tok/s 184.2 tok/s 3461.1 8.438
4x 176.9 tok/s 3.95x 296.4 tok/s 74.1 tok/s 7492.6 16.713
</pre>

最新的 diffusiongemma-26B-A4B-it-4bit 模型测试，速度挺快，有一定的实用化了。

@dizhang 我的建议是你用普通帐号拨号，使不使用没关系，普通号宽带在线，等一到两周后你换回 vip 拨号。我试过两次，都是有效的。

@coefu 就是因为 ai 的应用，苹果大内存的二手 MAC 已经被炒的价格太高了，今天凌晨的发布会还以为会发 M5 新款，没想到主要是讲 ai 应用，国内还用不了。看了个寂寞，从 iphone15 吹到 17 了还没搞定国内版。

@coefu 看今年新发布的 M5 抢个 128GB 的

@MuyuQ 新机器还在保拆后盖，这个成本有点大，我还要考虑到日常便携使用没必要这么硬核，真要生产力直接出了上 pro 就行了。
@lzzwenhua 这个是用户测试上传的吗？
@rockddd 还是自己测比较实际些。运行环境除了硬件，还有软件后台挂载等情况。

@rockddd 你没有散热问题应该很稳的。


@keyu1103 如果不考虑便携性，推荐等 M5 pro 或 M5 MAX,你说的 amd 我朋友弄了台，128G 内存的，现在考虑出了等 M5 新版发布。

@dizhang 你停掉 PT 后，用普通号拨，别加 vip 。使用一到两周，再加 vip 拨，我感觉放出来应该会快些。还有你拨的时候开 v6,拨回 58 的可能性更大，v6 的怪问题我也碰到过，我目前的解决方案是在终端设备上不启用，如电脑端我不开 v6 协议。

@dizhang 有方法拨回去的，至少我这边试了能拨回 58 网段。218.80 跟 218.1 应该就是所谓的垃圾网段，延迟的厉害，打游戏体验特别明显。180 网段是不是他被改成普通帐号拨号了，让他检查一下是不是拨的精品网。

@dizhang 你拨精品网开 v4+v6 ，在上行限速情况下能到 3MB/s ，单 v4 情况下我被限在 1.1MB/S,现在不怎么用 pt 跑上行后，放出来啥都正常了，精品网还是挺好的延迟低出口速率快。