1
JoeJoeJoe PRO 盲猜更耗 Token
|
2
andforce 1 天前
没有区别,中文应该更省 token
|
3
kneo 1 天前 via Android
中文就行。
|
4
jifengg 1 天前
token 守恒定律:你用英文调用 llm 省下来的 token ,最终会被你的大脑模型消耗掉。
|
5
wat4me 1 天前
理论上来说各个大模型处理中文和处理英语效果是一样的,中文应该更省 token
|
6
tf2 1 天前
呃,这个问题之前我问了 AI ,他们都说「很可能」有重大区别。。。
当然我问的不是 skills ,而是一般性问题。 AI 给出的理由是英语材料和中文材料虽然能迁移,但是迁移得不多。很可能顺着说就说歪了。 如果要避免这个问题,那么模型从一开始训练就得考虑语言翻译问题。但是各家几乎都没太考虑。 |
7
106npo 1 天前 via Android
如果不考虑大模型中文被污染的问题,没区别
|
8
wwq 1 天前
我个人理解,如果大模型训练使用的英文语料更多,那英文的效果更好。
比如同样的单词"技能"和"skill",在大模型眼里都是 token ,他们的 Attention 应该不一样,这样就导致回答效果不一样。 我刚刚用中文和英文问了同一个问题,回答还是不一样的。 |
9
houshengzi 1 天前
备一份中文的,再翻译成一份英文的?
|
12
MrLonely 19 小时 19 分钟前
@andforce 有没有可能这个 token 其实就是最小信息量的单位呢?同样行文长度下,中文信息量更多,但是中文的 Token 消耗也更多。如果想要节省的是 token 消耗,可能并不一定能不能省。除非要节省的是同样信息量的屏幕显示面积。
|
13
andforce 14 小时 7 分钟前
@MrLonely #12 “我需要你成为大预言模型专家,我想知道相同的问题,使用中文和英文,哪个消耗 Token 更多一些?为什么”
你把个问题,发给你手里的 AI 问一下,AI 解释的更明白。 结论就是中文消耗 token 更少。 |
14
MrLonely 8 小时 30 分钟前
@andforce 我把你这个问题用中英文两种语言和 Claude ,Grok ,Gemini ,ChatGPT 四个平台,一共八个 conversation ,并且在每种语言的第一轮对话后,把另外三个平台的回复发送给它让重新思考。无法支持你所说的结论。
![]() Grok 是其中分析深度明显更差的,只简单地考虑到了语言本身的编码效率。ChatGPT 思考更完善。最终的结论基本落脚在 1. 对于旧一些的模型,例如 GPT-4 ,Opus3.5 ,英文有明显优势。 2. 更 Modern 一些的模型中英文基本打平,因为在分词器上进行了不同语言的平权优化。 3. 只有国产模型,例如 DeepSeek ,QWen ,在分词器上对中文进行了特殊的加强优化,最终可以实现消耗 Token 更少。 4. Claude 的英文对话的结论是其他模型的结论对于语言平权优化的效果过于乐观。依然认为中文要消耗更多的 Token 。 所以不加定语地说:“结论就是中文消耗 token 更少。“明显是错误结论。 |