

所以有没有一种方法,能让 AI 回答你问题的时候,效率又高,还能省钱?
聪明的网友就想到了,汉语是世界上信息密度最高的语言,甚至文言文还是浓缩中的精华。。那我们用文言文跟 AI 聊天,对话篇幅大大减少,这算力省下来了,效率不就上来了,钱也扣得慢了,简直太完美了。




但实际上,江江经过一系列尝试后,可以给大家个结论了:
省 token 乎?谬也!
要搞清这个问题,我们得先知道,AI 的算力消耗其实看的不是字数,而是 token,可以理解为 AI 处理信息的最小单位。我们说的省钱、省算力,其实就是省 token。
于是,我们用 DeepSeek V3 的 token 计算器,做了几个实验,结果嘛,非常反直觉。
比如," 用户彻底怒了 " 是 3 个 tokens,而 " 客官震怒 " 是 4 个 tokens。





为啥会这样呢?这就得从计算机是如何存储文字的说起了。
一个汉字在经过计算机编码后,会占 3-4 个字节,常用的字占 3 字节,而那些特别生僻的字,3 字节放不下,就得占 4 个字节。而要把这些字节转化为 AI 能读懂的 token,还得靠模型内部算法,它的工作原理其实很像消消乐。
一开始,所有汉字都被拆成字节存放,此时一个字节就是一个 token。然后算法为了省算力,就会找那些相邻位置出现最频繁的字节,把它们合并成一个新的 token。
比如 " 你 "" 我 "" 他 " 这些汉字对应的字节,成天组队出现,算法就直接给他们合并了,所以这些字就只占 1 个 token。

而那些出现几率少的字,比如 " 蒹 "" 葭 "" 饕 "" 餮 ",在训练数据里寥寥无几,BPE 找不出字节内在的关联,就像小学生把不认识的字写成拼音,那就只能保存为几个零散的 token 了,于是 1 个字就会等于多个 tokens。

因此,文言文爱用的那些古典生僻字词,在 token 的交易里,反而是奢侈品,每个字对 AI 来说都很烧脑。
那既然用文言文不省 token,那我要说啥语言才能省啊?
江江的结论是,没有结论。因为,不同模型的 tokenizer,也就是 token 计算器完全不一样。我们拿同样的文本在 OpenAI 和 DeepSeek 那里都跑了一下,结果就截然不同,同一个字在 OpenAI 这边可能是 2 个 token,在 DeepSeek 那边就是 1 个。


OpenAI 的模型早期以英文语料为主,在 token 合并上,自然对英文更慷慨;DeepSeek 等国产模型吃了大量中文语料,中文的高频组合见多了,自然就合并得更充分。
当然,模型也在不断进步,各家都在扩大多语言语料的覆盖,不同语言差距已经变得越来越小,所以除非你能把每个模型的 token 表背下来,不然咱不建议为了三瓜俩枣,抛弃自己舒服的交流方式。

用你自己的大脑模拟一下,找到耗 token 最少的表达方式,主观能动性不就来了!
但讲道理,还是不如少说废话,奥特曼就曾经说过,你们整天给 AI 说谢谢,搞得我们已经多花几千万刀了,与其在形式上下功夫省 token,不如从根源杜绝那些不必要的废话。


因为如果一种语言信息密度大,那也意味着,单个 token 表达的意思很多,歧义也会变大,咱就只能靠上下文理解来消歧,说白了 token 是省了,你还得自己费脑子理解。
比如,给你三分钟,你能读懂 " 用奶牛的牛牛牛奶,奶牛会不会被牛死 " 吗?

你想花钱更快,还是肚子饿得更快,就看你自己的选择了。
撰文:不咕
编辑:江江 & 面线
美编:素描
图片、资料来源:
小红书、X、部分图源自互联网


