关于ZAKER Skills 合作
手机中国 16小时前

字节跳动被曝训练 10 万亿大参数模型 规模超 Anthropic

【CNMO 科技消息】8 月 7 日,据英国 " 金融时报 " 报道,字节跳动正在训练一款新的超大规模 AI 模型,其参数量最高可能达到 10 万亿级。如果最终达到这一规模,该模型将明显超过目前已公开或被外界披露的多数大语言模型,并可能接近 Anthropic 最先进模型 Mythos。

字节跳动

据三名知情人士透露,这款模型目前仍处于早期阶段,正在进行预训练。预训练通常需要 3 至 6 个月,之后还将进入微调等环节,因此最终版本的具体参数规模目前尚未确定。

Claude Fable 5

作为对比,Anthropic 尚未公开模型的具体参数,但业内估计,其先进的 Mythos 5 可能拥有约 8 万亿参数,Fable 5 约为 5 万亿参数。若字节跳动最终推出接近 10 万亿参数的模型,其规模将进入当前全球超大模型的第一梯队。

需要注意的是,参数量虽然决定了模型能够容纳的信息规模和部分能力上限,但并不能直接等同于模型实际表现。训练数据质量、训练方法、推理效率以及算力投入,同样会影响最终效果。

此前," 晚点 LatePost" 曾报道称,字节跳动内部正在讨论训练一款参数规模超过 5 万亿的模型。作为参照,阿里 Qwen 3.8-Max 参数量约为 2.4 万亿,月之暗面的 Kimi K3 约为 2.8 万亿。若此次 10 万亿参数计划最终落地,意味着国内大模型在模型规模上的竞争还将进一步升级。

相关阅读

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容