关于ZAKER Skills 合作
爱范儿 6小时前

国产 AI 编程冲上全球第二!实测五大模型,谁才是 Vibe Coding 神器

超越 GPT-5.5、Gemini 3.5 Flash、DeepSeek V4 Pro,阿里的最新旗舰模型 Qwen3.7 Max 在编程竞技榜拿下第二名,仅次于 Claude Opus 4.7。

▲ 5.26 榜单截图

除了真实场景的用户选择,在传统的大模型固定评测榜单上,像是终端能力 Terminal Bench、编程能力 SWE Bench 等,Qwen3.7 Max 的表现也是拿下了国产模型的冠军。

虽然现在大模型四年,我们已经对这些排行榜的刷新屡见不鲜,但还是忍不住想要体验一下,能够超越 GPT 5.5 的 Qwen 模型,实际能力到底如何。

要知道,现在最火的 Coding Agent 组合,大概就是搭配了 GPT 5.5 的 Codex。

如果我们把 Codex 里面的默认模型修改成 Qwen3.7 Max,再用 Codex 来完成一些日常的任务,会不会比 GPT 5.5 还好用呢。

获取 Qwen3.7 Max

趁着现在各家都在推出一些 Token 优惠活动,阿里云也提供了 100 万 Token 的免费使用,可在阿里云百炼平台使用。

Qwen3.7 Max 的定价,在阿里云官网,目前是限时五折,输入 6 元 / 每百万 tokens,输出 18 元 / 每百万 tokens。新用户还可以 5 折充值节省计划,以 10 元每月的价格获得 20 元的 Token 额度,而 Token Plan 标准档目前是 198 元 / 月。

总体来说,根据大模型聚合平台 OpenRouter 显示的数据,Qwen3.7 Max 的价格属于中规中矩的一档,对比 DeepSeek 的骨折价肯定比不上,但和 Opus 4.7、GPT 5.5 相比还是优惠不少。

我们直接充值了「入门首选」这档全模型通用抵扣 20 元。但这里需要注意的是,五折优惠仅支持一个套餐,即购买了 10 元的,就不能再购买 50、250 的半价优惠计划了。

DeepSeek、Claude、GPT、Gemini、Qwen 一起来测试

拿到了 API Key 和百万免费使用 Token,我们先是在阿里云百炼平台、以及千问官网,使用 Qwen3.7 Max 做了一些常见的前端网页设计来测试它的开发能力。

像是比较能直观的看到差别的物理模拟测试,我们就用一段简单的提示词「用 HTML+CSS+JS 做一个模拟液体在容器里晃动的动画,拖动容器可以改变倾斜角度。」

▲ Qwen3.7-Max,千问官网生成

Qwen3.7 Max 的表现可以说是顺利完成了这个模拟挑战,同时还增加了颜色的自定义、摇晃、液体量调节等功能。

DeepSeek 就比较简单,但是也没出错。

▲ DeepSeek V4,官网生成

GPT-5.5 生成的液体有点奇怪,虽然做到了会随着角度的切换,流向对应的方向,但是整个波浪很出戏。

▲ GPT-5.5 超高,Codex 生成

Gemini 3.5 Flash 生成网页似乎是有点 Bug,那个瓶子一直会被隐藏到控制面板背后,必须得自己拖出来。但是同样一句提示词,它给的自定义东西是真的多,不仅提供了瓶子的类型,还有液体的颜色,各种设置都能自定义。

▲ Gemini 3.5 Flash,官网生成,选择 Canvas 选项

Claude Opus 4.7 这个瓶子过于简陋了,而且模拟的液体晃动效果在剧烈状态下,很像是音波的跳动。

▲ Claude Opus 4.7,使用 Claude Code 应用生成

接着我们尝试让它生成一个小游戏试试,虽然游戏的测试已经是去年 Vibe Coding 的常见测试项目了。但这次我们要 AI 做一个六宫格的 2048 游戏,输入提示词「做一个可以玩的 2048,但格子是六边形的。」

Qwen3.7 Max 生成的页面还是很好看的,能看到它的参考来源 10 条信息里面,大部分都是来自 CSDN 的 2048 游戏生成教程。

最终的游戏也能玩,但还是偶尔有不按常理出牌的时刻,例如同一方向上,相同数字叠加,没有叠加在该有的位置。

▲ Qwen3.7 Max,官网生成

DeepSeek V4 的表现和上一轮差不多,但是明明是六边形,给出的键盘控制却只有 WASD 来滑动。

▲ DeepSeek V4,官网生成

这一轮表现最好的大概就是 Claude 的 Opus 4.7,它真的理解了这个游戏应该怎么设置,格子的移动是符合这个蜂巢的规则,不会让人感觉找不着北。

GPT 5.5 依托 Codex 的能力,在生成了游戏之后还能自己打开浏览器预览是否有问题,抓取控制台的信息来修复项目代码。最后生成的网页也很优秀,不过对于监控鼠标在屏幕上的移动方向,还是没有 Opus 4.7 的表现出色。

▲ GPT-5.5 超高,Codex 生成

Gemini 3.5 Flash 则是一如既往地给我加了很多东西。游戏的主题风格它就写了赛博、暗金和马卡三种背景,甚至还加上了「内置高品质合音器」。

游玩过程配有原生 Web Audio 生成的复古 8-bit 太空音效(合并、滑动、过关、死亡),体验感瞬间拉满。

再回到一些普通网页的设计上,我们要求它做一个地铁博物馆的网站,输入的提示词也只有一句话「设计一个名为地铁博物馆的主题网站,要求沉浸感强。」

本意上我们希望这些大模型可以尽可能多地罗列不同城市的地铁信息,世界地铁的 Logo,以及整个网站的风格应该是艺术性的,有专门的风格和充分的特效来呈现。

先看 Qwen3.7 Max,说实话有点难评,把文字竖排放着是很像地铁列车,但是整个网站给人的感觉是很乱。

而 Gemini 继续做了很多,声效再次用上,比较有意思的是,它还做了一个地铁文创,定制纪念票根生成器。我们可以输入名字、选择车站,实时生成一张高颜值、复古风的地铁纪念乘车票。

▲ Gemini 3.5 Flash,官网生成,选择 Canvas 选项

DeepSeek 选择的项目和 Gemini 类似,一样有票务纪念和驾驶体验,但是它在最后交付的成果中,似乎并没有呈现这些功能。

GPT 5.5 现在生成的网页风格很不错,虽然也有明显的套用模板,但是整体的设计是在线的,遗憾就是信息量太少了。它似乎没有理解地铁博物馆应该是一个介绍地铁信息的网站。

▲ GPT-5.5 超高,使用 Codex 生成

继续用之前的提示词像是让它做一个 macOS/Windows 的操作系统,这次我们输入「用 HTML 构建一个完整的浏览器操作系统。」

DeepSeek V4 的表现很简单,同样简单的是 Qwen3.7 Max,不过这次 Qwen3.7 Max 额外给了一张不错的桌面风景图片。

但在这个测试中真正让我觉得表现不错的,还是 Gemini 3.5 Flash 和 GPT 5.5。

和 Gemini 3.5 Flash 一样,GPT 5.5 也对整个 OS 进行了详细的设计,有专门的风格。

▲ GPT-5.5 超高,使用 Codex 生成

在 Codex 里使用 Qwen3.7 Max

一轮测试下来,好像 Qwen3.7 Max 在通过对话生成小网页项目的测试表现上,很难说每一次都超越 Gemini、GPT 5.5,但对比前代,我相信是已经有了很大的提升。

我们在千问官网看到有一些给出的代码案例,像是 3D 地球,食物链排序,可视化,个人博客等内容,但是这些网页项目的提示词都比较长,而不是像我们所测试的简单一句话。

▲在输入提示词之后,千问也提供了「优化指令」的选项

我们把 3D 地球这个项目的提示词也扔给了 DeepSeek V4、Gemini 3.5 Flash,得到的效果几乎和 Qwen3.7 Max 是一样的。

这意味着提示词在当前阶段,对能否发挥 Qwen3.7 Max 的能力,还是起着相当重要的作用。

而减少用户优化提示词压力的方式,大概就是接入 Agent 产品,利用他们的 Skills 以及 Agents 协作等能力,来发挥模型的真正实力。

按照阿里云官方的教程,我们把 Qwen3.7 Max 成功接入到了 Codex 终端助手里。

不过这里容易出现 BUG,即 Codex 会不断提醒你「CODEX Missing environment variable」。

按照官方的教程,我们修改完 ~/.codex/config.toml 配置文件之后,还需要修改电脑的环境变量。

即模型的 API KEY 信息是保存在电脑的环境变量(需要查看自己电脑的 Shell 类型,修改对应的环境变量文件,如 .bash_profile 或 .zshrc)中,而不是在 Codex 的 config.toml 配置文件里。

修改完成之后,在终端输入 Codex,我们就能看到 Qwen3.7 Max,重新打开 Codex App,主界面的模型也会从之前的 GPT-5.5 切换为自定义的 Custom。

用同样的方法,我们可以把 DeepSeek、MiniMax、Kimi、智谱等模型,都接入到 Codex 中。

前段时间在 GitHub 上有一个前端的 Skill 收获了两万多个 Star,它主打让 AI 生成的前端界面更好看,这和 Qwen3.7 Max 拿下第二名的榜单任务类似。

我们先安装这个 Skill 到 Codex 中,然后尝试结合 Skill 看看是否能有更好的效果。

▲ 地址:https://github.com/Leonxlnx/taste-skill

输入同样的提示词,Codex 会自动调用前端设计、头脑风暴等 Skill 来完成设计的定位和构思,并且严格按照 Codex 的流程控制来监控项目生成。

最后,同样一个模型,在 Codex 里面的表现要比直接在千问官网好上不少。

但是这里还是会容易遇到一个问题「stream disconnected before completion: InternalError.Algo.InvalidParameter: The "function.arguments" parameter of the code model must be in JSON format.」

当模型需要调用专门的工具时,就无法再和模型取得连接。我们在互联网上找到了相关的问题案例,原因可归结为「模型部署厂商针对流式输出格式有问题,不是标准 OpenAI 协议,所以不支持 API 调用,出现 400 报错。」

要求 Codex 解释这个问题时,Codex 也是说模型的问题。

不是你配置错了,而是 Qwen3.7 Max / 百炼 Responses API 对 Codex agent 工具调用还不够稳。能对话不代表能稳定跑 Codex,长任务、改代码、频繁读文件时,切回 OpenAI 官方模型会稳定很多。

所以如果你也遇到了这个问题,大概只有等 Qwen 团队自己去修复,或者重新开一个会话试试。

▲ 阿里云官方有出现不同错误码的解决方案指南

去年我们还在说模型即产品,一个足够好的模型就是一个好产品,现在看来,单靠模型是远远不够的。

记忆、Harness、Agents 编排、验证、推理的可持续性等等,随着模型能力的增加,这套架构也在持续扩充,但只有都做好了,我们或许才愿意说「这是一个好模型」。

爱范儿

爱范儿

发现创新价值的科技媒体

订阅

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容