该框架首次提出以 " 资本 - 资产匹配 " 为核心的评测理念，打破了行业长期以来 " 以研报相似度论能力 " 的评测误区，为金融智能体从辅助工具走向真实决策提供了可信的验证标尺。
本次发布是本届 WAIC 产学研融合的代表性成果。论坛以 " 产学研深度融合 " 为主题，汇聚了图灵奖得主 Richard Sutton、中国科学院院士鄂维南等顶尖学者，以及宁德时代、阶跃星辰等产业代表，聚焦 AI 技术与实体产业的深度结合。此次金融智能体评测框架的发布，正是学术界与产业界联手，破解金融 AI 落地核心难题的重要实践。
随着金融大模型与智能体快速普及，行业对 AI 能力的评估始终停留在 " 产出像不像人类分析师 " 的维度——通过比对研报、决策备忘录等文本的专业度、完整度来评判系统能力。但在本次发布的立场论文中，研究团队指出了这一评测逻辑的根本缺陷：研报等工作产物本质上是人类在有限认知带宽下，处理海量信息、协调组织决策形成的历史性工作方式，并非金融活动要解决的核心经济问题。
" 金融的本质是资金和资产的匹配。写研报只是过程，不是终点。" 研究团队表示，当智能体的信息处理能力远超人类认知带宽后，再用 " 复现人类工作产物 " 作为评测标准，既无法真实衡量 AI 的金融决策能力，也会误导产品研发方向，让模型停留在 " 写得好看 " 的表层，无法真正深入决策核心。
为验证这一判断，研究团队开展了预注册配对对照实验，选取四款前沿金融大模型进行同题测试。结果显示，在 " 撰写行业研报 "" 生成投资备忘录 " 等文本生成类任务中，四款模型得分普遍处于较高区间；但在 " 判断某类资产品种是否适配特定资金属性 " 的匹配类核心任务上，模型整体成绩出现显著下滑，配对效应量 d_z 达到 1.33，呈现出极强的统计显著性。
研究团队强调，该实验为探针性质的对照研究，并非模型排行榜，其核心价值在于戳破了行业 " 重文本、轻决策 " 的评测幻象——很多看似表现优异的金融 AI，在真正触及决策本质的任务上能力存在明显短板，这也是当前很多金融 AI" 看着好用、真用不行 " 的核心原因。
基于这一核心发现，联合团队提出了全新的金融智能体评测框架，彻底重构了评测的底层逻辑：从考察 " 文本生成质量 " 转向考察 " 资金 - 资产匹配能力 "。
据介绍，新框架围绕收益、风险、期限、流动性、收益结构与约束六大核心维度设计评测任务，分层考察智能体的三项核心能力：一是理解资金侧诉求，准确识别资金的风险偏好、期限要求、流动性约束等核心属性；二是基于经济实质分析资产，穿透产品表象判断其底层风险收益特征；三是输出可审计的决策结论，明确给出匹配、不匹配、信息不足暂缓判断三类结果。
值得注意的是，框架将 " 主动拒答 " 与 " 判断不匹配 " 均视为合格答案，引导智能体建立审慎的决策逻辑，避免为了生成答案而强行输出错误结论，更贴合金融场景的合规与风控要求。
与评测框架同步上线的还有配套实践平台，该平台将任务设计、资产覆盖、评分引擎、人机双轨评审、持续观测五大环节串联为可迭代的评测流水线，从正确性、适配性、鲁棒性、合规性四个维度对被测系统进行全方位评分，并输出针对性的弱项诊断报告。目前平台已支持金融大模型、研究助手、投资顾问、资产配置系统四类产品同台对比，可满足不同类型金融 AI 产品的评测需求。
上海交通大学计算机学院副研究员宋涛表示，过去的评测体系默认复现人类工作产物就等于具备金融能力，但当智能体不再受限于人类认知带宽时，这个默认前提已经不成立。真正应该被评测的，是不随工作流程变化的经济功能——资金与资产的匹配效率，这正是过往评测体系最缺失的一环。
财跃星辰 CTO 白祚博士认为，金融智能体正从辅助写材料走向参与真实决策，这是行业当下最大的转折点。这个阶段行业最需要的不是再多一个写得像分析师的模型，而是一套可验证、可信任的评测基础设施，让金融机构在把资金决策交给智能体之前有据可依。谁能率先建立资金与资产匹配的能力标准，谁就掌握了智能体从实验室走向真实资金决策的主动权。
