作者丨吴思梦
编辑丨岑 峰
7 月 7 日，国际机器学习大会（ICML）在首尔召开。在首日 Keynote 演讲中，斯坦福大学商学院技术经济学教授、前美国司法部反垄断部门首席经济学家 Susan Athey发表了一场跨越经济学、统计学与机器学习边界的演讲，题为"Causal Inference with Transformer Models"（基于 Transformer 模型的因果推断）。
Athey 的回答是：能。但必须换一种思路。她提出了一套全新的方法论：" 以彼之矛，攻彼之盾 " ——利用大语言模型（LLM）天生的随机性，来做天然的随机实验。
这一方法有三个颠覆性的特点：
第一，它绕过了传统因果推断中最棘手的步骤——估计倾向得分（Propensity Score）作为用户特征的函数。在 Athey 的框架里，概率计算只在 " 用户内部 " 进行：" 这个特定用户，在这次特定查询中，看到 A 而非 B 的概率是多少？" 这意味着即便不记录用户查询本身，也能得到因果效应。
第二，它巧妙借用了大语言模型的内在随机性。由于 LLM 在 temperature>0 时会为同一查询生成不同回复，只需在夜间 GPU 空闲时重新调用一次 API，就能低成本获取反事实曝露。" 你不需要额外招募实验对象，你只需要把白天的数据晚上再跑一遍。"
第三，它回答的是一个极其务实的问题：" 当系统在两种回复之间近乎无差异时，朝某个方向轻轻推一把——比如让语气更温暖——会有什么效果？" 这不是一个学术玩具问题（Toy Problem），是每个 AI 产品经理每天都在做的决策。
总结而言，Athey 的核心洞见是：生成式 AI 看似让因果推断变得更难，因为内容维度爆炸、每个人看到的东西都不同。但同时也提供了全新的工具：看似维度爆炸的大模型，实则为因果推断送上了最好的武器。
以下是 Susan Athey 在 ICML 2026 大会发表的 Keynote 演讲精编稿，雷峰网 · AI 科技评论基于原英文演讲内容进行了不改原意的翻译编辑：
"Causal Inference with Transformer Models"
主讲人：Susan Athey，斯坦福大学商学院
从搜索引擎到生成式 AI：因果推断的二十年
我对 AI 与经济学交叉领域的兴趣始于 2000 年代末，当时我加入了微软研究院，帮助创立了跨经济学与计算机科学的 New England Lab。同时，我在微软还有一个运营角色，主要关注搜索引擎。那时我试图把此前作为纯经济学家学到的一切，与我在搜索引擎中看到的实际问题结合起来。一个深刻影响我此后职业生涯的洞见是：机器学习与因果推断之间，存在巨大的协同空间。因果推断横跨经济学、统计学、计算机科学和许多其他社会科学。
从那以后，我一直在试图解决一个问题：在一个高度个性化的环境里，如何做因果推断、如何估计因果效应？我们面临一个悖论——你在个性化上做得越好，就越难学会如何个性化。因为如果你对每个人都实现了完美个性化，你就永远看不到他们看到别的东西会有什么反应。
多年来，学界发展了许多方法处理观测数据，即那些并非随机采集、而是推荐系统根据用户特征匹配推送的数据。我和许多同行一直在推进这些方法。但大语言模型和 Transformer 的出现，把一切推向了极限——也把我们从前那些 " 勉强能用 " 的方法推向了 " 可能失效 " 的边缘。维度太高了，我们做的事情太复杂了，以至于很难找到抓手。
今天，我要讲两个项目。在这两个项目中，我不仅找到了抓手，而且我们发现：这些方法不仅能解决生成式 AI 带来的新问题，甚至能让旧世界的答案也变得更好。
02
微型实验：把每个查询变成一次随机对照
首先，我要打破一个我通常会告诫年轻同事的铁律：" 永远不要在重要演讲中第一次讲一篇论文。" 我觉得今天的演讲应该算重要，但我还是要打破这个规则。这篇论文的主题与我的摘要一致，但具体内容没有写在摘要里——因为我在旅行途中遇到 Wi-Fi 问题，没赶上 arXiv 截止时间。所以它目前挂在 Zenodo 上，但愿明天能上 arXiv。这是与 Guido Imbens 和 Zoe Gu 的合著。
在旧世界，比如向用户推荐电影或书籍，因果推断已经很难了。但至少不止一个人看过同一部电影，所以你还有一点希望去学习用户对电影的偏好。但在生成式 AI 的世界里，如果把推送给用户的回复看作一部 " 电影 "，我们面临的是同样的 Netflix 问题，只不过现在没有人会看到相同的上下文两次，也没有人会看到相同的回复两次。所以我们需要一种不同的方法。
一种方法是降维：用嵌入（Embedding）来表示内容，为用户估计嵌入向量，然后做匹配。这可以作为不错的近似，能帮你走很远。但在这第一篇论文里，我要追求更少偏差的结果，而代价是回答一个更窄的问题。
我们只关心少数几个特征（Features）的因果效应。我承认，要估计一条回复中每一个元素的因果效应是不可能的，响应面太复杂了，一条回复与另一条回复之间的差异方式太多了。我不会试图估计从内容特征到用户结果的整个函数曲面。相反，我一次只关注少数几个特征。
03
你想知道的因果问题：从情感语气到产品决策
另一个例子：电商平台可能想知道用户对质量的支付意愿，或者用户是否真的会关注质量信息——这关系到信号理论和提供质量的经济激励。在在线教育中，我们可以利用教育类 AI 导师的数据来研究不同教学方法的因果效应。
在产业实践中，一个典型问题是：更友好的回复有什么效果？我不知道在座各位的习惯，但可能有人跟我一样——我会告诉聊天机器人：" 别闲聊了，别拍我马屁了，直接给我答案。" 当然，人们对聊天机器人是否应该寒暄有不同的偏好。所以 " 是否应该让聊天机器人更友好 " 本身就是一个需要回答的因果问题。
我们都知道，不同场景使用不同的系统提示（System Prompt）。编程 Agent 有一套提示，闲聊 Bot 有另一套。应用开发者每天都在做这些主动决策。我在另一篇论文中研究过微笑照片对 P2P 借贷平台 Kiva 的影响——我们发现微笑的借款人更容易获得贷款。那篇论文里，我们用生成式 AI 修改照片来创建纯随机实验，验证了观测数据的因果估计。
04
反事实暴露：方法的核心
现在让我用一张幻灯片讲完这篇论文的核心。我们引入了一种新的数据结构，命名为 " 已记录的反事实曝光 "（Logged Counterfactual Exposures），名字还在打磨中。来自上下文 Bandit 文献的朋友会觉得似曾相识，但在我们的设定中有所不同。
如果你有一个大语言模型，你可以对同一用户查询做多次采样（temperature>0），拿到不同的回复。这就是创建反事实曝光的两种方式。
对于那些不熟悉因果推断的听众，让我解释为什么这很微妙。因果推断的核心挑战是：我能看到你看到的东西的结果，但看不到你没看到的东西的结果。所以它本质上是一个缺失数据问题。在我们的数据增强方法中，我们永远不会看到 " 你没看到的东西 " 的结果。那么，为什么还需要知道那个你没看到的东西是什么？
我们的洞见是：把每个用户查询当作一个微型实验。在这个实验里，有一个用户看到的东西和一个用户没看到的东西。然后我像分析一堆微型实验一样分析数据，把它们平均起来。
具体操作流程是：白天记录用户查询和实际回复；晚上 GPU 空闲时重新调用 API 获取反事实曝光；然后运行一个分类器来标记两条回复的特征（比如 " 语气是否温暖 "）；最后，扔掉所有实际曝光和反事实曝光在目标特征上相同的数据（即 " 一致对 "），只对 " 不一致对 "（Discordant Pairs）做均值差。
05
与传统方法的本质区别
如果与传统离线策略评估（Off-Policy Evaluation）对比，差异就很清楚了。离线策略评估试图估计：如果换一种内容分配策略，会有什么效果？这需要估计倾向得分作为用户特征的函数——而这正是高维空间中最难估计的对象。
我们的方法也需要概率，但概率是在 " 用户内部 " 计算的：" 这个特定用户，在这次特定查询中，看到不同内容的概率是多少？" 我甚至不需要记录用户查询本身。如果担心隐私问题，我可以在拿到反事实曝光后就扔掉用户查询，仍然能得到因果效应。这是与传统因果推断文献的根本性分歧。
我们把每个用户看作一个 n=1 的实验，然后对所有微型实验求平均。我们最终估计的是：在那些实际经历了特征变化的用户中，该特征的平均因果效应。如果语言模型的 temperature 较高、两条回复的概率差不多，那甚至不需要加权，直接做简单平均就好。
06
这个因果效应到底回答了什么问题？
听到这里，你可能会觉得我像是在变魔术（即凭空做成了一件不可思议的事），甚至想问：兔子是怎么凭空变进帽子的？（pull a rabbit out of the hat）因为我看似扔掉了传统观测数据因果推断中的许多底层硬性假设。但这个 " 魔术 " 的玄机其实在于：我们并没有解决那个庞大的全局难题，而是将视角转向回答了一个范围更窄、更具体的问题。
如果你想让这个因果效应与修改系统提示对应起来，可以这样写提示词：" 如果你在考虑是否要友好一点，请向友好的方向倾斜。" 我们的因果效应衡量的就是这种 " 轻微推动 "（Nudge）的效——在系统本来就在两种选择之间 " 犹豫 " 的边界上，朝某个方向轻轻推一把。
但我们的方法不适合另一种场景：先生成回复，然后在后处理中 " 强行 " 让它变温暖。因为那种情况下，你没有在观测数据中见过 " 本来不温暖却被强行变温暖 " 的例子，也就无法学到这种干预的因果效应。
与负采样文献的关系
在推荐系统领域，有一个与我们的方法精神相近的文献——负采样（Negative Sampling）。它处理的也是 " 大多数物品没有与大多数用户互动 " 的问题。研究者从物品目录中采样一些用户没看过的物品作为负样本，然后在增强后的数据集上做分析。
但关键区别在于：负采样文献通常不关心用户到底被曝光了什么，它们用 " 假零 "（Fake Zeros）来补全数据，知道这些估计是有偏的，但作为一个工程妥协，在实践中效果不错——它给我们推荐了让我熬夜追的好电影。
而我们的方法是无偏的。我们保留了真实的 0/1 结果，但创建的反事实样本来自于 " 我们知道用户没看到、但本可以看到 " 的内容。这更接近一种精心设计的实验，而非工程妥协。
08
劳动力市场：用 Transformer 分解性别工资差距
由于时间关系，第二个项目我只能简要介绍。这是一个高度跨学科的团队，涵盖了经济学、市场营销、计算机科学、工程学和统计学。
我们先用抓取的非代表性简历数据预训练基础模型，然后在一个包含工资数据的较小数据集上做 fine-tuning。这个数据集有数千名工人、数万次职业转换，来自政府调查数据，任何人都可以下载。
因果推断在这里的应用是性别工资差距分解（Gender Wage Decomposition）。性别工资差距被分解为两部分：一是 " 如果男女有相同的职业历史，工资差距会是多少？" 二是 " 男女职业历史本身的差异贡献了多少？" 这个分解直接指导政策制定。
技术的核心在于改造 fine-tuning 的目标函数。传统 fine-tuning 用均方误差（MSE）作为损失函数。我们改用 " 残差对残差回归 "（Residual-on-Residual Regression）：先取结果变量减去模型预测结果的残差，再对 " 性别减去模型预测性别 " 的残差做回归。这个目标函数有三十年的理论历史，能让你在控制正确混杂因素的前提下得到因果效应。
让我特别兴奋的是：这只是一个例子。你可以通过改变随机梯度下降的目标函数来回答各种因果问题。后训练（Post-Training）一度失宠，但现在它回来了，我一直知道它会回来的。所以，对于那些对训练后调整感兴趣的人来说，这真的是一种有趣的做法，即改变目标函数，使其针对特定的感兴趣参数，并集中精力确保该参数正确。
一个人读论文太孤单，一群人刷顶会才好玩。
ICML 2026 召开在即，我们正在召集一波含金量极高的 AI 研究者。群内主打实时论文跟踪与硬核技术探讨，拒绝灌水。
? 进群传送门： 扫码进群或添加微信 Vin_Vivid，备注：论文群 + 关注的 AI 方向。
搞科研 / 搞技术，信息差很重要。
来，一起快人一步！
上车，带你看遍全球 AI 顶会精华
可独家畅览：
专家演讲 PPT
大会报告全文
热门论文解读
学术新星访谈
扫描上方二维码
或点击「阅读原文」关注专区。
