关于ZAKER Skills 合作
新浪财经 22分钟前

阿里巴巴首席科学家周靖人:Agent 执行要有安全沙箱机制

来源:睿见 Economy

2026Inclusion · 外滩大会于 2026 年 9 月 9 日至 12 日在上海黄浦世博园区举行,本届大会以 " 共创 AI 新经济 " 为主题。

阿里巴巴集团首席科学家周靖人表示,在权限层面,可以把 Agent 类比成一个人,当你给人下达指令时,同时会附带约束条件,明确哪些事情允许他去做。

在模型侧,他表示,安全能力已经取得长足进步,但仍有大量工作要持续推进。很关键一点,我们会给模型设置强约束,并且要保证模型始终遵守这些约束,不会因为中途读取其他资料,就弱化对约束条件的理解。

他强调,这里要做好区分:一类是硬性限制规则,另一类是任务执行过程中需要处理的数据。处理数据,不等于数据可以覆盖原有约束。比如设定 100 元以内完成任务,即便模型读到一份材料说要 200 元,Agent 依然必须遵守最开始的限额约束。

他到安全与信任问题,他指出还有一个关键点:Agent 执行要有安全沙箱机制,防止本意让它做 A,结果它执行了 B。这套能力由整套 Agent 系统来管控,提供安全执行环境。

他认为,理解 Agent 的信任问题其实不用想得太复杂,就把 Agent 当作人来看待。就像和同事协作,分配任务时都会附带约束条件。"Agent 之间的协作,和人与人之间协作逻辑相近。只要把约束条件定义清楚,搭建好沙箱执行环境,让模型分清什么是强约束、什么是待处理数据,这个问题就能逐步得到很好解决。" 他说。

相关阅读

最新评论

没有更多评论了
新浪财经

新浪财经

新浪财经提供7*24小时财经资讯及全球金融市场报价;覆盖股票、债券、基金、期货、信托、理财、管理等多种面向个人和企业的服务。

订阅

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容