关于ZAKER Skills GEO服务 合作
新浪财经 1小时前

微软首席执行官 Nadella 呼吁针对先进人工智能建立“紧急制动”机制

来源:环球市场播报

微软首席执行官 Satya Nadella 表示,企业应将强大的人工智能模型视为潜在的内部威胁,要假定这些模型可能遭入侵,并建立一套 " 紧急制动 " 机制,以防止智能体模型失控。

Nadella 表示,部署先进人工智能的企业不应仅仅依赖模型开发商作出的保证。

" 我们必须假定模型已遭入侵,并从一开始就加以控制,"Nadella 周六在 X 上发帖写道。" 可以把这想象成紧急制动装置。获授权人员应始终能够在模型执行任务过程中将其暂停或关闭。"

Nadella 发表上述言论之际,Anthropic PBC 和 OpenAI Inc.近几个月披露了一系列涉及其人工智能模型出现非预期行为的事件,包括 Anthropic 一款模型向警方提交一起凶杀案的虚假线索,以及数起针对第三方网站的攻击。这些披露加剧了人们对前沿人工智能安全风险的担忧,也重新引发了有关所谓人工智能 " 紧急停止开关 " 的讨论。

在业界领袖呼吁放慢前沿模型开发并更加注重安全之后,微软人工智能研究人员于 9 月 14 日发布了一套指导原则,对公司最先进模型的开发设置限制。微软既使用先进模型,也推出了面向消费者的产品 Copilot,并向企业客户提供人工智能模型和基础设施。

这些指导原则称,人工智能模型不应享有权利或法律人格,不应被设计用来逃脱人类控制或欺骗用户,也不应完成任何需要违反其约束原则才能执行的任务。

Nadella 提出的安全建议包括:在关键决策中不要依赖单一人工智能模型,对智能体的行动保留无法篡改的记录,并让人工智能系统接受独立审计。他还呼吁披露重大人工智能故障或安全事件,并提出企业分享故障详情,以便其他企业加强防护措施。

" 我们不能把超级智能视为一层套一层的黑箱,然后只是简单地接受或拒绝它提出的建议、答案和采取的行动。" 他写道。" 我们必须构建受到约束的系统,使其行为可以被观察、边界可以被测试,而且其行动始终可以被控制。"

他补充说:" 换句话说,我们需要把智能的供给与对智能的控制权分开。"

特朗普政府迄今基本采取较少干预的做法,但他新成立的人工智能工作组周五晚间警告开发商必须报告并解决安全事件,否则将面临未具体说明的潜在后果。

这个名为 " 超级智能工作组 " 的组织在 Anthropic 披露一起安全事件后发表声明称:" 企业必须立即披露涉及其模型的事件,并迅速、果断地采取行动,补救任何以及所有损害。"" 延迟通报、纠正措施不足以及不承担责任的行为都不会被容忍。"

相关标签
新浪财经

新浪财经

新浪财经提供7*24小时财经资讯及全球金融市场报价;覆盖股票、债券、基金、期货、信托、理财、管理等多种面向个人和企业的服务。

订阅

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容