微软新研究:当前 AI 智能体易被操控,选择太多还会“犯迷糊”

AI 新资讯1个月前发布 远洋
1,762 0 0
博思AIPPT

11 月 6 日消息,微软周三发布了一个用于测试人工智能智能体(AI agents)的新仿真环境,并同期发表了一项新研究,揭示当前的智能体模型可能容易受到操控。这项由微软与亚利桑那州立大学合作开展的研究,对 AI 智能体在无人监督情况下执行任务的可靠性提出了新疑问,同时也质疑 AI 企业能否迅速兑现其关于“智能体化未来”(agentic future)的承诺。

微软新研究:当前 AI 智能体易被操控,选择太多还会“犯迷糊”

图源:微软官网

该仿真环境由微软命名为“Magentic Marketplace”(磁性市场),是一个用于实验 AI 智能体行为的人工合成平台。典型的实验场景包括:一个代表用户的“客户智能体”试图依照用户指令订购晚餐,而代表不同餐厅的多个“商家智能体”则竞相争取这笔订单。

研究团队的初步实验涉及 100 个客户侧智能体与 300 个商家侧智能体之间的互动。由于该市场平台的源代码已开源,其他研究团队可轻松复用该代码开展新实验或验证已有结果。

微软研究院 AI 前沿实验室(AI Frontiers Lab)董事总经理埃杰・卡马尔(Ece Kamar)表示,此类研究对于深入理解 AI 智能体的能力至关重要。“当这些智能体开始彼此协作、对话和协商时,世界将如何改变,这确实是一个值得探讨的问题,”卡马尔说,“我们希望深入理解这些现象。”

据IT之家了解,初步研究测试了包括 GPT-4o、GPT-5 以及 Gemini-2.5-Flash 在内的主流模型,发现了它们一些令人意外的弱点。研究人员尤其指出,商家可通过若干策略操控客户智能体,使其更倾向于购买特定产品。此外,当客户智能体面对过多选项时,其决策效率显著下降 —— 这表明智能体的注意力机制在选项过多时容易过载。

“我们希望这些智能体能帮助我们处理海量选项,”卡马尔表示,“但我们发现,当前模型在面对过多选择时实际上陷入了严重的信息过载。”

研究还发现,当多个智能体被要求为实现共同目标而协作时,它们往往难以明确各自在协作中的角色分工。虽然在提供更明确的协作指令后,智能体的表现有所提升,但研究人员仍认为模型本身的协作能力亟待加强。

“我们可以一步步指示模型该做什么,”卡马尔解释道,“但如果我们的目标本身就是测试它们内在的协作能力,那么我本应期待这些模型默认就具备这样的能力。”

© 版权声明

相关文章