来源：DeepTech深科技
AI 智能体正掀起一场全新的人机交互革命。
与传统的 AI 聊天机器人不同，这种开创性的系统突破了聊天对话框的限制，能够自主在电脑多个应用程序间来回穿梭执行更为复杂的任务。
举个例子，用户只需简单说一句“帮我安排明天的会议”，AI 智能体就能自动协调日程、发送邀请、预订会议室，甚至根据会议主题自动生成一份议程。它像一位全能管家，通过整合搜索引擎、办公软件、电商网站等各种工具，实现“一句话完成一百步操作”。
随着 AI 智能体“功力见长”，一个根本性问题浮出水面：我们究竟该赋予它们多少自主权？又该如何衡量技术便利与潜在风险的代价？
（来源：MIT Technology Review）有业内专家曾直言：“这类‘能自主行动的 AI’正在突破数字与物理世界的边界，一旦失控将酿成灾难性后果。”
比如，学生让 AI“帮我应付无聊的课”，结果 AI 竟生成威胁电话，这其实是源于它机械执行的字面指令，却完全忽视了社会伦理；再比如，手机 AI 智能体依赖系统级“无障碍功能”权限，可访问银行密码、聊天记录等敏感信息，而这可能成为黑客窃取数据的关键漏洞。
逐步放弃控制权：自主与失控的博弈
当前，AI 智能体的技术迭代速度惊人，几乎每周都有新框架和新功能发布。企业更是不遗余力地宣传其“解放人类双手”的美好愿景，帮助人们去做那些没时间做或不想做的事情，从而让生活变得更轻松惬意。
最典型的代表就是“Computer Use”（计算机使用）功能，它让 Anthropic 公司的 Claude 像人一样使用电脑，直接代替你在执行各种操作。近期还有一款名为 Manus 的通用 AI 智能体，它也可以利用各种工具完成多种任务，比如搜集整理人物资料或寻找房源等。
值得一提的是，AI 智能体还能够提升残障人士的生活质量，比如通过语音指令让智能体完成网购、订餐以及查询资料等一系列任务。此外，在一些紧急情况下，比如灾难发生时，AI 智能体还可以协调大规模人群疏散，通过引导交通帮助人们逃离危险区域。
这些 AI 智能体被设计的初衷是用来帮助甚至替代人类执行操作，这个愿景非常令人向往，毕竟谁不希望有人帮忙处理繁琐的任务呢？但是，技术狂奔背后暗藏隐忧，在追求更大自主性的过程中，AI 智能体的这一愿景也带来了巨大的风险。
Hugging Face 的一个研究小组长期专注于智能体的开发和研究。在他们看来，AI 智能体最引人注目的特质，恰恰也是最令人警惕的矛盾点：人类为了获得更高效的服务，不得不逐步交出对它的控制权。
AI 智能体建立在大语言模型的基础之上并通过模型获得“自主决策”能力，但是大语言模型目前仍然存在“黑箱”和“幻觉”缺陷，意味着它们可能做出人类无法预见的行动。
举个例子，OpenAI 推出的首款 AI 智能体“Operator”，它通过强化学习获得操作浏览器的能力，但其“感知-推理-操作”的循环机制也存在风险，当它误判用户指令时，可能会像人类一样犯错，比如将“删除草稿文件”误解为“永久删除所有文件”，导致数据全部丢失。
进一步讲，传统 AI 聊天机器人若是出现错误则仅限于“对话框内”，而智能体的“物理级”操作能力则将风险进行了指数级放大。
比如，一个管理日程的 AI 智能体，可能在“优化效率”的逻辑下，擅自取消了用户与客户的会议。更危险的是，某些“完全自主智能体”能够自主编写并执行代码，若被恶意利用，可能像病毒般自我复制，甚至突破安全边界。
很大程度上，AI 智能体的核心，即减少人类干预，这恰恰是其最大的安全隐患。
（来源：MIT Technology Review）为了全面了解整体风险收益情况，Hugging Face 的研究团队根据自主性程度对 AI 智能体系统划分成五类。随着层级的升高，人类控制权的逐步减少，直至消失。
最低层级就像是“处理器”，是指那些对程序流程没有影响的智能体，比如企业客服聊天机器人，仅执行预设指令，完全受人类控制。
中间的层级，则包括类似于“路由器”（决定执行哪些步骤，但需人类确认关键操作）、“工具调用智能体”（能调用第三方工具，但依赖人类编写的核心逻辑）以及“多步执行智能体”（自主规划任务流程，但需在敏感操作时交出控制权）。
最高层级则是“完全自主智能体”，它们可以在没有人类约束或监督的情况下编写并执行新代码，即使你没有提出要求，它们也能采取行动（比如移动文件、更改记录、发送邮件等），甚至还能绕过人类监督。
AI 智能体的“全能”特性使其成为隐私泄露的温床。例如，一个分析用户社交关系的 AI 智能体，可能需要访问通讯记录、浏览历史等敏感数据。
同时，若 AI 智能体能够同时控制多个信息源时，潜在的危害将急剧增加。例如，一个管理日程的 AI 智能体若同时访问社交媒体，可能将私人行程发布到公开平台，或根据“优化社交形象”的逻辑，自动生成并发布虚假动态。
未来，我们或许会经常听到这样的辩解：“这不是我本人做的，而是我智能体所为！”
有业内专家曾指出：“当智能体能同时控制你的电脑、手机和物联网设备时，它就是你生活中的‘数字暴君’。”
掌握控制权：人类监督的生死防线
事实上，人类对技术失控的恐惧并非空穴来风。
早在 1980 年，计算机系统曾错误地显示有超 2,000 枚苏联导弹正飞向北美，这触发了紧急程序，几乎将人类推向了灾难的边缘，最终确认是系统故障。
这一事件成为人类监督技术的重要转折点，如果决策权完全交给追求“速度优先”的自主系统后果将不堪设想。业内专家表示：“技术的致命缺陷在于，它既没有恐惧，也没有道德感。”
一些人或许会反驳说，“它所带来的益处大于风险，那就值得去冒险。”但 Hugging Face 的研究人员认为，保持人类控制权与享受技术便利并不冲突。
开源 AI 智能体系统是应对风险的一种方法，因为这类系统能让人类更清楚地了解系统能做什么、不能做什么，从而加强对其的监督。
研究人员以他们开发的 Smolagents 开源框架为例，其提供了一个“沙盒式”的安全环境，让开发者构建以透明性为核心的 AI 智能体，这样任何独立团队都可以验证是否存在适当的人类控制。
这种透明性与闭源 AI 形成鲜明对比，后者通过层层专有技术掩盖其决策过程，导致安全性根本无法得到保障。毕竟，当 AI 的决策过程像迷雾一样不可见时，安全就无从谈起。
研究人员最后强调，在开发日益复杂的 AI 智能体的过程中，人类必须认识到，它们是工具而非决策者、是助手而非替代者。尽管人类的判断力也并不完美，但仍然是确保这些系统服务于人类的利益而不是破坏人类利益的关键所在。
参考链接：
1.2025/03/24/1113647/why-handing-over-total-control-to-ai-agents-would-be-a-huge-mistake/
2.learn/agents-course/unit0/introduction
0 条