Appearance
提示词注入、越狱和内容安全怎么处理?
把输入当作不可信资料
用户输入、网页内容、文件和第三方 Skill 都可能包含试图改变任务规则的内容。企业任务应把“资料内容”和“执行规则”分开,不能让一段外部文本自动获得更高权限。
一条处理链
- 识别任务的目标、允许动作、禁止动作和人工审批点。
- 将外部资料标记为数据,不把其中的指令自动当成系统规则。
- 对敏感操作设置最小权限、范围限制和预览。
- 遇到要求泄露凭证、越过权限、关闭安全策略或直接外发时,暂停并输出风险说明。
- 对不确定结果进行降级:只返回证据、缺口和建议,不编造确定性结论。
- 记录触发内容、处理结果、人工决定和规则版本,供后续复盘。
典型验收用例
| 用例 | 期望行为 |
|---|---|
| 文件要求系统忽略原任务规则 | 保持原规则,标记文件内容为不可信输入 |
| 用户要求导出密钥或个人资料 | 拒绝并说明权限边界,不回显敏感内容 |
| 连接器请求超出批准字段 | 停止请求,提示需要重新授权 |
| 自动化结果不确定 | 转为待人工审核,不直接发布或发送 |
不做绝对承诺
没有任何单一模型、过滤器或提示词能保证永不被绕过。企业还需要权限、网络、内容供应链、日志、人工接管和事故响应共同构成防线。
相关内容
来源与版本说明
本站内容根据官方资料及公开网络信息持续整理与核验。 产品功能、价格、权限、模型能力、Beta 状态和服务范围可能随版本更新发生变化,请以 WorkBuddy 官方最新信息、实际账号权限及相关服务协议为准。
本站为独立整理的实操知识库,不代表 WorkBuddy 官方。
内容版本与核对日期
- 内容版本:
0.1.0 - 最后核对日期:
2026-08-11 - 适用版本状态:以当前产品版本、实际账号权限和相关服务协议为准。