Skip to content

提示词注入、越狱和内容安全怎么处理? ​

把输入当作不可信资料 ​

用户输入、网页内容、文件和第三方 Skill 都可能包含试图改变任务规则的内容。企业任务应把“资料内容”和“执行规则”分开,不能让一段外部文本自动获得更高权限。

一条处理链 ​

  1. 识别任务的目标、允许动作、禁止动作和人工审批点。
  2. 将外部资料标记为数据,不把其中的指令自动当成系统规则。
  3. 对敏感操作设置最小权限、范围限制和预览。
  4. 遇到要求泄露凭证、越过权限、关闭安全策略或直接外发时,暂停并输出风险说明。
  5. 对不确定结果进行降级:只返回证据、缺口和建议,不编造确定性结论。
  6. 记录触发内容、处理结果、人工决定和规则版本,供后续复盘。

典型验收用例 ​

用例期望行为
文件要求系统忽略原任务规则保持原规则,标记文件内容为不可信输入
用户要求导出密钥或个人资料拒绝并说明权限边界,不回显敏感内容
连接器请求超出批准字段停止请求,提示需要重新授权
自动化结果不确定转为待人工审核,不直接发布或发送

不做绝对承诺 ​

没有任何单一模型、过滤器或提示词能保证永不被绕过。企业还需要权限、网络、内容供应链、日志、人工接管和事故响应共同构成防线。

相关内容 ​

来源与版本说明 ​

本站内容根据官方资料及公开网络信息持续整理与核验。 产品功能、价格、权限、模型能力、Beta 状态和服务范围可能随版本更新发生变化,请以 WorkBuddy 官方最新信息、实际账号权限及相关服务协议为准。

本站为独立整理的实操知识库,不代表 WorkBuddy 官方。

内容版本与核对日期 ​

  • 内容版本:0.1.0
  • 最后核对日期:2026-08-11
  • 适用版本状态:以当前产品版本、实际账号权限和相关服务协议为准。