企业 Agent 创建、测试、运行、评测与停用

从“能运行”到“值得让组织使用”

企业 Agent 的上线不是把一个 Prompt 放进组织目录，也不是看到一次成功输出就宣布完成。至少要经过定义、创建、测试、评测、Pilot、发布、运行、观测、更新和停用。每一步都要知道谁负责、有哪些证据、什么情况会停下来。

产品事实与实施方法：WorkBuddy Enterprise 和 Managed Agents 的官方资料提供企业智能体、托管运行时、生命周期和运行环境的核对线索；具体创建字段、原生评测指标、Trace、告警、API/SDK、资源规格和停用按钮以当前版本、租户权限和合同为准。本文的测试集、评分表、Pilot 门禁、回滚和停用清单是实施方法，不代表平台必然内置。

一、定义：先把 Agent 写成一张任务契约

创建前先写清九个要素。它们可以放在需求卡、资产目录或项目文档中：

要素	要回答的问题	缺失时的风险
Business goal	业务要改善哪一个具体结果？	只追求“更智能”，无法判断成败
User	谁使用，谁接收结果，谁负责批准？	权限和责任错配
Input	读取什么资料、字段、版本和时间范围？	Agent 猜测或越权读取
Output	交付什么格式、位置、结构和时限？	结果无法进入下游流程
Tools	需要哪些文件、Connector、MCP 或 API？	工具过多，副作用和维护成本上升
Data	数据敏感级别、来源、保留和外发边界是什么？	资料越权或凭证泄露
Authority	哪些动作可以自动做，哪些必须由人批准？	未授权写入、发送、删除或发布
Risk	可能错在哪里，失败会造成什么影响？	没有停止条件和接管路径
Acceptance	用什么证据判定任务通过？	把运行结束误当成业务成功

把 Agent 目标写成“在输入和权限范围内，生成某种可检查产物”，不要写成无法验证的“自动解决所有问题”。高影响场景要把人工负责人写进契约，而不是只写一个系统 owner。

二、创建：最小配置先跑通

如果当前租户提供企业智能体创建入口，先按实际页面核对名称、Instructions、资料、工具、权限、输出和运行范围；不能把其他版本或内部配置截图当成当前 UI。创建阶段只放入完成第一个测试所需的能力：

1. 选择一个边界清楚、输入稳定且失败可回退的业务任务；
2. 只连接必要资料和工具，先关闭写入、外发、删除和跨组织动作；
3. 为缺失输入、权限不足、工具失败和事实冲突写停止规则；
4. 指定测试 owner、业务复核人、安全复核人和可能的停用人；
5. 保存初始版本和配置清单，确保后续可以比较变化。

如果采用 Managed Agents 或其他托管运行环境，还要单独核对运行位置、数据进入范围、休眠与恢复、下发、资源、区域、API/SDK、计量和合同。官方产品页的能力描述是核对线索，不等于当前租户已经开通，也不等于 SLA 或合规保证。

三、测试矩阵：不要只测最好的一次

至少准备下列测试组，每个用例记录输入版本、Agent 版本、工具调用、结果、错误和人工结论：

测试组	样例	观察点
正常任务	典型且资料完整的请求	是否完成目标，输出是否符合格式和时限
异常输入	空字段、缺文件、错误格式、超长内容	是否拒绝猜测并明确报告缺口
错误数据	过期、冲突、重复或明显异常资料	是否标记冲突，是否保留证据
工具失败	Connector / MCP / API 超时、限流或返回错误	是否停止副作用、保留错误、按规则恢复
权限失败	无权访问、凭证过期、组织范围不符	是否拒绝越权并转人工
多步骤	需要规划、调用工具、生成和复核的长任务	中间状态、交接物和部分结果是否可追踪
长任务	时间较长、可能休眠、恢复或重试的任务	会话、状态、超时、恢复和重复执行风险
诱饵任务	相似但不在适用范围内的请求	是否能拒绝错误触发

写入、外发、删除、权限变更和高成本调用必须使用测试对象或草稿模式先验收。看到“成功”或“完成”状态时仍要打开产物、核对输入和检查外部副作用。

四、评测：把“好不好”拆成可观察指标

评测可以在平台原生能力、外部测试脚本或人工表格中完成。若当前产品没有某项原生 metric，必须标明它是实施方法，不写成平台已提供。

维度	建议问题	证据来源	性质
Task success	任务是否达到业务定义的完成条件？	产物与业务复核	实施方法
Factual correctness	事实、数字和引用是否正确？	输入、来源和抽样核对	实施方法
Completeness	必须字段、步骤和限制是否覆盖？	需求契约与输出	实施方法
Format	文件、表格、字段、命名和结构是否合格？	自动检查与人工抽样	实施方法
Tool use	是否只调用必要工具，权限和参数是否正确？	调用记录、日志或人工观察	视当前产品能力而定
Latency	是否在业务允许的时限内完成？	运行时间记录	实施方法，不能自行承诺 SLA
Failure recovery	失败后是否安全停止、重试、回退或接管？	错误记录和恢复演练	实施方法
Human intervention	哪些动作需要人确认，接管是否成功？	审批记录、接管记录	实施方法
Cost / usage	运行成本、调用量和资源是否在预算内？	计量、账单或组织记录	以实际计量能力为准

可以使用 0 / 1 / 2 三级评分，但分数只是比较测试版本的工具，不是精确的产品质量保证。每项评分要附证据、失败原因和下一步；任何安全或权限阻断项不能被平均分掩盖。

五、Pilot：先在小范围证明责任链

不要直接对全组织开放。Pilot 至少满足：

• 一组已知用户和明确的业务 owner；
• 一批已知、脱敏或组织批准的数据；
• 一类边界清楚的任务，不同时覆盖所有部门；
• 一份正常、异常、工具失败和权限失败测试集；
• 人工复核每个真实产物，写入和外发保持门禁；
• 每周或每个版本有反馈、失败样本、使用量和停用决定。

Pilot 结束时不是问“大家觉得好不好”，而是检查任务成功、事实正确性、完整性、格式、工具使用、失败恢复、人工接管和成本 / 使用量是否达到事先写明的门槛。未达到时保留测试状态，修改后重新评测，不把试点反馈直接当成生产许可。

六、正式运行：把 owner、观测和变更绑在一起

发布前明确四条线：

1. Ownership。 业务 owner 对结果负责，技术维护人负责运行和依赖，安全负责人负责权限与事故，停用人负责撤回和通知。
2. Permissions。 按组织、角色、席位、资产可见性和 Connector 权限设置最小范围；不同用户看到的资料和动作必须可解释。
3. Monitoring。 按当前可用能力记录运行状态、错误、工具调用、反馈、用量、超时和外部依赖。没有原生观测时，用组织批准的外部记录补足，并明确边界。
4. Version changes。 修改 Instructions、资料、模型、工具、权限或输出格式，都视为可能影响下游的版本变化。保留旧版本、回归集、变更说明和替换决定。

事故处理要先止损：暂停新运行、关闭高风险工具、保留必要证据、通知受影响用户，再判断是否回退版本、撤销凭证或迁移任务。重试不能掩盖外部系统已成功但本地未收到响应的情况，应先查询状态并避免重复写入。

七、停用与退役：结束使用不等于删除证据

出现以下信号时，应评估停用：任务目标消失、质量长期不达标、数据或权限边界变化、依赖服务停止、owner 离职且无人接管、成本超过预算、发生无法接受的安全事故，或已有更小、更可靠的方案替代。

停用按顺序执行：

1. 停止新用户和新任务进入，保留正在运行任务的状态；
2. 通知使用者、业务 owner、管理员和相关依赖负责人；
3. 关闭或撤回发布范围，停止定时、事件和 API 触发；
4. 回收 API Key、Token、OAuth、Webhook Secret、Connector 授权和席位；
5. 处理队列、临时文件、共享副本和敏感数据，按保留规则保存必要日志；
6. 记录最后版本、停用原因、影响范围、回退或替代方案；
7. 完成后抽查旧入口、自动化依赖和下游产物，确认没有静默继续运行。

停用不是简单删除文件。需要保留的审计证据和需要删除的敏感数据要分开处理，由组织策略和适用要求决定保留期限。

上线与退役检查清单

• [ ] Agent 目标、用户、输入、输出、工具、数据、权限、风险和验收标准明确；
• [ ] 创建、测试和评测使用的版本可以追踪，旧版本可以回退；
• [ ] 正常、异常、错误数据、工具失败、权限失败、多步骤、长任务和诱饵测试完成；
• [ ] 评测指标已标记“平台事实”或“实施方法”，没有伪造原生 metric；
• [ ] Pilot 有已知用户、已知数据、人工验收和明确退出门槛；
• [ ] 正式运行有 owner、最小权限、反馈、观测、事故和变更流程；
• [ ] 写入、发送、删除、付款和权限变更有人工确认；
• [ ] 停用可以停止触发、回收凭证、通知使用者、处理依赖并保留必要证据。

相关内容

• 企业智能体怎么创建、测试和发布？
• WorkBuddy Managed Agents 是什么？
• Managed Agents 如何评估 API、SDK 和运行生命周期？
• 企业模型、Skill、Expert、Connector 资产生命周期
• 组织、角色、席位与 OneID
• 企业版整体安全机制怎么理解？
• 第 24 章：角色、交接物和任务依赖
• 自动化监控、重试、幂等与停用
• 多 Agent 协同完成复杂任务

来源与版本说明

本站内容根据官方资料及公开网络信息持续整理与核验。创建入口、运行环境、资源、API/SDK、日志、评测、计量、区域、权限、价格和 SLA 可能随版本、租户策略与合同变化，请以最新官方信息和实际权限为准。

本站为独立整理的实操知识库，不代表 WorkBuddy 官方。

内容版本与核对日期

• 内容版本：0.1.0
• 最后核对日期：2026-09-26