检查真实业务样本
使用双方约定的业务样本,分别评估回答正确性、引用有效性和字段完整性。区分不同任务类型,避免只报告一个总体数字。
检查完整执行过程
对于会调用工具的智能体,验收应覆盖任务是否最终完成、是否产生重复记录、失败后如何恢复,以及敏感操作是否经过人工确认。
检查权限和异常边界
用无权限用户、缺失数据、系统超时和模糊指令验证边界。确保问题可以被发现,流程能够停止或转交人工。
检查交付与运营能力
确认文档、配置、培训、日志查看方式和维护责任。统计运行成本、人工介入量及实际节省时间,作为后续迭代依据。
