单任务验收证据试点
Task ID:T-20261022-HARNESS-DOCS
状态:completed
验证时项目基线:MS.Microservice b8b2d75;工作区差异仅包含本次任务文档与演练脚本,随本 slice 提交。
引擎基线:ai-skills af63286;修复提交:837c3dd。
问题与范围
已有工作协议要求任务卡、状态页、恢复说明和 PR 模板。旧引擎只检查托管块与适配器,且 sync 不补建辅助文档,导致缺任务卡仍报告成功。修复位于 ai-skills 的共享文档清单、check 和 sync;本仓库只接入证据试点。
实际项目文件在临时目录中复制后演练。删除操作只针对临时任务卡,不修改真实项目文档;恢复的是空模板,不是历史任务结果。
执行记录
日期:2026-10-22;Windows,Python 3.12。命令从本仓库根运行。
| 执行 | 实际结果 | 证据 |
|---|---|---|
| P1 | 修复后引擎 check --root . 返回 0 |
项目检查命令;复跑脚本还对相同文件副本执行 intact-project 检查 |
| P2-01 | 旧版漏检、旧版未恢复、新版拒绝、新版恢复、恢复后通过;三个非空辅助文档字节不变 | 首轮结果 |
| P2-02 | 收尾文档变化后再次采集最终输入哈希,复验相同故障路径 | 最终结果 |
| P3 | 任务卡、状态页、恢复说明及本摘要的相对文件链接均可解析;git diff --check 通过 |
本次本地检查,复查时检查四个文件中的 Markdown 相对路径 |
P2-01 对应进行中的任务卡,P2-02 对应最终交接文件;两轮结果分别保留。JSON 为固定夹具自动采集的执行结果;以下结论为基于这些结果作出的人工/agent 审查判断,不是独立人工签署。
审查结论
- A1:实际项目文件完整,修复后检查通过。
- A2:旧引擎在临时任务卡被移除后仍返回成功;新引擎拒绝该状态并能恢复模板,失败机制得到直接验证。
- A3:同步只补缺失任务卡;状态页、恢复指南和 PR 模板保持字节不变。源仓库回归套件另外覆盖四类文档的缺失/空白状态及 dry run。
- A4:契约、状态页和恢复指南引用同一摘要;提交内保留复跑脚本、关键输出和输入哈希,审查者不依赖本地忽略日志。
试点取舍
本任务需要的事实由现有命令输出、固定夹具和单份摘要覆盖,未发现值得维护通用 trace.py 的重复采集缺口。暂不增加 JSONL 事件 schema、宿主解析器、OTel、dashboard、VCR 或通用技能强制规则。
仍需人工把验收项与结果关联,并确认代码/环境变化是否使证据失效;现有机制不保证记录所有 agent 行为。此次没有独立人工评审者,不能据此宣称缩短审查时间或提高模型成功率。
复跑
从本仓库根运行:
python docs/validation/T-20261022-HARNESS-DOCS/replay.py --skills-root <ai-skills-checkout>
python <ai-skills-checkout>/skills/bootstrap-harness/scripts/harness.py check --root .
ai-skills checkout 需要包含 af63286 和修复后的引擎。脚本输出输入文件哈希、引擎哈希、实际命令结果以及内容保留检查;异常使脚本非零退出。它是本次回归的复跑夹具,不是通用运行记录器。
限制
此任务验证工作协议文件恢复,不验证业务代码或部署。没有执行 .NET 构建、数据库/消息集成测试。JSON 输出只覆盖上述固定演练步骤,不代表完整 agent 操作历史,也不是防篡改审计记录。