测试报告生成Skill

Skill 标识
lemon-test-report

把用例结果和 Bug 清单变成可审计的测试报告:自动核算指标、标出遗留风险,输出 Markdown、HTML 与审计 JSON。领取源码,把版本收尾变成有据可查的质量评审。

扫码添加辅导员,发送 Skill 名称领取源码
本文目录
  1. Skill 概览
  2. 适合谁、用在什么场景
  3. 需要准备什么、能得到什么
  4. 核心能力与使用边界
  5. 实战教程与使用说明
  6. 一、测试人为什么需要一个报告 Skill
  7. 二、Lemon Test Report Skill 是什么
  8. 三、它可以接收什么数据
  9. 四、它可以输出哪些格式
  10. 五、它如何帮到测试人
  11. 六、从物业项目 Bug CSV 到 HTML 报告
  12. 九、源码结构、代码说明与可下载附件
  13. 1. 源码目录结构
  14. 2. 核心代码是怎么工作的
  15. 3. 真实案例:你提交的物业项目 Bug 数据
  16. 4. 本案例的真实附件与报告文件
  17. 5. 测试人如何快速体验
  18. 七、能力边界,别用错期待
  19. 八、后续还能往哪走
  20. 小结

Skill 概览

适合谁、用在什么场景

负责版本收尾、回归验收和发布评审的测试工程师与测试负责人。

需要准备什么、能得到什么

  • 输入材料:用例执行结果、Bug 清单、版本范围及发布标准。
  • 交付产物:Markdown 报告、HTML 展示页与 audit.json 审计记录。

核心能力与使用边界

  • 核心能力:支持测试总结、回归核验和发布验收;校验计数、百分比与门禁证据。
  • 使用边界:不能执行测试或替负责人批准发布;数据不足时应标记 Pending,不能补造指标。

实战教程与使用说明

一、测试人为什么需要一个报告 Skill

一轮测试收尾时,常见工作是这样的。手动统计通过率,反复核对 Bug 数量、严重程度和关闭率,不同项目报告格式各写各的,版本发布前又要重写一遍风险和遗留问题。结论还容易被数据缺失或统计错误带偏。

结果是,测试人员花大量时间在整理报告上,而不是分析质量风险。工具再熟,也不等于报告更可信。需要的是一套能统一结构、重算指标、标出缺失项的流程,而不是又一份空白模板。

二、Lemon Test Report Skill 是什么

它不是一个简单的文本生成器。定位是报告编排与质量校验。AI 负责理解业务语义,脚本负责确定性校验、脱敏和 HTML 渲染。排版和发布判断是分开的。

核心链路可以收成一条线。

它可以把用例执行结果、Bug 清单、测试计划、需求范围、回归数据和发布标准,整理成一份结构化报告。自然语言补充也可以接,但只作为事实、推断和缺失项的补充说明,不能用来填假数字。

Skill 保留三种工作模式。

模式

适用场景

报告重点

测试总结

一轮结束、版本收尾、阶段总结

范围、执行情况、Bug 统计、风险、结论

回归核验

版本回归、修复验证、上线前回归

变更范围、历史对比、新增/修复/重开、回归通过率

发布验收

上线前验收、发布评审、Go / No-Go

构建信息、发布标准、阻断项、回滚、监控项

发布验收不只给一句「可以上线」。结论是四态,Go、Go with risk、No-Go、Pending。门禁规则全部有证据,才能输出 Go。证据不足输出待确认。存在硬阻断输出 No-Go。

三、它可以接收什么数据

并不是随便丢一段文字,就能生成可靠报告。数据完整程度,直接决定结论能不能下。

用例数据建议至少有编号、标题、模块、执行状态、失败原因、实际结果、关联 Bug、执行人和执行时间。状态建议统一成通过、失败、阻塞、跳过、未执行。Bug 数据建议有编号、标题、模块、严重程度、优先级、状态、指派人、创建时间、影响版本、修复计划,以及是否允许带伤上线。

测试计划和需求数据,用来看测试范围、需求覆盖、未测项和版本目标。回归和发布数据,还包括变更范围、历史通过率、新增/修复/重开 Bug、性能、兼容性、安全结果和回滚方案。

数据不足时,Skill 不会自行编造指标,而是把结果标记为「待确认」或「数据缺失」。

这是它和普通「帮我写一份报告」最大的差别。好看但不能审计的报告,反而更危险。

四、它可以输出哪些格式

推荐一次输出三件套。

文件

适合做什么

说明

report.md

编辑、审阅、团队文档归档

报告源文件,给人改

report.html

汇报、评审、归档、分享

静态展示,不执行输入里的脚本

audit.json

CI/CD、二次处理、留痕

记录校验结果、警告、脱敏命中和门禁判定

生成 HTML 前,会先跑审计脚本。重新计算计数和百分比,检查范围,扫敏感信息,再对照发布标准。审计结果可以长这样。

json
{
  "conclusion": "Pending",
  "gate_failures": [
    "缺少通过率证据"
  ]
}

Markdown 给人看,JSON 给系统和门禁看。两者对不上时,以审计结果为准,而不是以「写得顺」为准。

五、它如何帮到测试人

第一,减少重复统计。用例总数、通过数、失败数、阻塞数、Bug 数、关闭率、严重程度分布,可以按统一口径算出来。执行通过率的分母是通过、失败、阻塞、跳过,不会把未执行混进去。

第二,提高报告规范性。基本信息、执行摘要、测试范围、用例统计、缺陷分析、风险与应急、结论与建议、附录,结构固定。每次不用从空白页开始写。

第三,降低统计错误。比如总用例 100,通过 90,失败 5,阻塞 5,有人顺手填了通过率 98%。Skill 会重算,并提示实际应为 90%。原始计数和百分比冲突时,结论会落到待确认,而不是装作没事。

第四,辅助发布决策。发布标准可以写成通过率最低 95%,P0 允许 0,P1 允许 0。不满足就提示 No-Go。缺关键证据就输出 Pending。它不代替负责人拍板,但会把「为什么还不能拍」写清楚。

第五,提升风险表达。不只罗列 Bug,还会帮你看哪个模块风险最高,哪类问题最集中,哪些缺陷可能影响核心流程,上线前必须解决什么,上线后该监控什么。

六、从物业项目 Bug CSV 到 HTML 报告

用过一份物业项目未关闭 Bug 的 CSV。大约 34 条缺陷,32 条激活,2 条已解决。代码错误 29 条,设计缺陷 5 条。主要集中在业主管理、注册登录和小程序绑定登录。

按模块看,物业后台业主管理 13 条,注册登录完善用户 9 条,业主小程序绑定登录 4 条。高风险问题包括图片上传失败、收费项目无法提交、房屋出租图片上传无响应、密码错误次数没有限制,以及身份证、营业执照等字段校验不足。

如果只给这份 Bug 清单,Skill 不会直接写「可以上线」。最终结论更接近 Pending,待确认。原因很具体,缺少用例通过率,缺少 P0/P1 与发布标准的映射,缺少性能和安全结果,同时还存在高严重程度未关闭缺陷。

它不是为了生成一份看起来完整的报告,而是要告诉测试人员:目前有哪些数据、哪些风险、哪些结论还不能确定。

这份案例把原则钉死了。只有 Bug CSV,也能产出有结构的 HTML 和审计结果。但没有执行证据和门禁证据时,它宁可把结论停在待确认,也不替你编一个漂亮的 Go。

九、源码结构、代码说明与可下载附件

前面的文章说明了 Skill 能做什么,下面把它拆到文件级别,方便测试人员理解:哪些内容是给 AI 的工作规范,哪些内容是确定性脚本,哪些文件可以作为示例附件。

1. 源码目录结构

text
lemon-test-report/
├── SKILL.md
├── references/
│   ├── data-contract.md
│   ├── release-gates.json
│   └── security-notes.md
├── scripts/
│   ├── audit_report.py
│   └── render_report.py
└── examples/
    ├── demo.md
    ├── audit.json
    └── report.html

SKILL.md 是给 AI 读取的工作规范,规定报告模式、数据边界、事实与推断的区分方式,以及什么时候只能输出 Pending。

audit_report.py 负责确定性审计:检查计数和百分比是否一致,识别缺失的门禁证据,并扫描邮箱、手机号、Token 和内网地址等敏感信息。

render_report.py 负责把审核后的 Markdown 转成静态 HTML。它会转义输入文本,不执行报告中的原始脚本,也不加载外部资源。

references/ 用于放数据契约、发布规则和安全约束。把规则从主说明中拆出来,后续可以按项目替换发布门槛,而不用改核心脚本。

2. 核心代码是怎么工作的

python
# 第一步:对报告原文做审计
result = audit(report_text, release_policy)

# 第二步:根据证据决定结论
if result["errors"] or hard_gate_failures:
    conclusion = "No-Go"
elif result["gate_failures"]:
    conclusion = "Pending"
else:
    conclusion = "Go"

# 第三步:只把审核结果交给 HTML 渲染器
html = render(report_text, audit_result, title)

这里最重要的不是代码量,而是结论分层:明确违反发布门禁才是 No-Go;缺少数据是 Pending;只有所有关键证据都满足时才可以 Go。

3. 真实案例:你提交的物业项目 Bug 数据

本次案例使用的是用户实际提交的文件:软测AI10_物业项目-未关闭Bug.csv,而不是虚构的演示数据。CSV 共 34 条记录,数据时间范围为 2026-03-02 至 2026-06-24,主要影响版本为 v1.0.1。

统计结果显示:32 条记录处于“激活”状态,2 条记录标记为“已解决”;代码错误 29 条,设计缺陷 5 条。模块分布最高的是物业后台-业主管理 13 条、物业后台-注册登录完善用户 9 条、业主小程序-业主绑定登录 4 条。

从缺陷标题和重现步骤中可以归纳出四类风险:文件上传链路不稳定、账号和密码校验不足、身份证/营业执照/日期等业务字段校验不足,以及小区、房屋和收费数据的一致性校验不足。

报告中重点保留了 1928、2034、2035 三条原始严重程度为 1/2 的记录,分别涉及业主图片上传失败、收费项目无法提交和房屋出租图片上传无响应。由于 CSV 没有提供完整用例执行统计、P0/P1 映射、需求覆盖率和发布标准,报告最终结论为 Pending,而不是直接判断可以上线。

为了保护测试数据,文章正文没有复制 CSV 中的账号、密码、手机号等原始敏感内容,读者可以下载附件查看完整原始数据,并结合脱敏后的报告和审计结果复现流程。

4. 本案例的真实附件与报告文件

下面附件全部来自本次物业项目案例,分别对应“原始输入、人工可读报告、机器审计结果和 HTML 展示”四个环节:

文章配图建议直接使用这份 HTML 报告的浏览器截图:一张展示缺陷总览,一张展示 Pending 门禁结论,一张展示高风险缺陷和“上线前必须完成”清单。这样读者看到的是实际数据生成的结果,而不是抽象示意图。

5. 测试人如何快速体验

  1. 准备一份 CSV 或 Markdown 测试数据,先不要包含真实密码、Token 和生产账号。

  2. 补充项目、版本、测试周期和发布标准。

  3. 让 Skill 先输出 Markdown 和 audit.json,确认数字、缺失项和风险。

  4. 审计结果确认后,再生成 HTML 作为汇报或发布评审材料。

这套 Skill 的价值不只是把报告写得更完整,而是把“数据从哪里来、结论为什么成立、还有什么证据缺失”一起交代清楚。

七、能力边界,别用错期待

它能做的事,是整理测试数据,计算和校验指标,生成结构化报告,分析 Bug 风险,辅助发布门禁判断,输出 Markdown、HTML 和 JSON。

它不能做的事,也要说清楚。不能自动执行接口测试或 UI 测试,不能自动发现真实 Bug,不能代替测试管理平台,不能在数据不足时编造结论,不能代替测试负责人做最终发布决策,也不能仅凭 Bug 清单判断完整版本质量。

Lemon Test Report Skill 的作用不是替测试人员做测试,而是帮助测试人员更快、更准确地完成测试结果整理、质量分析和发布评审。

如果主要工作是整理数据、写报告、统计 Bug、分析风险、准备上线评审,它的价值可以到八十分上下。如果期望它自动执行测试、自动发现 Bug、自动连上所有平台并完成发布,目前大概只有四五十分。别把报告 Skill 当成测试平台。

综合大约 75 分。结构化、Bug 汇总、指标校验、HTML 和发布风险分析得分较高。自动执行测试和自动发现 Bug 是 0 分。替代测试管理平台大约 30 分。分数不高的地方,恰恰是边界。

八、后续还能往哪走

输入侧可接 Excel、Jira、禅道、TAPD、TestRail,以及 CI 和 Allure、JUnit、pytest 结果。分析侧可做需求、用例、Bug 关联,覆盖率、趋势、重开率和模块风险排名。可视化、平台集成和风险预测可以后补。现在这一版,先把「可审计」做扎实。扩展可以快,编造结论不能放开。

小结

AI 不会替代测试人员,但会替代报告整理、重复统计和格式排版上的大量时间。真正有价值的测试 AI,不是把几段文字改得更漂亮,而是能识别数据缺失、发现统计矛盾、暴露发布风险,并告诉你哪些结论还不能下。

  1. 先准备结构化数据。用例状态和缺陷字段越统一,报告越稳。

  2. 先跑审计,再渲染 HTML。数字冲突和证据不足,必须停在待确认。

  3. 发布结论看门禁证据,不看报告是否写得顺。

  4. 把 Skill 用在整理和分析上,别指望它替你测完整个版本。

开始使用 lemon-test-report

扫码添加辅导员,发送 Skill 名称,领取源码与配套资料。