测试报告生成Skill
- Skill 标识
lemon-test-report- 所属分类
- 软件测试 / 测试报告与验收
把用例结果和 Bug 清单变成可审计的测试报告:自动核算指标、标出遗留风险,输出 Markdown、HTML 与审计 JSON。领取源码,把版本收尾变成有据可查的质量评审。
本文目录
Skill 概览
适合谁、用在什么场景
负责版本收尾、回归验收和发布评审的测试工程师与测试负责人。
需要准备什么、能得到什么
- 输入材料:用例执行结果、Bug 清单、版本范围及发布标准。
- 交付产物:Markdown 报告、HTML 展示页与 audit.json 审计记录。
核心能力与使用边界
- 核心能力:支持测试总结、回归核验和发布验收;校验计数、百分比与门禁证据。
- 使用边界:不能执行测试或替负责人批准发布;数据不足时应标记 Pending,不能补造指标。
实战教程与使用说明
一、测试人为什么需要一个报告 Skill
一轮测试收尾时,常见工作是这样的。手动统计通过率,反复核对 Bug 数量、严重程度和关闭率,不同项目报告格式各写各的,版本发布前又要重写一遍风险和遗留问题。结论还容易被数据缺失或统计错误带偏。
结果是,测试人员花大量时间在整理报告上,而不是分析质量风险。工具再熟,也不等于报告更可信。需要的是一套能统一结构、重算指标、标出缺失项的流程,而不是又一份空白模板。
二、Lemon Test Report Skill 是什么
它不是一个简单的文本生成器。定位是报告编排与质量校验。AI 负责理解业务语义,脚本负责确定性校验、脱敏和 HTML 渲染。排版和发布判断是分开的。
核心链路可以收成一条线。
它可以把用例执行结果、Bug 清单、测试计划、需求范围、回归数据和发布标准,整理成一份结构化报告。自然语言补充也可以接,但只作为事实、推断和缺失项的补充说明,不能用来填假数字。
Skill 保留三种工作模式。
模式 | 适用场景 | 报告重点 |
|---|---|---|
测试总结 | 一轮结束、版本收尾、阶段总结 | 范围、执行情况、Bug 统计、风险、结论 |
回归核验 | 版本回归、修复验证、上线前回归 | 变更范围、历史对比、新增/修复/重开、回归通过率 |
发布验收 | 上线前验收、发布评审、Go / No-Go | 构建信息、发布标准、阻断项、回滚、监控项 |
发布验收不只给一句「可以上线」。结论是四态,Go、Go with risk、No-Go、Pending。门禁规则全部有证据,才能输出 Go。证据不足输出待确认。存在硬阻断输出 No-Go。
三、它可以接收什么数据
并不是随便丢一段文字,就能生成可靠报告。数据完整程度,直接决定结论能不能下。
用例数据建议至少有编号、标题、模块、执行状态、失败原因、实际结果、关联 Bug、执行人和执行时间。状态建议统一成通过、失败、阻塞、跳过、未执行。Bug 数据建议有编号、标题、模块、严重程度、优先级、状态、指派人、创建时间、影响版本、修复计划,以及是否允许带伤上线。
测试计划和需求数据,用来看测试范围、需求覆盖、未测项和版本目标。回归和发布数据,还包括变更范围、历史通过率、新增/修复/重开 Bug、性能、兼容性、安全结果和回滚方案。
数据不足时,Skill 不会自行编造指标,而是把结果标记为「待确认」或「数据缺失」。
这是它和普通「帮我写一份报告」最大的差别。好看但不能审计的报告,反而更危险。
四、它可以输出哪些格式
推荐一次输出三件套。
文件 | 适合做什么 | 说明 |
|---|---|---|
编辑、审阅、团队文档归档 | 报告源文件,给人改 | |
report.html | 汇报、评审、归档、分享 | 静态展示,不执行输入里的脚本 |
audit.json | CI/CD、二次处理、留痕 | 记录校验结果、警告、脱敏命中和门禁判定 |
生成 HTML 前,会先跑审计脚本。重新计算计数和百分比,检查范围,扫敏感信息,再对照发布标准。审计结果可以长这样。
{
"conclusion": "Pending",
"gate_failures": [
"缺少通过率证据"
]
}
Markdown 给人看,JSON 给系统和门禁看。两者对不上时,以审计结果为准,而不是以「写得顺」为准。
五、它如何帮到测试人
第一,减少重复统计。用例总数、通过数、失败数、阻塞数、Bug 数、关闭率、严重程度分布,可以按统一口径算出来。执行通过率的分母是通过、失败、阻塞、跳过,不会把未执行混进去。
第二,提高报告规范性。基本信息、执行摘要、测试范围、用例统计、缺陷分析、风险与应急、结论与建议、附录,结构固定。每次不用从空白页开始写。
第三,降低统计错误。比如总用例 100,通过 90,失败 5,阻塞 5,有人顺手填了通过率 98%。Skill 会重算,并提示实际应为 90%。原始计数和百分比冲突时,结论会落到待确认,而不是装作没事。
第四,辅助发布决策。发布标准可以写成通过率最低 95%,P0 允许 0,P1 允许 0。不满足就提示 No-Go。缺关键证据就输出 Pending。它不代替负责人拍板,但会把「为什么还不能拍」写清楚。
第五,提升风险表达。不只罗列 Bug,还会帮你看哪个模块风险最高,哪类问题最集中,哪些缺陷可能影响核心流程,上线前必须解决什么,上线后该监控什么。
六、从物业项目 Bug CSV 到 HTML 报告
用过一份物业项目未关闭 Bug 的 CSV。大约 34 条缺陷,32 条激活,2 条已解决。代码错误 29 条,设计缺陷 5 条。主要集中在业主管理、注册登录和小程序绑定登录。
按模块看,物业后台业主管理 13 条,注册登录完善用户 9 条,业主小程序绑定登录 4 条。高风险问题包括图片上传失败、收费项目无法提交、房屋出租图片上传无响应、密码错误次数没有限制,以及身份证、营业执照等字段校验不足。
如果只给这份 Bug 清单,Skill 不会直接写「可以上线」。最终结论更接近 Pending,待确认。原因很具体,缺少用例通过率,缺少 P0/P1 与发布标准的映射,缺少性能和安全结果,同时还存在高严重程度未关闭缺陷。
它不是为了生成一份看起来完整的报告,而是要告诉测试人员:目前有哪些数据、哪些风险、哪些结论还不能确定。
这份案例把原则钉死了。只有 Bug CSV,也能产出有结构的 HTML 和审计结果。但没有执行证据和门禁证据时,它宁可把结论停在待确认,也不替你编一个漂亮的 Go。
九、源码结构、代码说明与可下载附件
前面的文章说明了 Skill 能做什么,下面把它拆到文件级别,方便测试人员理解:哪些内容是给 AI 的工作规范,哪些内容是确定性脚本,哪些文件可以作为示例附件。
1. 源码目录结构
lemon-test-report/
├── SKILL.md
├── references/
│ ├── data-contract.md
│ ├── release-gates.json
│ └── security-notes.md
├── scripts/
│ ├── audit_report.py
│ └── render_report.py
└── examples/
├── demo.md
├── audit.json
└── report.html
SKILL.md 是给 AI 读取的工作规范,规定报告模式、数据边界、事实与推断的区分方式,以及什么时候只能输出 Pending。
audit_report.py 负责确定性审计:检查计数和百分比是否一致,识别缺失的门禁证据,并扫描邮箱、手机号、Token 和内网地址等敏感信息。
render_report.py 负责把审核后的 Markdown 转成静态 HTML。它会转义输入文本,不执行报告中的原始脚本,也不加载外部资源。
references/ 用于放数据契约、发布规则和安全约束。把规则从主说明中拆出来,后续可以按项目替换发布门槛,而不用改核心脚本。
2. 核心代码是怎么工作的
# 第一步:对报告原文做审计
result = audit(report_text, release_policy)
# 第二步:根据证据决定结论
if result["errors"] or hard_gate_failures:
conclusion = "No-Go"
elif result["gate_failures"]:
conclusion = "Pending"
else:
conclusion = "Go"
# 第三步:只把审核结果交给 HTML 渲染器
html = render(report_text, audit_result, title)
这里最重要的不是代码量,而是结论分层:明确违反发布门禁才是 No-Go;缺少数据是 Pending;只有所有关键证据都满足时才可以 Go。
3. 真实案例:你提交的物业项目 Bug 数据
本次案例使用的是用户实际提交的文件:软测AI10_物业项目-未关闭Bug.csv,而不是虚构的演示数据。CSV 共 34 条记录,数据时间范围为 2026-03-02 至 2026-06-24,主要影响版本为 v1.0.1。
统计结果显示:32 条记录处于“激活”状态,2 条记录标记为“已解决”;代码错误 29 条,设计缺陷 5 条。模块分布最高的是物业后台-业主管理 13 条、物业后台-注册登录完善用户 9 条、业主小程序-业主绑定登录 4 条。
从缺陷标题和重现步骤中可以归纳出四类风险:文件上传链路不稳定、账号和密码校验不足、身份证/营业执照/日期等业务字段校验不足,以及小区、房屋和收费数据的一致性校验不足。
报告中重点保留了 1928、2034、2035 三条原始严重程度为 1/2 的记录,分别涉及业主图片上传失败、收费项目无法提交和房屋出租图片上传无响应。由于 CSV 没有提供完整用例执行统计、P0/P1 映射、需求覆盖率和发布标准,报告最终结论为 Pending,而不是直接判断可以上线。
为了保护测试数据,文章正文没有复制 CSV 中的账号、密码、手机号等原始敏感内容,读者可以下载附件查看完整原始数据,并结合脱敏后的报告和审计结果复现流程。
4. 本案例的真实附件与报告文件
下面附件全部来自本次物业项目案例,分别对应“原始输入、人工可读报告、机器审计结果和 HTML 展示”四个环节:
文章配图建议直接使用这份 HTML 报告的浏览器截图:一张展示缺陷总览,一张展示 Pending 门禁结论,一张展示高风险缺陷和“上线前必须完成”清单。这样读者看到的是实际数据生成的结果,而不是抽象示意图。
5. 测试人如何快速体验
准备一份 CSV 或 Markdown 测试数据,先不要包含真实密码、Token 和生产账号。
补充项目、版本、测试周期和发布标准。
让 Skill 先输出 Markdown 和 audit.json,确认数字、缺失项和风险。
审计结果确认后,再生成 HTML 作为汇报或发布评审材料。
这套 Skill 的价值不只是把报告写得更完整,而是把“数据从哪里来、结论为什么成立、还有什么证据缺失”一起交代清楚。
七、能力边界,别用错期待
它能做的事,是整理测试数据,计算和校验指标,生成结构化报告,分析 Bug 风险,辅助发布门禁判断,输出 Markdown、HTML 和 JSON。
它不能做的事,也要说清楚。不能自动执行接口测试或 UI 测试,不能自动发现真实 Bug,不能代替测试管理平台,不能在数据不足时编造结论,不能代替测试负责人做最终发布决策,也不能仅凭 Bug 清单判断完整版本质量。
Lemon Test Report Skill 的作用不是替测试人员做测试,而是帮助测试人员更快、更准确地完成测试结果整理、质量分析和发布评审。
如果主要工作是整理数据、写报告、统计 Bug、分析风险、准备上线评审,它的价值可以到八十分上下。如果期望它自动执行测试、自动发现 Bug、自动连上所有平台并完成发布,目前大概只有四五十分。别把报告 Skill 当成测试平台。
综合大约 75 分。结构化、Bug 汇总、指标校验、HTML 和发布风险分析得分较高。自动执行测试和自动发现 Bug 是 0 分。替代测试管理平台大约 30 分。分数不高的地方,恰恰是边界。
八、后续还能往哪走
输入侧可接 Excel、Jira、禅道、TAPD、TestRail,以及 CI 和 Allure、JUnit、pytest 结果。分析侧可做需求、用例、Bug 关联,覆盖率、趋势、重开率和模块风险排名。可视化、平台集成和风险预测可以后补。现在这一版,先把「可审计」做扎实。扩展可以快,编造结论不能放开。
小结
AI 不会替代测试人员,但会替代报告整理、重复统计和格式排版上的大量时间。真正有价值的测试 AI,不是把几段文字改得更漂亮,而是能识别数据缺失、发现统计矛盾、暴露发布风险,并告诉你哪些结论还不能下。
先准备结构化数据。用例状态和缺陷字段越统一,报告越稳。
先跑审计,再渲染 HTML。数字冲突和证据不足,必须停在待确认。
发布结论看门禁证据,不看报告是否写得顺。
把 Skill 用在整理和分析上,别指望它替你测完整个版本。
扫码添加辅导员,发送 Skill 名称,领取源码与配套资料。