Prompt 测试工作流

Skill 标识
prompt-test-skill

同一段 Prompt,为什么今天完整、明天漏项?从重复运行到边界、错误输入和多轮一致性,建立可复查的评测记录,识别幻觉与无依据推断,把提示词质量从“感觉还行”变成有证据。

扫码添加辅导员,发送 Skill 名称领取源码
本文目录
  1. Skill 概览
  2. 适合谁、用在什么场景
  3. 需要准备什么、能得到什么
  4. 核心能力与使用边界
  5. 实战教程与使用说明
  6. 一、🎯 为什么 Prompt 也需要测试
  7. 1.1 同一个 Prompt,两次输出完全不同
  8. 二、📋 Prompt 测试工作流总览
  9. 三、🛠️ 动手准备:搭建 Prompt 测试目录
  10. 3.1 创建目录结构
  11. 3.2 目录职责说明
  12. 📁 prompts/
  13. 📁 samples/
  14. 📁 records/
  15. 📁 reports/
  16. 四、① 明确待测 Prompt 的目标
  17. 4.1 对比:模糊 vs 清晰的目标
  18. ❌ 目标不清晰
  19. ✅ 目标清晰
  20. 4.2 填写「测试目标评估表」
  21. 五、② 测试 AI 输出稳定性
  22. 5.1 准备测试样本
  23. 5.2 执行稳定性测试(3 次)
  24. 5.3 稳定性检查清单
  25. 5.4 不稳定表现(需记录到报告)
  26. 六、③ 测试边界输入
  27. 6.1 边界输入类型
  28. 6.2 案例 A:需求过短
  29. 6.3 案例 B:多模块混合
  30. 七、④ 测试错误输入
  31. 7.1 错误输入类型
  32. 7.2 动手案例
  33. ✅ 合格输出
  34. ❌ 不合格输出
  35. 八、⑤ 测试多轮一致性
  36. 8.1 多轮测试脚本(同一对话内执行)
  37. 8.2 检查项
  38. 8.3 常见失败表现
  39. 九、⑥ 测试幻觉和无依据推测
  40. 9.1 动手案例
  41. ❌ 不合格
  42. ✅ 合格
  43. 9.2 幻觉测试四步法
  44. 十、⑦ 输出 Prompt 测试报告
  45. 10.1 复制报告模板
  46. 10.2 填写示例(节选)
  47. 十一、📦 完整案例:测试「Bug 分析 Prompt」
  48. 11.1 待测 Prompt
  49. 11.2 三组测试输入与期望
  50. 十二、📝 Prompt 测试 workflow 文件怎么写
  51. 12.1 工作流文件模板
  52. 12.2 在 Skill 中引用
  53. 十三、⚠️ Prompt 测试常见错误
  54. 十四、✍️ 课堂练习:测试一个用例生成 Prompt
  55. 14.1 练习任务
  56. 14.2 你需要完成
  57. 14.3 参考方向(自检用)
  58. 十五、🏁 本节小结
  59. 附录 A:学习前可准备的附件资料清单
  60. A.1 必备资料
  61. A.2 进阶资料(有则加分)
  62. A.3 环境与工具

Skill 概览

适合谁、用在什么场景

评估 AI 测试助手、提示词与生成结果质量的测试工程师。

需要准备什么、能得到什么

  • 输入材料:待测 Prompt、目标与输出标准,以及正常、边界、错误和证据不足样本。
  • 交付产物:执行记录、稳定性与一致性检查结果、问题清单和 Prompt 测试报告。

核心能力与使用边界

  • 核心能力:按八步组织样本、重复验证、多轮检查及幻觉评估,保留可复用目录与报告模板。
  • 使用边界:少量重复运行不代表统计保证;应固定环境并保留人工判断,不能据此证明模型永不出错。

实战教程与使用说明

一、🎯 为什么 Prompt 也需要测试

很多人写 Prompt 的方式很随意:写一句、试一次、感觉还行,就直接用了。但在真实测试工作里,Prompt 如果不稳定,AI 输出就会忽好忽坏——今天能生成完整用例,明天可能漏掉边界值;这次能分析 Bug,下次可能开始胡乱猜根因。

1.1 同一个 Prompt,两次输出完全不同

待测 Prompt:

text
请帮我生成登录功能测试用例

第一次输出:

text
登录成功、密码错误、验证码错误、Token失效

第二次输出:

text
登录成功、登录失败、忘记密码

问题很明显:输出不稳定,覆盖范围不一致。

核心观点:Prompt 测试的目的,不是测试 AI 聪不聪明,而是测试这个 Prompt 能不能稳定产出符合测试要求的结果。


二、📋 Prompt 测试工作流总览

Prompt 测试不是「试一遍」,而是一套可重复执行的验证流程:

text
① 明确待测 Prompt 目标
↓
② 设计测试数据(正常 / 边界 / 错误 / 证据不足)
↓
③ 测试输出稳定性(同输入多次运行)
↓
④ 测试边界输入
↓
⑤ 测试错误输入
↓
⑥ 测试多轮一致性
↓
⑦ 测试幻觉和无依据推测
↓
⑧ 输出 Prompt 测试报告

本质是把传统测试思维迁移到 AI 输出质量评估上。

测试维度

验证什么

不合格信号

稳定性

同输入多次,核心字段不漂移

有时有边界值,有时没有

边界输入

信息过少/过多时仍清晰

需求极短却乱编完整方案

错误输入

识别矛盾,先质疑再生成

顺着错误需求硬写用例

多轮一致

后续轮次遵守前面规则

第二轮忘掉输出格式

幻觉风险

证据不足时克制下结论

日志一行就断定根因


三、🛠️ 动手准备:搭建 Prompt 测试目录

在开始测试前,我们先创建一套标准目录,把「测试数据、执行记录、报告」分开存放,方便迭代对比。

3.1 创建目录结构

bash
mkdir -p prompt_test/{prompts,samples,records,reports,workflows}
cd prompt_test

# 待测 Prompt(可从 Skill 的 prompts/ 复制过来)
touch prompts/待测Prompt.md

# 测试样本:正常 / 边界 / 错误 / 证据不足
touch samples/01-正常-登录需求.md
touch samples/02-边界-需求过短.md
touch samples/03-边界-多模块混合.md
touch samples/04-错误-业务矛盾.md
touch samples/05-证据不足-日志片段.md

# 单次运行记录 & 最终报告
touch records/运行记录模板.md
touch reports/Prompt测试报告模板.md

# 工作流定义(本节核心产出)
touch workflows/Prompt测试工作流.md

3.2 目录职责说明

📁 prompts/

  • 存放待测 Prompt 文件

  • 每次优化后另存 v2、v3

📁 samples/

  • 固定测试输入,保证可复现

  • 按编号区分场景类型

📁 records/

  • 每次运行的原始输出

  • 稳定性测试至少 3 次/样本

📁 reports/

  • 汇总各维度结论

  • 问题清单 + 优化建议

小贴士:到这一步,你应该能在 Cursor 里看到 prompt_test/ 完整目录树。接下来我们按 7 步流程逐项填写和执行。


四、① 明确待测 Prompt 的目标

测试 Prompt 前,必须先明确它的任务目标。否则你不知道它输出得好不好。

4.1 对比:模糊 vs 清晰的目标

❌ 目标不清晰

text
请根据需求生成测试用例

无法判断:覆盖哪些场景?输出什么格式?

✅ 目标清晰

text
根据需求文档生成结构化测试用例,
必须覆盖正常流、异常流、边界值、
业务风险和历史 Bug,并按表格输出。

4.2 填写「测试目标评估表」

打开 prompts/待测Prompt.md,在文件顶部追加测试目标段(可直接复制):

markdown
## Prompt 测试目标(测试前填写)

| 评估项 | 是否满足 | 备注 |
|--------|----------|------|
| 是否覆盖核心场景 | ☐ | |
| 是否覆盖边界值 | ☐ | |
| 是否覆盖异常流 | ☐ | |
| 是否按指定格式输出 | ☐ | |
| 是否有无依据扩展 | ☐ | |
| 是否能保持稳定 | ☐ | |

**本 Prompt 要完成的具体任务:**
(例:根据登录 PRD 生成含风险等级的 Markdown 表格用例)

注意:如果 6 项评估里有 2 项以上答不上来,先回去改 Prompt,不要急着跑测试。目标越清晰,后面的测试标准才越清楚。


五、② 测试 AI 输出稳定性

输出稳定性是 Prompt 最基础的测试项:同一个 Prompt、同一份输入,多次执行后,输出结构和核心内容不能大幅漂移。

5.1 准备测试样本

编辑 samples/01-正常-登录需求.md:

markdown
# 正常输入样本
用户可以通过手机号验证码登录系统,验证码有效期为 5 分钟。

5.2 执行稳定性测试(3 次)

在 Cursor / Claude Code 中,连续 3 次发送相同请求(每次新开对话,避免上下文干扰):

text
@prompts/待测Prompt.md
@samples/01-正常-登录需求.md

请按 Prompt 要求生成测试用例。

每次运行后,把完整输出保存到:

bash
records/01-正常-运行1.md
records/01-正常-运行2.md
records/01-正常-运行3.md

5.3 稳定性检查清单

对比 3 份输出,逐项打勾:

  • 是否每次都有「验证码过期」相关用例

  • 是否每次都有「验证码错误」相关用例

  • 是否每次都有「频控 / 重复发送」相关用例

  • 是否每次都有 Token / 会话相关用例

  • 是否每次都按同样字段 / 表格格式输出

5.4 不稳定表现(需记录到报告)

text
第一次有边界值,第二次没有
第一次有风险等级,第二次没有
第一次表格输出,第二次变成段落

稳定性不是要求每个字一样,而是要求核心字段、核心风险和输出结构稳定。


六、③ 测试边界输入

测试 Prompt 不能只喂正常需求,还要喂边界输入,观察 AI 能不能正确处理极端或不完整场景。

6.1 边界输入类型

类型

示例

需求特别短

做一个登录。

需求特别长

整份 PRD 粘贴(5000+ 字)

字段信息缺失

只写「支持登录」,无方式/规则

业务规则模糊

「支付成功后处理订单」

多需求混合

登录+下单+支付+退款写在一段

包含冲突信息

前后规则互相矛盾

6.2 案例 A:需求过短

编辑 samples/02-边界-需求过短.md:

text
做一个登录。

合格输出:AI 应提示缺少登录方式、账号体系、验证码规则、Token 规则等信息,而不是直接编造完整方案。

6.3 案例 B:多模块混合

编辑 samples/03-边界-多模块混合.md:

text
用户可以登录、下单、支付、退款、评价、申请售后。

合格输出:AI 应先拆模块(登录 / 订单 / 支付…),而不是把所有用例混在一张表里。

记录方式:在 records/ 中保存输出,并在报告里写「期望行为 vs 实际行为」各一行,便于后续改 Prompt。


七、④ 测试错误输入

错误输入测试,是验证 AI 在输入明显不合理时,是否会主动识别问题,而不是硬生成答案。

7.1 错误输入类型

  • 需求自相矛盾

  • 字段缺失严重

  • 日志内容无关

  • SQL 语句不完整

  • Bug 描述没有现象

  • 接口文档缺少 URL 和参数

7.2 动手案例

编辑 samples/04-错误-业务矛盾.md:

text
用户支付成功后,订单状态应保持未支付。

✅ 合格输出

text
当前需求存在明显矛盾:支付成功后
订单状态通常应更新为已支付。
请确认业务规则是否特殊。

❌ 不合格输出

text
直接生成「支付成功但订单
保持未支付」的测试用例。

好的 Prompt,遇到错误输入时应该先质疑和澄清,而不是顺着错误信息继续编。


八、⑤ 测试多轮一致性

很多 AI 测试助手不是一次性使用,而是多轮沟通。如果前面已经定义了规则,后面输出不能突然忘掉。

8.1 多轮测试脚本(同一对话内执行)

第一轮——定义规则:

text
支付功能必须重点覆盖幂等、库存回滚、优惠券状态。
后续所有用例必须按 Markdown 表格输出,含风险等级列。

第二轮——触发任务:

text
@prompts/待测Prompt.md
需求:用户可使用微信/支付宝完成订单支付。
请生成支付测试用例。

8.2 检查项

  • 是否仍然覆盖幂等

  • 是否仍然覆盖库存回滚

  • 是否仍然覆盖优惠券状态

  • 是否仍然按 Markdown 表格 + 风险等级列输出

8.3 常见失败表现

text
第一轮说按表格输出,第二轮变成段落
第一轮定义 P0 风险,第二轮不再标风险等级
第一轮要求不确认根因,第二轮直接下结论

九、⑥ 测试幻觉和无依据推测

AI 最大的风险,不是不会回答,而是在证据不足时给出很确定的结论。

9.1 动手案例

编辑 samples/05-证据不足-日志片段.md:

text
ERROR order failed

❌ 不合格

text
根因是数据库连接池耗尽。

✅ 合格

text
当前日志信息不足,无法确认根因。
建议补充 traceId、完整调用链、
接口请求/响应、数据库日志。

9.2 幻觉测试四步法

  1. 给 AI 缺少证据的输入

  2. 观察它是否硬猜根因

  3. 检查是否说明「不足以判断」

  4. 检查是否提出需要补充的信息

在 Prompt 的限制条件段加入类似约束可显著降低幻觉:

markdown
## 限制条件
- 无日志 / 无接口响应 / 无 SQL 结果时,不得给出确定根因
- 必须列出「还需补充的证据清单」
- 推测须标注「待验证假设」

十、⑦ 输出 Prompt 测试报告

Prompt 测试不能只靠感觉,要输出结构化报告,记录测试输入、实际输出、问题、风险和优化建议。

10.1 复制报告模板

打开 reports/Prompt测试报告模板.md,填入以下内容:

markdown
# Prompt 测试报告

## 基本信息
| 字段 | 内容 |
|------|------|
| Prompt 名称 | (例:支付用例生成 Prompt v1) |
| 测试日期 | YYYY-MM-DD |
| 测试人 | |
| Prompt 版本 | v1 / v2 |
| 测试轮次 | 稳定性 ×3;其余各 ×1 |

## 测试目标
(粘贴 prompts/待测Prompt.md 中的目标描述)

## 测试样本清单
| 编号 | 样本文件 | 类型 | 通过 |
|------|----------|------|------|
| 01 | samples/01-正常-登录需求.md | 正常 | ☐ |
| 02 | samples/02-边界-需求过短.md | 边界 | ☐ |
| 03 | samples/03-边界-多模块混合.md | 边界 | ☐ |
| 04 | samples/04-错误-业务矛盾.md | 错误 | ☐ |
| 05 | samples/05-证据不足-日志片段.md | 幻觉 | ☐ |

## 各维度结果
### 稳定性(3 次运行)
- 核心字段是否一致:
- 输出格式是否一致:
- 主要漂移项:

### 边界输入
- 过短需求处理:
- 多模块拆分:

### 错误输入
- 是否识别矛盾:

### 多轮一致性
- 规则是否延续:

### 幻觉风险
- 证据不足时是否克制:

## 问题清单
| # | 问题描述 | 严重度 | 复现步骤 |
|---|----------|--------|----------|
| 1 | | P0/P1/P2 | |

## 优化建议
1. (例:在 Prompt 中增加「必须覆盖项」清单)
2. (例:增加「输入矛盾时先澄清」规则)

## 结论
- [ ] 通过,可进入 Skill 集成
- [ ] 基本可用,需小改后再测一轮
- [ ] 不通过,需重写 Prompt 目标段

## 附录:运行记录路径
- records/01-正常-运行1.md
- records/01-正常-运行2.md
- …

10.2 填写示例(节选)

markdown
Prompt 名称:支付用例生成 Prompt v1
测试结论:基本可用,但稳定性不足
主要问题:第二次运行漏掉优惠券状态;错误输入时未主动提示矛盾
优化建议:在 Prompt 中增加必须覆盖项和异常输入处理规则

十一、📦 完整案例:测试「Bug 分析 Prompt」

下面我们用完整案例串一遍 7 步流程,你可以对照自己的 prompt_test/ 目录逐项执行。

11.1 待测 Prompt

text
请根据 Bug 描述分析可能原因,并给出回归建议。

建议先优化为带限制条件的版本,再开始测试(见 4.1 节「目标清晰」写法)。

11.2 三组测试输入与期望

场景

输入

期望

正常

用户支付成功,但订单状态仍显示未支付

分析支付回调、订单状态、MQ、事务;输出回归范围

证据不足

订单有问题

提示缺少复现步骤、日志、订单号等

错误输入

支付失败后订单应显示支付成功

识别需求矛盾,提示确认业务规则

一个 Prompt 是否合格,要看它在正常、边界、错误、证据不足场景下是否都能稳定工作。


十二、📝 Prompt 测试 workflow 文件怎么写

把上述 7 步固化成 workflow 文件,便于团队复用和 Agent 自动执行。

12.1 工作流文件模板

编辑 workflows/Prompt测试工作流.md:

markdown
# Prompt 测试工作流

## 输入
- 待测 Prompt(prompts/待测Prompt.md)
- 测试目标(Prompt 顶部评估表)
- 测试样本(samples/ 目录)
- 期望输出规则(outputs/ 或 Prompt 内⑥段)

## 执行步骤
1. 明确 Prompt 目标,填写评估表 6 项
2. 使用正常样本(01)测试输出质量
3. 对 01 样本连续运行 3 次,记录稳定性
4. 使用边界样本(02、03)测试鲁棒性
5. 使用错误样本(04)测试纠错能力
6. 同一对话多轮测试,验证规则延续
7. 使用证据不足样本(05)测试幻觉风险
8. 汇总 records/,填写 reports/Prompt测试报告模板.md

## 输出
- 各样本运行记录(records/)
- 问题清单 + 风险等级
- 优化建议 + 是否通过
- 下一版 Prompt(prompts/待测Prompt-v2.md)

12.2 在 Skill 中引用

text
@workflows/Prompt测试工作流.md
@prompts/待测Prompt.md

请按工作流对当前 Prompt 执行完整测试,
并把报告写入 reports/。

Prompt 测试 workflow 的价值,是让 Prompt 从「经验调试」变成工程化验证。


十三、⚠️ Prompt 测试常见错误

错误做法

正确做法

只测一次,觉得能用就上线

稳定性至少 3 次;各类型样本至少 1 次

只测正常输入

边界 + 错误 + 证据不足都要测

只看内容多不多

看核心字段、格式、风险是否稳定

不测多轮一致性

同一对话内先定规则再测任务

不测幻觉

专门准备「证据不足」样本

Prompt 测试最怕「凭感觉好用」。工作流的价值是让 Prompt 质量可验证、可迭代、可交接。


十四、✍️ 课堂练习:测试一个用例生成 Prompt

14.1 练习任务

待测 Prompt:

text
请根据需求生成测试用例。

测试样本:

text
用户可以通过手机号验证码登录系统。

14.2 你需要完成

  • 搭建 prompt_test/ 目录(第三节)

  • 稳定性:重复运行 3 次,检查验证码频控/过期/Token

  • 边界:输入「做一个登录」,看是否提示信息不足

  • 错误:输入「验证码有效期为 -5 分钟」,看是否识别异常

  • 多轮:先定义表格格式,再观察后续是否保持

  • 幻觉:需求缺少验证码规则时,是否编造频控规则

  • 填写完整测试报告并给出通过/不通过结论

14.3 参考方向(自检用)

text
稳定性:3 次都覆盖验证码频控、过期、Token
边界:「做一个登录」→ 应追问登录方式/规则
错误:「有效期 -5 分钟」→ 应指出参数不合理
多轮:第二轮仍用表格 + 风险列
幻觉:无频控规则时不应编造「每分钟最多 3 次」

十五、🏁 本节小结

text
Prompt 测试工作流 =
为什么测 + 明确目标
+ 稳定性 + 边界 + 错误
+ 多轮一致 + 幻觉控制
+ 结构化测试报告

未来测试人不只是测试软件,也要测试 AI 工作流本身。Prompt 能不能稳定、可靠、可控,决定了 AI 测试 Skill 能不能真正进入企业测试流程。

下一步可以:① 把本教程产出的 workflows/Prompt测试工作流.md 接入你的 Skill;② 对团队现有 3–5 个 Prompt 各跑一轮完整测试;③ 建立 Prompt 版本号规范(v1 不通过不改目录名,改内容另存 v2)。


附录 A:学习前可准备的附件资料清单

测试 Prompt 时,样本越贴近真实业务,结论越有参考价值。建议课前整理为可 @ 引用的文件,放入 samples/ 与 assets/。

A.1 必备资料

资料

用于哪一步

建议格式

1 份待测 Prompt(用例生成 / Bug 分析 任选)

全流程

prompts/*.md

1 份正常需求 PRD 片段

稳定性 + 正常样本(01)

.md / 飞书导出

1 条真实 Bug 单(含描述,可脱敏)

Bug 分析 Prompt 完整案例

禅道 / Jira 导出

2–3 条脱敏日志片段

幻觉测试样本(05)

.txt / .log

团队输出模板(用例表 / Bug 报告列名)

判断「格式是否稳定」

.xlsx → 列名清单 .md

已写好的 system 文件(4.2 节产出)

与 Prompt 联调测试

system/*.md

A.2 进阶资料(有则加分)

  • 边界样本库:过短需求、超长 PRD、多模块混合各 1 份

  • 错误样本库:业务矛盾、字段缺失、接口文档残缺各 1 份

  • 历史 Prompt 测试报告 1 份:作为报告模板对照

  • 优秀 vs 劣质 AI 输出对比:稳定性漂移前后各 1 份

  • 多轮对话脚本:第一轮定规则、第二轮出结果的固定话术

A.3 环境与工具

  • Cursor / Claude Code(@ 引用 prompts/、samples/、workflows/)

  • 文本对比:diff 工具或 IDE 并排对比 3 次稳定性输出

  • 可选:Git 管理 Prompt 版本,测试报告与 commit 关联

  • 可选:表格记录通过率,便于团队 Prompt 评审会使用

本节课对应的skill全文档:

开始使用 prompt-test-skill

扫码添加辅导员,发送 Skill 名称,领取源码与配套资料。