大模型测评与 AI 产品质量把控

01.01人工智能和AI大模型介绍

• 什么是人工智能
• 人工智能（AI）从诞生到现代的演变历程
• AI 的三大分类：判别/分析型、生成式 AI、推理型 AI
• 什么是LLM及常见主流大模型介绍

01.02AI的组成部分

• 机器学习
• 自然语言处理
• 计算机视觉
• 语音
• 知识图谱
• 具身智能
• 多模态

01.03机器学习的详细介绍以及分类

• 有监督学习
• 无监督学习
• 强化学习

01.04大模型的微调

• 调优体系和流程
• 企业大模型调优的频率和成本

01.05RAG知识库

• 什么是RAG？
• 知识库的分段、清洗、向量化、向量数据库、召回
• 知识库的工作流程

01.06tokens

• 什么是LLM中的Token
• 为什么要用tokens

01.07算力

• GPU
• 显存
• 显存带宽

01.08AI智能体(Agent)

• 什么是智能体【agent】
• 为什么要开发智能体
• 智能体的应用领域
• 提示词工程
• 智能体开发实战

01.09大模型的幻觉

• 大模型为什么会产生幻觉？
• 现在的 AI 如何应对幻觉？

01.10大模型的参数

• Temperature（温度）
• Top-P（核采样 ）
• Top-K
• Max Tokens (最大长度)

02.01什么是基准测试【Benchmark】

02.02为什么要做大模型的基准测试

02.03如何做大模型的基准测试

• 确定测评维度：首先要决定测什么
• 选择测试方法
• 设置测试参数：Prompt 格式、Temperature（温度）、Top-P / Top-K
• 分析与反馈

02.04基准测试类型和实战：传统维度

• MMLU
• HellaSwag
• GSM8K
• MATH
• Truthful QA
• HumanEval
• CodeXGLUE
• BLEU

02.05基准测试类型和实战：2026年最新维度

• 深度推理与反思
• 智能体与工具调用
• 多模态物理理解
• 长文本测评和上下文测评
• 可靠性与安全性

02.06基准测试框架实战【Deepeval+Ragas+Evalscope】

• Deepeval进行基准测试实战
• Evalscope进行基准测试实战
• Ragas智能体测评框架实战

03.01大模型测试测评【Evaluation】的常用指标

• 判别型AI：Accuracy (准确率)、Precision & Recall (精确率与召回率)、F1-Score
• 生成型AI：核心质量维度（3H 原则）、 文本质量指标（语义与算法、RAG 专属指标（针对企业级助手）、 性能与体验指标【算力】
• 推理型AI大模型：Pass@k (通过率)、CoT Consistency、Step-wise Accuracy、Robustness to Distraction

03.02判别型的大模型测评指标详解和测评项目实战

• 准确率 accuracy
• 精确率 precision
• 召回率recall
• F1分数 【F1 score】

03.03生成型的大模型测评指标详解和测评项目实战

• Helpful (有用性）、Honest (诚实性/真实性)、Harmless (无害性)
• 文本质量指标
• 语义相似度
• 困惑度【PPL】
• 指令遵循率
• RAG 大模型指标：答案归因、检索精确率、回答相关性
• 性能与体验指标【算力】

03.04推理型大模型测评指标详解和测评项目实战

• 准确性指标：Pass@k、Exact Match (EM)
• 逻辑性指标：幻觉率、中间错误率
• 一致性与健壮性：提示词的鲁棒性、自一致性
• 效率指标：推理延迟、推理效率

03.05测评框架和RAG知识库系统测评实战

• Deepeval智能体测评框架详解
• Ragas智能体测评框架详解
• RAG知识库系统指标测评项目实战

04.01大模型的本地部署：算力介绍

04.02大模型的本地部署的背景和原因

04.03大模型的本地部署：环境资源要求

04.04大模型的本地部署：ollama本地部署实战

04.05大模型的本地部署：AutoDL介绍和环境准备

04.06大模型的本地部署：本地调用算力云大模型

04.07大模型的本地部署：GPU算力云部署实战

04.08本地大模型测试实战：进行GPQA Diamond 维度的基准测试

04.09本地大模型测试实战：对本地大模型进行TruthfulQA - 真实性测试基准测试

04.10本地大模型测试实战：评估的指标：准确率，精准率，召回率，F1scrore测评

04.11推理大模型测评实战：总耗时、推理长度、推理膨胀率、自我修正次数

05.01传统软件测试与大模型测试的差异

05.02大模型测试的功能测试概述

• 核心任务能力
• 领域知识测试
• 检索增强 (RAG) 专项测试

05.03内容生成类LLM的功能测试测试方法实战

• AI模型语义理解与指令遵循测试
• AI模型逻辑推理与数学能力
• AI大模型内容创作与文案润色
• AI大模型信息提取与摘要
• AI大模型语言转化能力
• 构建AI大模型测试的“金标准”基准库：测试用例设计
• 自动化执行大模型测试跑分：测试执行
• 校验大模型测试结果：人工校验、LLM-As-judge

05.04智能体【翻译官】的功能测试实战

• 第一步：先进行简单的冒烟测试，确保智能体的基本功能可用
• 第二步：数据准备，构建黄金数据集 (
• 第三步：自动化执行测试跑分
• 第四步：人工审查

05.05RAG知识库智能体功能测试方法实战

• 知识库的核心测试维度与指标
• 构建生成知识库大模型的测试用例
• 测试执行:黄金数据集（Golden Dataset）自动化测试
• 结果校验：LLM-as-a-Judge校验测试结果

05.06RAG需求问答智能体功能测试实战

• 第一阶段：随机与代表性抽样（手动“冒烟”测试）
• 第二阶段：黄金数据集（Golden Dataset）自动化测试
• 第三阶段：自动化检测智能体测试黄金数据集的结果，并通过大模型LLM-as-a-Judge 评审测试结果
• 第四阶段：人工审查结果
• 第五阶段：知识库维护和变更测试

05.07大模型产品测试实战：LemonGPT智能客服机器人测试

• 项目背景概述
• 前端H5客服机器人的功能性需求
• 进行测试用例的设计和编写
• 知识库型智能体测试实战执行
• 知识库型智能体测试结果分析
• 知识库型智能体测试bug修复建议

06.01接口和接口测试的基础

06.02大模型接口调用和测试的常用方式

• 第一种：OpenAI 兼容协议方式（最通用）
• 第二种：底层原生 HTTP 请求方式（requests 库）
• 第三种：官方及第三方 SDK 调用（面向开发与集成测试

06.03如何获取AI大模型的接口信息

• deepseek
• 豆包
• ollama本地大模型

06.04大模型接口调用解析

• 大模型的接口地址【baseurl】解析
• 大模型接口调用常见的参数
• 大模型的流式输出
• 大模型的响应消息解析

06.05通过接口测试工具调用大模型接口

• Curl调用大模型的接口进行接口测试
• Postman调用大模型的接口进行接口测试
• Jmeter调用大模型的接口进行接口测试
• Python代码调用大模型的接口进行接口测试

06.06LemonGPT AI产品【智能体】的接口测试项目实战

• 接口测试用例设计
• LemonGPT获取接口信息
• Curl调用智能体接口进行接口测试
• Postman调用智能体接口进行接口测试
• Jmeter调用智能体接口进行接口测试
• Python代码调用智能体接口进行接口测试

07.01面向LLM的对抗性攻击与红队测试

• 红队测试
• 蓝队测试
• 黄队测试

07.02AI 系统中对抗性攻击类型

• 规避攻击
• 投毒攻击
• 提示词注入
• 后门攻击
• 窃取隐私

07.03对抗性AI测试 - 规避攻击

• 规避攻击的原理
• 规避攻击的典型案例
• 案例实战一：TextAttack 工具做规避攻击测试
• 实战方案二： LLM-as-a-Judge来做规避攻击测试

07.04对抗性AI测试 - 投毒攻击

• 投毒攻击的原理
• 投毒攻击的分类

07.05实战案例：对翻译官智能体进行投毒攻击项目实战

07.06对抗性AI测试 - 提示词注入攻击

• 提示词注入攻击详细介绍
• 直接注入和间接注入

07.07实战案例：对智能体金写提示词注入攻击测试实战

07.08对抗性AI测试 - 隐私泄露测试

• 为什么会有隐私泄露？
• 核心测试类型
• 企业内部如何修复这种漏洞

07.09实战案例：隐私泄露攻击的自动化执行实战

08.01AI性能测试关键响应指标

• TTFT (Time To First Token)
• TPOT (Time Per Output Token)
• TPS / Throughput (Tokens Per Second)
• Latency (端到端延迟)

08.02AI大模型的性能测试实战【evalscope.perf】

• 以对多个大模型进行性能测试
• 请求构造阶段构建数据集
• 异步执行与统计性能指标
• 性能测试结果分析

08.03AI智能体的性能测试实战【Locust+Python】

• 第一步：先进行基准测试，单人单次
• 第二步：再进行压力测试【负载测试】，模拟 10, 20, 50 并发，寻找系统吞吐量的“拐点”

08.04项目实战：对虹学长智能体进行性能测试实战

• 用locust+python代码进行性能测试和指标计算
• 对性能结果进行解析

08.05AI 成本测试 (Cost Testing)

• 为什么要考虑智能体的成本测试？
• AI智能体应该从哪些方面来考虑成本测试
• 调用的在线大模型【闭源大模型的api】
• 使用的是本地部署的大模型
• 监控GPU和显存的资源使用情况

08.06项目实战：coze平台的需求问答智能体进行成本测试

• 质量保证：LLM-as-a-Judge，对智能体的实际输出与标准答案进行语义比对并打分
• 成本计算：实时拦截并解析 Coze 智能体返回的 Token 计数，结合调用的大模型真实的计费单价

09.01欧盟AI系统监管和国内监管法案

• 风险分级体系
• 对通用人工智能（GPAI）的特别规定
• 适用范围与“长臂管辖”
• 严厉的处罚机制
• 实施时间线

09.02AI的伦理偏见测试：注重公平性

• 性别与职业刻板印象测试
• 种族与地域偏见测试
• 宗教与价值观偏见测试
• 社会经济与身份偏见测试

09.03透明度与可解释性测试

• 可解释性测试的意义
• 可解释性测试的案例演示

09.04问责制与人类监督

• 问责制 ：责任链条的界定
• 人类监督：人机交互的三种模式

09.05核心挑战：自动化偏见

• 为什么我们会产生这种偏见
• 如何应对和规避自动化偏见

09.06项目实战：企业级虹学长的智能体的伦理和偏见测试实战

• 测试数据集构建
• 接口调用：模拟向智能体发送请求并获取回复
• 大模型裁判评估

09.07项目实战：AI智能体的问责制和人类监督测试

• 测试数据集构建
• 接口调用：模拟向智能体发送请求并获取回复
• 大模型裁判评估

10.01什么是用户交互鲁棒性测试

10.02为什么要测试鲁棒性

10.03交互鲁棒性测试的几个维度

• 输入扰动
• 逻辑与上下文一致性
• 边界与极端情况
• 对抗性测试

10.04如何进行鲁棒性测试

• 输入抗干扰能力测试
• 知识库边界与忠实度测试
• 多轮对话一致性测试
• 安全与越狱测试

10.05AI产品【智能体】的鲁棒性测试的项目实战

• 从各个维度设计并建立“黄金数据集”
• 可以利用 LLM-as-a-Judge来自动化地跑完这些鲁棒性测试。

10.06大模型的不变性测试

• 什么是不变形测试
• 常见的微小扰动类型
• 过拟合与欠拟合
• 不变行测试的项目实战

10.07大模型的可重复性测试

• 为什么要进行可重复性测试
• 可重复性测试的方法
• 可重复性测试的实战演示

10.08可重复性测试和不变性测试的智能体测试实战【虹学长智能体】

• 设计测试数据集： 采用 JSONL 动态加载
• 自动化方式执行测试数据集
• 结果评判：LLM-as-Judge，让 DeepSeek 当好裁判

11.01大模型的双向测试

• 前向测试和前后测试
• 代码转换、逻辑推理、知识与事实的一致性、机器翻译
• 为什么双向测试很重要？
• 执行大模型双向测试实战

11.02翻译官智能体的双向测试实战

• 前向测试（Forward）
• 后向测试（Backward）
• 等价性校验：通过 LLM-as-a-Judge来判断

11.03AI模型/LLM的多模态测试

• 跨模态理解能力
• 多模态大模型的收费标准
• 纯文本大模型测试 vs 多模态大模型（VLM）测试
• 多模态智能体测试点覆盖

11.04多模态智能体测试实战【文生图智能体】

• 第一步：构建测试数据集
• 第二步：自动化测试代码设计
• 第三步：结果评判：LLM-as-Judge

12.01AIES智能体测评平台效果展示

12.02AIES智能体测评平台的其他功能

• AIES平台可以添加多个企业内部智能体进行接口检测
• 可以添加RAG知识库
• 可以自主配置AI大模型
• 可以支持多平台的智能体：coze、dify、FastGPT、langchain等
• AIES平台可以把测试结果发送指定渠道

12.03AIES测试平台可以完成智能体的功能和非功能测试

• 大模型智能生成和导入测试数据集
• 数据集的自动加测和智能优化
• 数据集的执行和 LLM评判结果
• 智能体的对抗性测试执行
• 智能体的性能测试执行和指标统计
• 智能体的鲁棒性测试执行
• 智能体的伦理和偏见测试执行

13.01AITS平台介绍和本地部署

13.02针对智能体基于接口文档生成测试用例功能进行测试

13.03核心测试用例设计能力（测试黑盒基本功）

13.04用户提示词遵从度测试

13.05鲁棒性与异常输入测试

13.06幻觉抑制与确定性测试

13.07场景化测试用例生成要求智能体具备业务流思维

13.08自动化测试脚本生成

14.01AI产品测试课程知识梳理

14.02AI产品测试的相关的面试题讲解

14.03AI产品测试的简历讲解课程