Rain9Rain9
首页
AI 岗位
AI 目录
前端
后端
桌面端
WebGL
Web3
  • 算法与面试
  • 面试八股
  • Vim 练级
  • Github
  • 掘金
  • 公众号《与 IT 有约》
首页
AI 岗位
AI 目录
前端
后端
桌面端
WebGL
Web3
  • 算法与面试
  • 面试八股
  • Vim 练级
  • Github
  • 掘金
  • 公众号《与 IT 有约》
  • 2026 · AI 时代

    • 程序员的出路:AI 时代的价值思考
    • 从零开始构建智能体(Hello-Agents 课程通俗笔记)

3.5 数据质量监控与验证机制

在 AI Agent 的数据管道中,有一句著名的格言:"Garbage In, Garbage Out" (垃圾进,垃圾出)。如果输入的数据质量差,AI 输出的分析结果必然不可靠。同样地,如果 AI 的输出格式不稳定,也会导致后续程序崩溃。

本节我们将结合 ai-data-analyzer/backend 项目的实际代码,探讨如何建立数据质量监控与验证机制。

1. 数据输入验证 (Input Validation)

在我们的项目中,已经在 AnalyzeTextDto 中使用了 class-validator 进行了基础验证(如字符串类型、非空、最大长度限制)。

但对于更复杂的数据结构(比如用户上传的带有多种嵌套格式的 JSON 分析数据),基础的 DTO 可能不够用。在实际生产中,我们可以引入强大的 Zod 库进行模式验证 (Schema Validation)。

1.1 安装 Zod

pnpm add zod

1.2 实际应用场景

通过 Zod,你可以为复杂的数据定义严格的业务规则。例如,你可以定义一个数据上传验证 Schema:

import { z } from 'zod';

const UploadDataSchema = z.object({
  prompt: z.string().min(5, "分析提示词太短"),
  data: z.array(z.object({
    id: z.number().int().positive(),
    value: z.number().min(0, "数据值不能为负数")
  })).min(1, "上传的数据不能为空")
});

// 在 Controller 中验证
const result = UploadDataSchema.safeParse(incomingPayload);
if (!result.success) {
  throw new BadRequestException(result.error.format());
}

2. AI 输出验证 (Output Validation)

大模型存在“幻觉”问题,有时会输出不符合格式或逻辑错误的答案。这在我们需要机器可读的结构化数据时是致命的。我们需要对 AI 的输出进行验证,并实现失败重试机制。

2.1 结构化输出与重试机制实现

在 src/analysis/analysis.service.ts 中,我们新增了一个 analyzeWithStructuredOutput 方法,它不仅强制大模型输出 JSON 格式,还包含了代码反序列化校验和重试逻辑:

// src/analysis/analysis.service.ts

/**
 * AI 结构化输出与验证 (带重试机制)
 */
async analyzeWithStructuredOutput(prompt: string, maxRetries = 3): Promise<any> {
  const systemPrompt = `你是一个专业的数据分析专家。请仔细分析数据,并**严格**按照以下 JSON 格式输出,不要输出任何额外的文本:
{
"summary": "对数据的简短摘要分析",
"confidenceScore": 0.95,
"keyFindings": ["发现1", "发现2"]
}`;
  
  const finalPrompt = `${systemPrompt}\n\n用户请求:\n${prompt}`;
  
  let attempt = 0;
  while (attempt < maxRetries) {
    try {
      this.logger.debug(`尝试结构化输出 (第 ${attempt + 1}/${maxRetries} 次)`);
      const response = await this.llmService.chat(finalPrompt);
      
      // 1. 清理可能存在的 Markdown 代码块包裹 (```json ... ```)
      const cleanedResponse = response.replace(/```json/g, '').replace(/```/g, '').trim();
      
      // 2. 尝试解析 JSON
      const result = JSON.parse(cleanedResponse);
      
      // 3. 简单的业务结构验证
      if (!result.summary || typeof result.confidenceScore !== 'number' || !Array.isArray(result.keyFindings)) {
        throw new Error("AI 返回的 JSON 结构不符合预期");
      }
      
      this.logger.log(`结构化输出解析成功!信心分数: ${result.confidenceScore}`);
      return result; // 成功则立刻返回
      
    } catch (error) {
      attempt++;
      this.logger.warn(`结构化输出解析失败 (第 ${attempt} 次): ${error.message}`);
      
      if (attempt >= maxRetries) {
        this.logger.error(`达到最大重试次数 (${maxRetries}),放弃。`);
        throw new Error("AI 输出格式始终错误,请稍后重试");
      }
    }
  }
}

2.2 暴露结构化分析接口

在 src/analysis/analysis.controller.ts 中暴露该服务:

@Post('structured')
@HttpCode(HttpStatus.OK)
async analyzeStructured(@Body() payload: { prompt: string }) {
  const result = await this.analysisService.analyzeWithStructuredOutput(
    payload.prompt,
  );

  return {
    success: true,
    data: result,
  };
}

3. 测试验证流程

我们来测试一下这个结构化输出接口,验证其是否能稳定返回指定格式的数据。

3.1 启动服务

首先确保后端服务正在运行:

pnpm run start:dev

3.2 测试结构化输出接口

使用 curl 发送一个数据分析请求:

curl -X POST http://localhost:3001/analysis/structured \
  -H "Content-Type: application/json" \
  -d '{"prompt": "请分析2023年Q1销售额为100万,Q2销售额为150万,Q3为200万的数据趋势"}'

预期终端输出结果: 你会收到一个完美的、被代码严格验证过的 JSON 响应:

{
  "success": true,
  "data": {
    "summary": "从Q1到Q3的销售额呈现明显的上升趋势,表明业务在稳定增长。",
    "confidenceScore": 0.95,
    "keyFindings": [
      "销售额逐季度递增",
      "第三季度销售额最高,达到200万"
    ]
  }
}

同时,观察后端控制台的日志,你会看到成功的记录:

[AnalysisService] 尝试结构化输出 (第 1/3 次)
[AnalysisService] 结构化输出解析成功!信心分数: 0.95

如果 AI 偶尔抽风返回了非 JSON 文本,你会看到类似这样的重试日志,系统会自动修复这个错误:

[AnalysisService] 结构化输出解析失败 (第 1 次): Unexpected token 'I', "I am an AI"... is not valid JSON
[AnalysisService] 尝试结构化输出 (第 2/3 次)
[AnalysisService] 结构化输出解析成功!信心分数: 0.95

4. 监控与告警 (进阶)

为了让系统更加健壮,在生产环境中,你还可以引入工具(如 Prometheus, Grafana, 或是更轻量级的日志系统)来监控数据管道的状态:

  • 处理失败率:统计 analyzeWithStructuredOutput 中触发重试或最终失败的比例。如果比例突然升高,可能需要调整 Prompt。
  • Token 消耗量:监控重试机制带来的额外 Token 成本,防止账单爆炸。
  • 延迟 (Latency):监控重试导致的用户等待时间增加。

小结

至此,我们完成了【第 3 章:AI Agent 核心管道】的全部内容。我们不仅让 AI 能“说话”,还赋予了它获取数据、规划任务、实时反馈以及保证质量的能力。

接下来,我们将进入【第 4 章:Next.js 前端】,学习如何将这些强大的 AI 洞察以优美、互动的可视化图表呈现给用户!

最近更新: 2026/10/31 10:01