Rain9Rain9
首页
AI 岗位
AI 目录
前端
后端
桌面端
WebGL
Web3
  • 算法与面试
  • 面试八股
  • Vim 练级
  • Github
  • 掘金
  • 公众号《与 IT 有约》
首页
AI 岗位
AI 目录
前端
后端
桌面端
WebGL
Web3
  • 算法与面试
  • 面试八股
  • Vim 练级
  • Github
  • 掘金
  • 公众号《与 IT 有约》
  • 2026 · AI 时代

    • 程序员的出路:AI 时代的价值思考
    • 从零开始构建智能体(Hello-Agents 课程通俗笔记)

2.6. 开发首个 AI 服务:文本数据预处理与分析

在前面的章节中,我们已经成功集成了 OpenAI SDK 并配置好了数据库。本节,我们将真正“跑通”一个 AI 业务流程:接收前端传入的文本数据 -> 在后端进行数据清洗和预处理 -> 提交给 AI 模型进行分析 -> 返回分析结果给前端。

1. 为什么需要数据预处理?

在把数据交给大语言模型(如 GPT)之前,进行“清洗”是非常重要的一步,原因如下:

  1. 节省成本 (Token):多余的空格、无意义的换行符都会被计算为 Token,消耗你的 API 额度。
  2. 提高 AI 专注度:杂乱的数据可能会干扰 AI 的注意力,导致分析结果偏离主题。
  3. 安全性:过滤掉潜在的恶意注入代码。

2. 第一步:定义数据传输对象 (DTO)

为了保证接收到的数据是合法且符合预期的,Nest.js 推荐使用 DTO (Data Transfer Object) 结合 class-validator 进行数据校验。

2.1 启用全局验证管道

首先,在 backend/src/main.ts 中开启全局的验证管道:

// backend/src/main.ts
import 'dotenv/config';
import { Logger, ValidationPipe } from '@nestjs/common';
import { NestFactory } from '@nestjs/core';
import { ConfigService } from '@nestjs/config';
import { AppModule } from './app.module';

async function bootstrap() {
  const app = await NestFactory.create(AppModule);
  
  // 启用全局验证管道
  app.useGlobalPipes(new ValidationPipe({
    whitelist: true, // 自动剔除 DTO 中未定义的属性,增加安全性
  }));

  const configService = app.get(ConfigService);
  const port = configService.get<number>('PORT') || 3001;
  await app.listen(port);
  new Logger('Bootstrap').log(`API listening on http://localhost:${port}`);
}
void bootstrap();

2.2 创建 AnalyzeTextDto

在 backend/src/analysis/dto 目录下创建 analyze-text.dto.ts 文件:

// backend/src/analysis/dto/analyze-text.dto.ts
import { IsString, IsNotEmpty, MaxLength } from 'class-validator';

export class AnalyzeTextDto {
  @IsString()
  @IsNotEmpty({ message: '分析内容不能为空' })
  @MaxLength(5000, { message: '分析内容不能超过5000字' })
  content: string;
}

这样,如果前端传入了空数据或者超过 5000 字,后端会自动拦截并返回友好的错误提示。

3. 第二步:编写核心业务逻辑 (Service)

打开 backend/src/analysis/analysis.service.ts,我们需要实现文本预处理方法,并调用之前写好的 OpenAIService。

// backend/src/analysis/analysis.service.ts
import { Injectable, Logger } from '@nestjs/common';
import { OpenAIService } from '../openai/openai.service';

@Injectable()
export class AnalysisService {
  private readonly logger = new Logger(AnalysisService.name);

  constructor(private readonly openAIService: OpenAIService) {}

  /**
   * 数据预处理:简单清理文本
   */
  private preprocessText(text: string): string {
    if (!text) return '';
    
    // 1. 去除前后空白字符
    let cleanedText = text.trim();
    // 2. 替换多个连续的换行符为单个换行符,防止 prompt 过长
    cleanedText = cleanedText.replace(/\n{3,}/g, '\n\n');

    return cleanedText;
  }

  /**
   * 核心:分析文本数据
   */
  async analyzeText(rawContent: string): Promise<string> {
    // 1. 数据预处理
    const cleanContent = this.preprocessText(rawContent);
    this.logger.debug(`预处理完成,文本长度: ${cleanContent.length}`);

    // 2. 构建 Prompt (提示词工程)
    // 提示词的好坏直接决定了 AI 输出的质量
    const prompt = `你是一个专业的数据分析专家。请仔细阅读并分析以下文本数据,提取出关键信息、主要观点,并给出你的专业总结或建议:\n\n"""\n${cleanContent}\n"""`;

    // 3. 调用 AI 服务获取结果
    return this.openAIService.chat(prompt);
  }
}

4. 第三步:开放 API 接口 (Controller)

最后,我们需要在控制器 backend/src/analysis/analysis.controller.ts 中提供一个 POST 接口,接收前端发来的数据。

// backend/src/analysis/analysis.controller.ts
import { Controller, Get, Post, Body, HttpCode, HttpStatus } from '@nestjs/common';
import { AnalysisService } from './analysis.service';
import { AnalyzeTextDto } from './dto/analyze-text.dto';

@Controller('analysis')
export class AnalysisController {
  constructor(private readonly analysisService: AnalysisService) {}

  // 提供一个 POST 接口,路径为 /analysis/text
  @Post('text')
  @HttpCode(HttpStatus.OK) // 返回 200 状态码
  async analyzeText(@Body() analyzeTextDto: AnalyzeTextDto) {
    // 调用 Service 层的方法
    const result = await this.analysisService.analyzeText(analyzeTextDto.content);
    
    // 统一返回格式
    return {
      success: true,
      data: result,
    };
  }

  // 健康检查接口
  @Get('status')
  getStatus(): string {
    return 'Analysis service is up and running!';
  }
}

5. 测试你的首个 AI 接口

确保你的服务正在运行 (pnpm start:dev),并且你的 .env 中配置了有效的 OPENAI_API_KEY。

保证数据库的链接:

  • 启动 Docker Desktop(否则任何 docker 命令都会失败)。
  • 启动数据库容器:
    • 在终端进入目录:cd ai-data-analyzer
    • 执行:docker compose up -d
  • 验证数据库已监听:
    • nc -zv localhost 5432 返回 “succeeded” 即可
    • 或 docker ps 看 ai_analyzer_postgres 状态为 Up
  • 验证容器内登录:
    • docker exec -it ai_analyzer_postgres psql -U rain9_ai_data -d ai_analysis_db -c '\l'
  • 重新启动后端:在 backend 目录 pnpm start:dev

你可以使用 Postman、Apifox 或者直接在终端使用 cURL 来测试:

curl -X POST http://localhost:3001/analysis/text \
  -H "Content-Type: application/json" \
  -d '{"content": "    今天的天气非常不错,我发现最近几个月我们产品的日活用户(DAU)从 1 万涨到了 3 万,主要是因为我们在小红书上做了一次成功的营销活动,但是用户的留存率反而下降了5%。   \n\n\n\n 请帮我看看这是怎么回事。   "}'

预期的返回结果:

{
  "success": true,
  "data": "【关键信息】\n1. 产品日活用户(DAU)从1万增长到3万。\n2. 增长原因:小红书上的成功营销活动。\n3. 问题:用户留存率下降了5%。\n\n【专业总结与建议】\n这种现象在营销驱动的增长中非常常见。短期内大量新用户涌入,但这些用户可能只是被营销噱头吸引,而非产品的核心目标用户,因此导致整体留存率被稀释下降。\n\n建议:\n1. **进行新老用户群组分析 (Cohort Analysis)**:将新获取的用户与老用户分开分析,看看具体是哪一部分的留存率在下降。\n2. **优化新手引导 (Onboarding)**:针对小红书渠道来的用户,定制专门的新手引导流程,尽快让他们体会到产品的核心价值(Aha Moment)。..."
}

总结

恭喜!你已经完成了一个标准的 AI 服务的开发。你学会了:

  1. 使用 DTO 进行参数校验。
  2. 在 Service 中对数据进行预处理。
  3. 结合 Prompt 提示词工程调用大模型。
  4. 编写标准 RESTful API 接口返回 JSON 结果。
最近更新: 2026/10/31 10:01