Rain9Rain9
首页
AI 岗位
AI 目录
前端
后端
桌面端
WebGL
Web3
  • 算法与面试
  • 面试八股
  • Vim 练级
  • Github
  • 掘金
  • 公众号《与 IT 有约》
首页
AI 岗位
AI 目录
前端
后端
桌面端
WebGL
Web3
  • 算法与面试
  • 面试八股
  • Vim 练级
  • Github
  • 掘金
  • 公众号《与 IT 有约》
  • 前端

    • 前端
    • AI 产品前端开发指南:流式、对话 UI 与 Copilot 交互
    • CDN 容错
    • 面试官问:了解哪些最新的 ES 新特性?——这样回答更好!
    • first_paint
    • Flutter
    • 强制缓存和协商缓存
    • js 高级程序设计
    • JSBridge·
    • 垃圾回收机制
    • 下一代高性能跨平台UI渲染引擎
    • 日志埋点 SDK
    • 日志中心
    • 录音与压缩编码
    • 站内信
    • 小程序
    • PWA1
    • React
    • Tailwind
    • Taro
    • video
    • vite
    • Webassembly
    • Webpack 5
    • 小程序直播
    • 移动端适配

给 AI 聊天里边发了一个 “今天天气怎么样了”?接下来,前端、后端、数据库、缓存、大模型等会怎么做吗? 请给出一个细化的流程。越详细越好。

当用户在 AI 聊天框中输入“今天天气怎么样了?”并点击发送后,背后会触发一条复杂且精密的链路。为了实现“低延迟、高可靠、流式输出”的体验,现代 AI 应用(如 ChatGPT、Claude)通常会采用如下细化的处理流程:


1. 前端(Frontend)阶段:用户交互与请求发起

① 拦截输入与状态更新(Optimistic UI)

  • 事件绑定:用户按下 Enter 或点击发送按钮,前端拦截默认提交事件。
  • 状态变更:前端立即将输入框清空,并将用户的消息内容渲染到聊天界面上(Optimistic UI,乐观更新),给用户一种“瞬间响应”的错觉。
  • UI 状态:AI 的回复气泡出现,显示为“思考中...”或闪烁的光标(Typing Indicator),同时禁用发送按钮或将其变为“停止生成”按钮。

② 构建请求负载(Payload)

  • 前端不会只发这一句话,而是会带上上下文(Context)。
  • 从本地状态(如 Redux、Zustand 或 Vuex)中提取当前会话(Session)的 session_id、当前用户的 user_id,以及最近的几条历史对话(如果有配置前端截断)。
  • 构建完成后,通常通过 SSE(Server-Sent Events) 或 WebSocket 发起请求,以便后续接收流式(Streaming)响应。

2. 网关层(Gateway / Load Balancer):流量接入与安全校验

① 负载均衡与路由

  • 请求首先到达 Nginx、APISIX 或云厂商的 API 网关。网关根据请求的路径(如 /api/v1/chat/completions)将其路由到对应的后端微服务(如 Chat Service)。

② 安全与鉴权(Authentication & Authorization)

  • Token 校验:网关或 Auth 服务解析请求头中的 JWT Token,验证用户身份是否合法、Token 是否过期。
  • 限流(Rate Limiting):通过 Redis 检查该用户是否触发了频率限制(如“每分钟最多发 10 条消息”或“普通用户每天限额 50 条”)。如果超限,直接返回 429 Too Many Requests。

3. 后端服务(Backend / API Server):业务逻辑与上下文组装

① 参数校验与风险控制(Safety Check)

  • 验证请求参数的合法性(如消息是否为空、长度是否超过限制)。
  • 风控拦截:将文本发送给内部的风控微服务或敏感词过滤系统(通过本地词库或轻量级分类模型),检查是否包含违规内容。

② 从缓存与数据库获取上下文(Context Assembly)

  • 读取 Cache(Redis):
    • 后端根据 session_id 去 Redis 中拉取该会话的近期历史记录(例如最近 10 轮对话),因为 LLM 本身是无状态的,必须每次把历史记录带上。
  • 读取 Database(MySQL / PostgreSQL):
    • 如果 Redis 中没有命中(Cache Miss),则去关系型数据库中查询历史记录,并将其回写到 Redis 中。
    • 获取用户的个性化配置(如系统提示词 System Prompt:“你是一个傲娇的天气助手”)。

③ 意图识别与 RAG/Tool 路由

  • 现代复杂的 Agent 系统会在请求大模型之前,做一次意图路由(Semantic Router)。
  • 识别到“天气”属于实时信息查询,因此系统知道不能单纯依赖大模型的内部知识(LLM 不知道今天的实时天气),而是需要触发 工具调用(Tool Calling / Function Calling)。

4. 大模型(LLM)与 Agent 协同:思考与工具调用

① 第一次 LLM 请求(意图与工具决策)

  • 后端将组装好的 Prompt(包含系统提示词、历史记录、当前问题“今天天气怎么样了”,以及可用工具列表:如 get_weather(location, date))发送给大模型(如 GPT-4、Claude-3)。
  • LLM 推理:LLM 分析发现问题需要实时天气,但发现缺少“地点”信息(假设用户没在上下文中提过)。
  • 追问(可选):如果 LLM 觉得信息不足,它可能会直接返回文本:“请问您在哪个城市?”。
  • 假设已知位置:假设通过用户的 IP 逆向解析,或者用户之前的聊天提到了“我在北京”,LLM 决定调用工具。它返回一个特殊的 JSON 结构,告诉后端:“我要调用 get_weather 函数,参数是 {"location": "北京", "date": "today"}”。

② 后端执行工具调用(External API)

  • 后端解析到 LLM 的工具调用请求,暂停流式输出。
  • 后端去请求第三方的天气 API(如和风天气、OpenWeather)。
  • 天气 API 返回数据:{"temp": "25℃", "condition": "晴转多云", "wind": "微风"}。

③ 第二次 LLM 请求(生成最终回复)

  • 后端将天气 API 返回的结果(作为 Tool Message)追加到对话历史中,再次发送给大模型。
  • LLM 根据真实天气数据,开始生成自然语言回复:“北京今天天气不错哦,晴转多云,气温大约 25℃,微风拂面,很适合出门散步呢!”。

5. 响应返回(Streaming):后端到前端的流式传输

① 后端流式接收与转发

  • 后端通过 HTTP/2 从大模型厂商(如 OpenAI)接收流式响应(Chunk by Chunk)。
  • 每收到一个 Token(一个字或几个字母),后端立刻通过 SSE 连接,将其包装成特定的格式(如 data: {"content": "北"}\n\n)推送给前端。

② 异步持久化(Database & Cache)

  • 不阻塞主流程:在流式输出结束(收到 [DONE] 标记)后,后端会在后台开启异步任务。
  • 更新 Redis:将新的一轮问答(用户的提问 + AI 的完整回答)推入 Redis 的 Session 历史列表中。
  • 持久化到 DB:将这轮对话写入 MySQL/PostgreSQL 以作永久保存。
  • Token 计费:计算本次请求消耗的 Prompt Tokens 和 Completion Tokens,写入计费系统,扣除用户额度。
  • 向量化(可选):如果系统开启了长期记忆(Long-term Memory),会将这轮对话发送给 Embedding 模型转为向量,存入向量数据库(如 Milvus / Qdrant),供未来 RAG 检索。

6. 前端(Frontend)阶段:流式渲染与体验优化

① 接收数据块并拼接

  • 前端通过 EventSource 或 fetch 的 ReadableStream 监听到数据块。
  • 将收到的增量文本不断拼接到当前 AI 回复的状态变量中。

② Markdown 实时渲染与代码高亮

  • 前端将不断增长的字符串传入 Markdown 解析器(如 marked 或 react-markdown)。
  • 为了防止渲染闪烁,通常会有防抖(Debounce)处理或特定的流式 Markdown 渲染优化。

③ 自动滚动与交互恢复

  • 随着文字不断增多,气泡变大,前端需要监听 DOM 变化,自动将聊天窗口滚动到底部(Scroll to bottom),保持最新文字在视野内。
  • 当收到后端的“结束”信号时,前端将“停止生成”按钮恢复为“发送”按钮,允许用户进行下一次对话。

总结链路图

用户点击发送 -> 前端乐观更新UI并建立SSE -> 网关鉴权限流 -> 后端拉取Redis历史会话 -> 后端组装Prompt并调用LLM -> LLM决策需要调用天气API -> 后端请求外部天气服务 -> 后端将天气数据给回LLM -> LLM生成自然语言回复(流式) -> 后端通过SSE将Token转发给前端 -> 前端实时打字机渲染 -> (后台)后端异步写入DB和更新Redis、扣减Token余额。

最近更新: 2026/10/31 10:01