给 AI 聊天里边发了一个 “今天天气怎么样了”?接下来,前端、后端、数据库、缓存、大模型等会怎么做吗? 请给出一个细化的流程。越详细越好。
当用户在 AI 聊天框中输入“今天天气怎么样了?”并点击发送后,背后会触发一条复杂且精密的链路。为了实现“低延迟、高可靠、流式输出”的体验,现代 AI 应用(如 ChatGPT、Claude)通常会采用如下细化的处理流程:
1. 前端(Frontend)阶段:用户交互与请求发起
① 拦截输入与状态更新(Optimistic UI)
- 事件绑定:用户按下
Enter或点击发送按钮,前端拦截默认提交事件。 - 状态变更:前端立即将输入框清空,并将用户的消息内容渲染到聊天界面上(Optimistic UI,乐观更新),给用户一种“瞬间响应”的错觉。
- UI 状态:AI 的回复气泡出现,显示为“思考中...”或闪烁的光标(Typing Indicator),同时禁用发送按钮或将其变为“停止生成”按钮。
② 构建请求负载(Payload)
- 前端不会只发这一句话,而是会带上上下文(Context)。
- 从本地状态(如 Redux、Zustand 或 Vuex)中提取当前会话(Session)的
session_id、当前用户的user_id,以及最近的几条历史对话(如果有配置前端截断)。 - 构建完成后,通常通过 SSE(Server-Sent Events) 或 WebSocket 发起请求,以便后续接收流式(Streaming)响应。
2. 网关层(Gateway / Load Balancer):流量接入与安全校验
① 负载均衡与路由
- 请求首先到达 Nginx、APISIX 或云厂商的 API 网关。网关根据请求的路径(如
/api/v1/chat/completions)将其路由到对应的后端微服务(如 Chat Service)。
② 安全与鉴权(Authentication & Authorization)
- Token 校验:网关或 Auth 服务解析请求头中的 JWT Token,验证用户身份是否合法、Token 是否过期。
- 限流(Rate Limiting):通过 Redis 检查该用户是否触发了频率限制(如“每分钟最多发 10 条消息”或“普通用户每天限额 50 条”)。如果超限,直接返回
429 Too Many Requests。
3. 后端服务(Backend / API Server):业务逻辑与上下文组装
① 参数校验与风险控制(Safety Check)
- 验证请求参数的合法性(如消息是否为空、长度是否超过限制)。
- 风控拦截:将文本发送给内部的风控微服务或敏感词过滤系统(通过本地词库或轻量级分类模型),检查是否包含违规内容。
② 从缓存与数据库获取上下文(Context Assembly)
- 读取 Cache(Redis):
- 后端根据
session_id去 Redis 中拉取该会话的近期历史记录(例如最近 10 轮对话),因为 LLM 本身是无状态的,必须每次把历史记录带上。
- 后端根据
- 读取 Database(MySQL / PostgreSQL):
- 如果 Redis 中没有命中(Cache Miss),则去关系型数据库中查询历史记录,并将其回写到 Redis 中。
- 获取用户的个性化配置(如系统提示词 System Prompt:“你是一个傲娇的天气助手”)。
③ 意图识别与 RAG/Tool 路由
- 现代复杂的 Agent 系统会在请求大模型之前,做一次意图路由(Semantic Router)。
- 识别到“天气”属于实时信息查询,因此系统知道不能单纯依赖大模型的内部知识(LLM 不知道今天的实时天气),而是需要触发 工具调用(Tool Calling / Function Calling)。
4. 大模型(LLM)与 Agent 协同:思考与工具调用
① 第一次 LLM 请求(意图与工具决策)
- 后端将组装好的 Prompt(包含系统提示词、历史记录、当前问题“今天天气怎么样了”,以及可用工具列表:如
get_weather(location, date))发送给大模型(如 GPT-4、Claude-3)。 - LLM 推理:LLM 分析发现问题需要实时天气,但发现缺少“地点”信息(假设用户没在上下文中提过)。
- 追问(可选):如果 LLM 觉得信息不足,它可能会直接返回文本:“请问您在哪个城市?”。
- 假设已知位置:假设通过用户的 IP 逆向解析,或者用户之前的聊天提到了“我在北京”,LLM 决定调用工具。它返回一个特殊的 JSON 结构,告诉后端:“我要调用
get_weather函数,参数是{"location": "北京", "date": "today"}”。
② 后端执行工具调用(External API)
- 后端解析到 LLM 的工具调用请求,暂停流式输出。
- 后端去请求第三方的天气 API(如和风天气、OpenWeather)。
- 天气 API 返回数据:
{"temp": "25℃", "condition": "晴转多云", "wind": "微风"}。
③ 第二次 LLM 请求(生成最终回复)
- 后端将天气 API 返回的结果(作为 Tool Message)追加到对话历史中,再次发送给大模型。
- LLM 根据真实天气数据,开始生成自然语言回复:“北京今天天气不错哦,晴转多云,气温大约 25℃,微风拂面,很适合出门散步呢!”。
5. 响应返回(Streaming):后端到前端的流式传输
① 后端流式接收与转发
- 后端通过 HTTP/2 从大模型厂商(如 OpenAI)接收流式响应(Chunk by Chunk)。
- 每收到一个 Token(一个字或几个字母),后端立刻通过 SSE 连接,将其包装成特定的格式(如
data: {"content": "北"}\n\n)推送给前端。
② 异步持久化(Database & Cache)
- 不阻塞主流程:在流式输出结束(收到
[DONE]标记)后,后端会在后台开启异步任务。 - 更新 Redis:将新的一轮问答(用户的提问 + AI 的完整回答)推入 Redis 的 Session 历史列表中。
- 持久化到 DB:将这轮对话写入 MySQL/PostgreSQL 以作永久保存。
- Token 计费:计算本次请求消耗的 Prompt Tokens 和 Completion Tokens,写入计费系统,扣除用户额度。
- 向量化(可选):如果系统开启了长期记忆(Long-term Memory),会将这轮对话发送给 Embedding 模型转为向量,存入向量数据库(如 Milvus / Qdrant),供未来 RAG 检索。
6. 前端(Frontend)阶段:流式渲染与体验优化
① 接收数据块并拼接
- 前端通过
EventSource或fetch的ReadableStream监听到数据块。 - 将收到的增量文本不断拼接到当前 AI 回复的状态变量中。
② Markdown 实时渲染与代码高亮
- 前端将不断增长的字符串传入 Markdown 解析器(如
marked或react-markdown)。 - 为了防止渲染闪烁,通常会有防抖(Debounce)处理或特定的流式 Markdown 渲染优化。
③ 自动滚动与交互恢复
- 随着文字不断增多,气泡变大,前端需要监听 DOM 变化,自动将聊天窗口滚动到底部(Scroll to bottom),保持最新文字在视野内。
- 当收到后端的“结束”信号时,前端将“停止生成”按钮恢复为“发送”按钮,允许用户进行下一次对话。
总结链路图
用户点击发送 -> 前端乐观更新UI并建立SSE -> 网关鉴权限流 -> 后端拉取Redis历史会话 -> 后端组装Prompt并调用LLM -> LLM决策需要调用天气API -> 后端请求外部天气服务 -> 后端将天气数据给回LLM -> LLM生成自然语言回复(流式) -> 后端通过SSE将Token转发给前端 -> 前端实时打字机渲染 -> (后台)后端异步写入DB和更新Redis、扣减Token余额。
