6.3 接入 RAG 与向量数据库:打造企业级数据知识库
本节目标:让系统从“只能分析一次上传的数据”升级为“可以跨数据集、跨历史报告、跨多次交互复用知识”,并解决大文件/长文本无法塞进上下文的问题。核心手段是:RAG(检索增强生成)+ 向量检索,并优先复用你已有的 PostgreSQL 基础设施。
6.3.1 大规模数据困境:为什么纯 Prompt 会走到尽头
当 CSV 文件变大、分析链路变长时,纯 Prompt 方案会出现三个不可避免的问题:
- Token 上限:表格数据无法全量放进上下文(更别说多次对话的历史)
- 成本不可控:为了“更完整”,每次都把大量数据重复喂给模型,调用费用直线上升
- 记忆缺失:系统无法把“上次的分析结论、异常点、图表口径”沉淀为可复用资产
因此,需要将“知识”从 Prompt 中剥离出来,以可检索的形式存储,再按需把相关片段拿回来。
6.3.2 RAG 的最小闭环:Ingest → Embed → Index → Retrieve → Augment
把 RAG 拆成 5 个可实现步骤(每一步都能验收):
- Ingest:把数据与报告沉淀为“可管理对象”(Dataset、Report、ChartSpec、Insight)
- Embed:将对象切片(chunk)并向量化(embedding)
- Index:写入向量索引(pgvector)
- Retrieve:用户提问时召回 TopK 相关片段
- Augment:把“召回内容 + 引用信息”拼入最终 Prompt,并要求模型给出引用来源
这条链路跑通后,你就拥有了“知识库问答”的能力,并且能把 6.1 的多智能体能力稳定叠加在上面。
6.3.3 数据建模:先把“可检索对象”定义清楚
为了让知识库真正可用,建议至少沉淀三类对象:
A. Dataset(数据集元信息)
- 来源:用户上传的 CSV / 外部数据同步
- 元信息:列名、类型推断、时间范围、行数、hash、版本号
B. Report / Insight(报告与洞察)
- 文本:最终总结、结论要点、建议
- 结构化:异常点列表、指标表摘要、口径说明
C. ChartSpec(图表规格)
- 图表配置(ECharts option / 抽象 spec)
- 引用口径(resultKey / datasetVersion / filters)
一个关键经验:不要只向量化原始 CSV。CSV 太大、语义弱、检索噪音高。更推荐向量化:
- 数据剖析摘要(profile summary)
- 聚合后的指标摘要(metrics summary)
- 关键异常点与解释
- 最终报告段落
这样召回更准,也更省成本。
6.3.4 PostgreSQL + pgvector:复用你现有的数据库
你当前项目已经使用 PostgreSQL + TypeORM,因此最顺滑的路线是启用 pgvector 扩展。
Step 1:启用 pgvector 扩展
通过 migration 执行:
CREATE EXTENSION IF NOT EXISTS vector;
Step 2:设计向量表(Chunks)
一个可用的最小表结构应包含:
idworkspace_id(为 6.4 多租户预留)dataset_id/report_id(来源归属)chunk_type(profile/report/chart/metric)content(原文片段)embedding(vector(n))metadata(JSON:列名、时间范围、指标名等)created_at
Step 3:索引(按里程碑逐步加)
- MVP:先不上索引也能跑通
- 数据量上来:再加向量索引(IVFFLAT/HNSW),并设置 lists/ef_search 等参数
6.3.5 Embedding 生成策略:成本、效果与可控性
结合你当前后端已集成的模型 SDK(OpenAI/Anthropic),Embedding 有三种常见策略:
- 在线 Embeddings:效果稳定、工程简单,但有成本与外网依赖
- 本地 Embeddings:成本低、可私有化,但需要部署推理服务
- 混合策略:在线用于高价值内容,本地用于大批量内容
工程上建议先做 1 跑通闭环,再演进到 3。
关键注意点:
- embedding 维度必须固定,写进 schema(例如
vector(1536)),否则会不断踩坑 - content 要做“去噪”:长表格不要直接塞进去,先摘要再向量化
6.3.6 Chunking(分块)策略:决定检索质量的核心
分块不是“按字数切就行”,而是要按“信息单元”切。推荐针对不同对象采用不同策略:
报告文本(Report)
- 按段落切(1 段 = 1 chunk)
- 每 chunk 控制在 200~500 中文字符左右(可根据模型调整)
指标摘要(Metrics)
- 先转成紧凑表(Markdown/CSV 摘要),并为 chunk 加上维度/指标 metadata
- 不把全表塞进一个 chunk:按指标组或按时间窗口切
图表规格(ChartSpec)
- 抽取标题、图例、x/y 轴含义、筛选条件、数据来源
- 不要把完整 option(很长)直接向量化;更建议向量化“图表描述 + 关键字段”
6.3.7 检索与融合:把召回内容“正确地喂给模型”
Step 1:Query Embedding
用户输入(或 Router 生成的“检索查询语句”)做 embedding。
Step 2:TopK 召回
按 workspace 过滤(为多租户准备),并按相似度排序。
Step 3:Context Pack(上下文包)
把 TopK chunk 组织成一个“可引用的上下文包”,格式建议:
[C1 | dataset=xxx | type=report] ……内容……
[C2 | dataset=yyy | type=metric] ……内容……
并要求模型输出时带引用,例如结论后标注 [C1]、[C2]。
Step 4:与多智能体融合(关键)
RAG 不应该只塞给最终 Writer,而应该接入 6.1 的 Supervisor 流程:
- Router 决定是否需要检索(例如“对比上次分析”必需检索)
- Data Coder 可用召回内容来确定字段映射与口径
- Reviewer 用召回的“口径说明/上次结论”做一致性校验
这会显著提高复杂场景的稳定性。
6.3.8 在现有工程中如何实现:按里程碑推进
为了不被“RAG 是个大工程”吓住,建议按 3 个里程碑推进:
里程碑 M1:报告级 RAG(最快见效)
- 仅对“最终报告段落”做分块与向量化
- 支持问题:对历史结论的追问、对比、复述、总结
- 验收:能在 10+ 份历史报告中准确召回相关结论并回答
里程碑 M2:指标级 RAG(面向数据复用)
- 将 profile summary、metrics summary 写入向量库
- 支持问题:跨数据集对比、复用字段映射、口径统一
- 验收:能回答“上次口径是什么”“哪个数据集更适合做这个图”
里程碑 M3:图表级 RAG(面向可视化自动化)
- 向量化 ChartSpec 描述 + metadata
- 支持问题:自动推荐图表、复用模板、生成一致的仪表盘
- 验收:给定需求能在历史图表模板中检索并改写生成新的配置
6.3.9 验收标准:做到这一步,系统就开始“积累经验”
- 每次分析结束都会沉淀可检索资产(至少 Report chunks)
- 用户能对历史分析进行追问,并得到带引用的回答
- 检索过程可观测:TopK 列表、相似度、引用 chunkId 可追踪
- 多租户隔离就绪:至少表结构中预留
workspace_id,查询时可过滤
