03-RAG Agent-集成百炼知识库（Spring AI Alibaba）
输入“/”快速插入内容
03-RAG Agent-集成百炼知识库（Spring AI Alibaba）
03-RAG Agent-集成百炼知识库（Spring AI Alibaba）
飞书用户988910月23日修改
RAG Agent 实现
RAG（Retrieval Augmented Generation，检索增强生成）是用来改善大模型生成内容质量的一种技术，通过 ETL（Extract，Transform 和 Load）流程对数据进行处理，即先从文档读取数据，进行转换，之后写入到向量数据库供检索。
ETL 流程包括了数据提取、数据转换和加载数据：
（1）数据提取：通常从 pdf、markdown、csv 等文件中提取数据。
（2）数据转换：提取数据之后，需要将数据切分为更小的块，便于存储和检索，分块的方式通常有：
◦
按语义分块：确保块内的语义连贯性，并且通常会设置分段重叠长度，即。
◦
按树分块：将章、节、小节等内容组装成树后入库，增强对文档结构的感知能力。例如章节 A 下边包含了 a、b、c 三个小节，通过按树分块的方式就可以感知到 A 和 a、b、c 之间的关联关系，如果按照语义分块就不行。
◦
压缩存储：增强对重点内容的感知。比如对于大段文字，可以通过大模型提炼成摘要（重点内容可以通过关键词的方式引导大模型生成摘要），降低相关性较低的内容对大模型的影响。
（3）加载数据：数据转换之后就可以加载到向量数据库中进行存储。
传统 RAG 与 Agentic RAG
传统 RAG 通常基于用户提问内容，到向量数据库中进行检索，存在以下局限性：
•
数据源单一：从单一数据源检索数据，缺乏网页检索、第三方 API 检索方式，数据丰富度不足。
•
检索结果受用户输入影响：直接根据用户问题进行检索，如果用户问题与意图偏离较大，可能会检索不到用户想要的数据。
基于传统 RAG 存在的局限性，Agentic RAG 从以下几种方面解决：
•
Agent 工具调用能力：基于多 Agent 能力，为不同 Agent 添加不同的 MCP 工具，可以从网页、第三方平台等多种数据源中检索数据。
•
查询扩展：基于大模型的内容生成能力，从多个角度将用户问题扩展为多个，分别进行检索。
•
检索结果评估：基于 Agent 能力对检索结果进行评估，如果评估缺少内容，则给出反馈循环进行检索。
Spring AI Alibaba 集成百炼知识库
Spring AI Alibaba 深度集成了阿里云百炼，基于百炼的知识库可以快速搭建一个 RAG 应用，本节代码位于：https://github.com/1020325258/spring-ai-alibaba-tutorial/tree/master/02-spring-ai-alibaba-rag。
上边我们介绍了 ETL 流程，包括了数据提取、数据转换、加载数据，借助于百炼知识库已经实现的 ETL 能力，我们可以在代码中直接连接百炼知识库进行数据检索。
知识库创建
定义 Retriever
Spring AI 提供了 DocumentRetriever 接口，定义了文档检索的规范。
Spring AI Alibaba 基于该接口实现了 DashScopeDocumentRetriever，用于快速整合百炼的知识库，如下：
代码块
@Test
public void test_rag_retrieval() throws GraphStateException {
DashScopeApi dashScopeApi = DashScopeApi.builder().apiKey(System.getenv("AI_DASHSCOPE_API_KEY")).build();
DashScopeDocumentRetriever documentRetriever = new DashScopeDocumentRetriever(dashScopeApi, DashScopeDocumentRetrieverOptions.builder()
// IndexName 就是百炼知识库的名称
.withIndexName("面试解析生成")
// 最小相关性分数阈值
.withRerankMinScore(0.6f)
// 不重写结果
.withEnableRewrite(false)
.build());
List<Document> retrieve = documentRetriever.retrieve(new Query("sql的更新流程"));
for (Document document : retrieve) {
logger.info(document.getText());
}
}