Rag

January 2025

检索增强生成RAG

一句话概括：对公开文档进行爬取、分类，使用tranformer、langchain分词，构建数据库，完善数据库结构，建立agent，制作ui可视化

对LLM输出进行优化

检索增强生成（RAG）是一种结合检索和生成能力的自然语言处理架构，由Facebook AI Research团队在2020年提出。以下是对RAG的详细介绍：

工作原理

• 检索：将用户的查询通过嵌入模型转化为向量，与向量数据库中的其他上下文信息进行比对，通过相似性搜索，找到最匹配的前k个数据，作为当前问题的补充背景信息。
• 增强：把用户的查询和检索到的额外信息一起嵌入到一个预设的提示模板中。
• 生成：将给定的问题与相关文档合并为一个新的提示信息，大语言模型根据提供的信息来回答问题。

关键组成部分

• 检索模块：通常采用双塔模型，由两个独立的编码器组成，一个用于编码查询，另一个用于编码文档，将查询和文档映射到相同的向量空间中，以便进行相似度计算。
• 生成模块：一般使用在大规模数据上预训练的生成模型，如GLM等，根据输入的上下文信息，生成连贯、准确且信息丰富的回答或文本。

优秀实践