Al原生数据库与RAG 张颖峰 英飞流（上海）信息科技有限公司 创始人 目 录 RAG技术实践 01 Infinity系统架构 02 RAG技术实践 第一部分 基于向量数据库的RAG解决方案 文档 文本块 向量 VectorDB Embedding 向量相似度 提问 答案 查询 结果 文本切分 相关文本块 提示词 提示词模版 对话机器人 搜索 推荐 交易记录 向量数据库 LLM 编排 Copilot RAG典型挑战和解决方案  挑战一：向量召回不准确  挑战四：幻觉、胡说八道  挑战五：定制化成本  挑战二：数据组织混乱丧失语义  挑战三：多样化查询需求  数据加工  数据库  文档结构识别  文字加工  多路召回  融合排序 RAG引擎工作流程 文档格式转换 LLM Answer 大模型答案

队； • 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) 使用大模型可以构造问答，聊天等应用，但同时也存在以下问题 • 数据时效 - LLM训练数据有截止日期，不包含最新信息，无法准确回答相关信息 LLM训练数据多来源于公开渠道，无法接触到私域数据，对特定领域的生成任务质量不高。 • 长期记忆 - LLM本身却没有长期记忆能力，对长时间交互的上下文 Query LLM Response 检索增强生成(RAG) • 将辅助增强数据通过embedding过程转换为向量，加载到向量数据库中并做索引 • 对每个用户输入同样通过embedding过程得到向量，从向量数据库中搜索距离相近数据 • 将这些辅助数据与用户输入同时输入给大模型之后输出

(LLMs), vector search can be used in various �→ scenarios such as Retrieval-Augmented Generation (RAG), semantic �→ search, and recommendation systems. DB Operations and Observability models (LLMs), vector search can be used in various scenarios such as Retrieval-Augmented Generation (RAG), semantic search, and recommendation systems. Starting from v8.4.0, TiDB supports vector data types Retrieval-Augmented Generation (RAG) Retrieval-Augmented Generation (RAG) is an architecture designed to optimize the out- put of Large Language Models (LLMs). By using vector search, RAG applications can store

(LLMs), vector search can be used in various �→ scenarios such as Retrieval-Augmented Generation (RAG), semantic �→ search, and recommendation systems. DB Operations and Observability models (LLMs), vector search can be used in various scenarios such as Retrieval-Augmented Generation (RAG), semantic search, and recommendation systems. Starting from v8.4.0, TiDB supports vector data types Retrieval-Augmented Generation (RAG) Retrieval-Augmented Generation (RAG) is an architecture designed to optimize the out- put of Large Language Models (LLMs). By using vector search, RAG applications can store

向量搜索是一种基于数据语义的搜索方法，可以提供更相关的搜索结果。作为 AI 和大语言模型 (LLM) �→ 的核心功能之一，向量搜索可用于检索增强生成 (Retrieval-Augmented Generation, RAG)、 �→ 语义搜索、推荐系统等多种场景。 35 数据库管理和可观测性 0 码力 | 5072 页 | 104.05 MB | 9 月前

3

向量搜索是一种基于数据语义的搜索方法，可以提供更相关的搜索结果。作为 AI 和大语言模型 (LLM) �→ 的核心功能之一，向量搜索可用于检索增强生成 (Retrieval-Augmented Generation, RAG)、 �→ 语义搜索、推荐系统等多种场景。 40 数据库管理和可观测性 0 码力 | 5095 页 | 104.54 MB | 9 月前

3