大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 邱培峰 拓数派向量数据库负责人 拓数派：大模型数据计算系统先行者 • 拓数派（ OpenPie）是立足于国内的基础数据计算领域高科技 创新机构； • 拥有强大的数据库内核研发团队、数据科学团队和数字化转型团 队； • 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • P 将辅助增强数据通过embedding过程转换为向量，加载到向量数据库中并做索引 • 对每个用户输入同样通过embedding过程得到向量，从向量数据库中搜索距离相近数据 • 将这些辅助数据与用户输入同时输入给大模型之后输出 向量数据库 • embedding通过大模型将各种形式的数据转换成向量 向量数据库 • 两个向量可以计算它们的距离（欧式，余弦/内积， 曼哈顿等），距离越近，表示这两个物体越相似 • 向量搜索的基本问题：K-Nearest

张颖峰 英飞流（上海）信息科技有限公司 创始人 目 录 RAG技术实践 01 Infinity系统架构 02 RAG技术实践 第一部分 基于向量数据库的RAG解决方案 文档 文本块 向量 VectorDB Embedding 向量相似度 提问 答案 查询 结果 文本切分 相关文本块 提示词 提示词模版 对话机器人 搜索 推荐 Copilot Embedding模型 APIs 文档 网站 日志 交易记录 向量数据库 LLM 编排 Copilot RAG典型挑战和解决方案  挑战一：向量召回不准确  挑战四：幻觉、胡说八道  挑战五：定制化成本  挑战二：数据组织混乱丧失语义  挑战三：多样化查询需求  数据加工  数据库  文档结构识别  文字加工  多路召回  融合排序 RAG引擎工作流程 文档格式转换 跨模态文档 抽取系统 文档 表格 抽取 系统 规则 引擎 模型 系统 文档内容抽取 文档格式解析 Prompt Template 提示模板 Recall 多路召回 Query 问题 Embedding 向量化 KnowledgeBase 知识库 ANN Parser Vector Index Full Text Index Cross Attentional Reranker

· · · · · · · · · 353 4.8 向量搜索 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 358 4.8.1 向量搜索概述· · · · · · · · · · · · · · · · · · · · · · · · 368 4.8.4 优化向量搜索性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 406 4.8.5 向量搜索限制· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3655 14.12.6 向量搜索索引· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · 357 4.8 向量搜索 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 362 4.8.1 向量搜索概述· · · · · · · · · · · · · · · · · · · · · · · · 372 4.8.4 优化向量搜索性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 410 4.8.5 向量搜索限制· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3674 14.12.6 向量搜索索引· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

OpenPie Confidential πDataCS的产品理念及定位 数据 计算 模型 灵活扩展的数据引擎，支持关系型数据库SQL、Spark/Flink 等流批⼀体处理、LLM的向量数据库以及GIS地理数据库等。 1 2 3 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎数据计算，AI数学模型、数据和 计算三者互为增强，全面升级⼤数据系统⾄⼤模型时代 具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全新云原⽣架构「⼀份数据，多引擎计算」 弹 合 开 发 垂 直 应 用 • CMU战略合作⼤模型基础理论，训练合作⼀事⼀议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 私有云

开 发 垂 直 应 用 • CMU战略合作大模型基础理论，训练合作一事一议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (大模型)机器学习 向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经网络） 复杂的分析查询需求。 πDataCS的第二个计算引擎 πCloudVector 计算引擎之 PieCloudVector 云原生向量数据库，为大模型提供独特记忆 PieCloudVector 竞争优势 专用向量数据库 具备向量搜索能力的云原生虚拟数仓 具备向量搜索能力的传统数据库 πCloudVector • 冗余数据、过度的数据搬运、分布式组件之间的 数据缺乏一致性 • 专业技能的额外劳动力成本、额外的许可成本 打破专用向量数据库的局限性 • 统一的数据平台，在动态扩缩容过程中无需移动 数据，充分保障数据的一致性 • 使用简单，学习成本低，无需额外投入 • 既满足了向量存储和向量搜索的需求，又升级实 现了云上分布式向量化计算的技术突破 • 支持多种向量搜索算法，为不同的业务场景提供 更灵活高效的解决方案 突破传统数据库的技术瓶颈 • 无法弹性扩缩向量化存储和计算的资源 • 在向量化计算的场景下，易用性和性能较差

完备功能和生态，实现应用快速迁移或适配 • PB级数据秒级响应 MPP水平扩展架构，PB级数据查询秒级响应；向量化计算，及列存储智能索引，领先传统数据库引擎性能 3x； 新一代SQL优化器，实现复杂分析语句免调优 • 支持多模分析 通过PostGIS 插件支持 地理信息数据分析；MADlib 库内置100+ 机器学习算法库，实现数据智能探索；高性 能向量检索算法，支持视频/图像检索 以图搜图 AnalyticDB for PostgreSQL 冷数据：存储在OSS外部存储 保存价格低廉，数据在线可查询 Year - 3 非结构化数据向量检索， “以图搜图” （规划中） 场景应用： 1、Web App把图片或者视频等非结构化数据 通过特征提取服务，提取特征向量，并写入 AnalyticDB for PG的向量表。 2、Web App检索的时，把非结构化数据通过 特征提取服务接口提取出向量，同时调用 AnalyticDB for PG的查询分析接口做查询。 易用，结构化和非结构化数据关联查询。 • 准确性高，阿里自研向量检索算法。 Web APP AnalyticDB for PostgreSQL AnalyticDB for PostgreSQL Client 特征提取服 务 5.检索分析 1.注册特征提取服务 3.写入url 4.生成特征 2.写入非 结构化数 OSS 音频 图片 文本 向量 ①GPU的计算性能加速 ②支持Greenplum

核心团队来自于各大厂名校，有丰富的数据库（Greenplum，DB2，ClickHouse等）研发 和产业经验. • 产品 πDataCS：多计算引擎，包括自研分布式数据库PieCloudDB，自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地：IoT、金融、新能源、医疗等行业. @2024 OpenPie. All rights reserved 统云存储底座 @2024 OpenPie. All rights reserved. OpenPie Confidential 多计算引擎 内置计算引擎 Postgres执行器 全新的向量化执行引 擎 向量数据库 单机和分布式 Spark 客户依赖 跑批任务 机器学习 …… ... 按需增加 @2024 OpenPie. All rights reserved. OpenPie OpenPie Confidential Postgres 执行计算引擎 向量化执行引擎 FALLBACK 用（新引 擎功能暂不支持或者短期故障逃逸） 行处理，将来 HTAP 的 OLTP 用. @2024 OpenPie. All rights reserved. OpenPie Confidential 向量化 执行计算引擎 • SIMD深度优化 • 核心分析型计算算子完成 •

90 tidb_enable_vectorized_expression 从 v4.0 版本开始引入 • 作用域：SESSION | GLOBAL • 默认值：ON • 这个变量用于控制是否开启向量化执行。 1040 12.4.1.91 tidb_enable_window_function • 作用域：SESSION | GLOBAL • 默认值：ON • 这个变量用来控制是否开启窗口函数的支持。默认值 1602 12.11.4.10.1 支持的函数 函数名 功能描述 MD5() 计算字符串的 MD5 校验和 PASSWORD() 计算并返回密码字符串 RANDOM_BYTES() 返回随机字节向量 SHA1(), SHA() 计算 SHA-1 160 位校验和 SHA2() 计算 SHA-2 校验和 AES_DECRYPT() 使用 AES 解密 AES_ENCRYPT() 使用 AES USTER_STATEMENTS_SUMMARY 和 CLUSTER_STATEMENTS �→ _SUMMARY_HISTORY 这几张表的查询，且其中涉及 UNION 操作。且该函数目前不支 持向量化，即对于多行数据调用该函数时，对每行都会独立进行一次上述的查询。 set @digests = '["e6f07d43b5c21db0fbb9a31feac2dc599787763393dd5acbfad80e247eb02ad5"

Lightning 在目标集群上执行校验失败时 panic 的问题 #27686 – 修复某些情况下 date_add 和 date_sub 函数执行结果错误的问题 #27232 – 修复 hour 函数在向量化表达式中执行结果错误的问题 #28643 – 修复连接到 MySQL 5.1 或更早的客户端时存在的认证问题 #27855 – 修复当新增索引时自动分析可能会在指定时间之外触发的问题 #28698 95 tidb_enable_vectorized_expression 从 v4.0 版本开始引入 • 作用域：SESSION | GLOBAL • 默认值：ON • 这个变量用于控制是否开启向量化执行。 1077 12.4.1.96 tidb_enable_window_function • 作用域：SESSION | GLOBAL • 默认值：ON • 这个变量用来控制是否开启窗口函数的支持。默认值 1668 12.11.4.10.1 支持的函数 函数名 功能描述 MD5() 计算字符串的 MD5 校验和 PASSWORD() 计算并返回密码字符串 RANDOM_BYTES() 返回随机字节向量 SHA1(), SHA() 计算 SHA-1 160 位校验和 SHA2() 计算 SHA-2 校验和 AES_DECRYPT() 使用 AES 解密 AES_ENCRYPT() 使用 AES