云原生数据库 PieCloudDB : Unbreakable 安全特性剖析
• 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 透明加密 透明加密的定义 • 目标 • 加密用户数据 • 使用高强度加密算法 • AES-GCM 128 bit,AES-GCM 256 bit … • 特点 • 用户无感知 • 数据写入自动加密,读取自动解密 透明加密的作用 • 将数据库数据从明文存储转为加密存储 对性能影响小 • 避免额外造成查询延迟 • 不影响批量读取,流式数据写入性能 来自用户的需求(2) • 支持国密标准 • 合规 • 加密算法可选 • 免配置 • 开箱即用 技术挑战(1) • 不可避免的性能损失 • 选用支持硬件加速的加密算法 • SIMD 支持 • 减少因为密钥泄露而造成的损失 • 多级密钥 • 密钥加密密钥 • 用户无感知 • 自动生成次级密钥 • 模块完美支持自研存储 • 可插拔加密算法库 • 支持不同硬件加密算法 • 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求 优化器 执行器 存储接口 透明加密组件 数据 函数接口 密钥管理 模块 加密模块 加密算法库 租户密钥生成 主密钥 用户信任域0 码力 | 34 页 | 599.00 KB | 1 年前3大模型时代下向量数据库的设计与应用
• 从向量搜索及索引算法实现出发,为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发,为其开发向量搜索及索引算法 PieCloudVector • 基于postgres打造的数据库内核 • 单机或分布式部署 • 支持完整的ACID • SQL进行向量搜索 • 支持向量标量混合查询 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持主流的ann算法,如ivf和hnsw等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持向量编码和压缩如PQ等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持二进制索引 • 支持多级索引如HNSW+IVF等 • CPU多核并行/GPU加速 PieCloudVector • Faiss与postgres内核对接0 码力 | 28 页 | 1.69 MB | 1 年前3πDataCS赋能工业软件创新与实践
密⽂ 存储 ⼀级密钥 ⼆级密钥 三级密钥 数据 访问 PieDataCS 加密 模块 存储 引擎 业务系统 明⽂访问 其他请求 根据权限返回 KMS服务 传输加密 实时加解密 加密算法兼容 完备权限管控 计 算 层 透明 加密 满⾜等保合规要求 @2024 OpenPie. All rights reserved. OpenPie Confidential 计算引擎之 PieCloudVector 统⼀的数据平台,在动态扩缩容过程中⽆需移 动数据,充分保障数据的⼀致性 • 使用简单,学习成本低,⽆需额外投⼊ • 既满⾜了向量存储和向量搜索的需求,又升级 实现了云上分布式向量化计算的技术突破 • 支持多种向量搜索算法,为不同的业务场景提 供更灵活⾼效的解决⽅案 突破传统数据库的技术瓶颈 • ⽆法弹性扩缩向量化存储和计算的资源 • 在向量化计算的场景下,易用性和性能较差 • 对元数据变更的功能有限,导致了数据⼀致性 计算集群1 计算集群2 MEGDAO完⼯调试客 户端数据 管理/过 程数据 ⽂ 件 数 据 SWS完⼯计 划数据 SWS设计数 据 SWS派⼯数据 OA数据 ERP系统数据 数据模型算法 数据治理 数据归档 主题数据 数据 平台 数据追溯 数据比对 数据科学 项目进程数据看板 移动完⼯调试 设计与建造 计划管理 供应商数据管理 项目管理 数据分析云平台 第三⽅系统接⼊ BPMS流程自动化0 码力 | 36 页 | 4.25 MB | 1 年前3PieCloudDB Database 产品白皮书
析也原生兼容开源机器学 习库Apache MADlib,从而可以原生实现一些高级机器学习功能。该拓展提供数学、统计学以及机器学习方法,包括 但不限于线性回归、关联规则、贝叶斯分类、决策树和随机森林等算法支持。同时 Openpie 团队经验丰富的数据科学 家团队可以为企业用户提供相关建议。 ,* 多云部署 pieCloudDB 可根据客户需求在任何laaS (裸金属服务器、虚拟机、K8S容器等) Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 pieCloudDB 提供企业级数据透明加密。实时加密 (on-the-fly) 、高强度算法、多级密钥、传输加密等技术为企业数 据的安全性保驾护航。 pieCloudDB 还支持包括数据库、表级别授权管理等完善的安全及权限管理,帮助企业系统地管理表级别的权限。支 持函数、参数等相关的白名单配置,避免用户对系统进行误操作。 立足于国内,基础数据计算领域的高科技创新企业。作为国内云 上数据和数据计算领域必指可数的Day-1准独角兽,拓数派致力于在数字原生时代,运用突破性计算理论、独创的去 原生虚拟数仓旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准,驱动企业实现从“软件 公司”到“数据公司”再到“数学公司”的持续进阶,加速数字化转型升级。 拓数派旗下旗舰产品 PieCloudDB ,采用领先的数0 码力 | 17 页 | 2.68 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
生兼容开源机器学 习库 Apache MADlib,从而可以原生实现一些高级机器学习功能。该拓展提供数学、统计学以及机器学习方法,包括 但不限于线性回归、关联规则、贝叶斯分类、决策树和随机森林等算法支持。同时 OpenPie 团队经验丰富的数据科学 家团队可以为企业用户提供相关建议。 10 多云部署 PieCloudDB 可根据客户需求在任何IaaS(裸金属服务器、虚拟机、K8S 数量,按需配置。 不受基础架构限制 PieCloudDB: 11 数据隐私安全和加密 完善的数据生态 PieCloudDB 提供企业级数据透明加密。实时加密(on-the-fly)、高强度算法、多级密钥、传输加密等技术为企业数 据的安全性保驾护航。 PieCloudDB 还支持包括数据库、表级别授权管理等完善的安全及权限管理,帮助企业系统地管理表级别的权限。支 持函数、参数 足于国内,基础数据计算领域的高科技创新企业。作为国内云 上数据和数据计算领域屈指可数的Day-1准独角兽,拓数派致力于在数字原生时代,运用突破性计算理论、独创的云 原生虚拟数仓旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准,驱动企业实现从“软件 公司”到“数据公司”再到“数学公司”的持续进阶,加速数字化转型升级。 拓数派旗下旗舰产品PieCloudDB,是以对行业顶0 码力 | 17 页 | 2.02 MB | 1 年前3兼容龙蜥的云原生大模型数据计算系统:πDataCS
数 派 以 “Data Computing for New Discoveries”「数据计算,只为新发现」为使命,致力于在数字原生时代,运用突破性计算理论、 独创的云原生数据库旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准, 驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统(PieDataComputing System,缩写πDataCS),以云原生技术 统一的数据平台,在动态扩缩容过程中无需移动 数据,充分保障数据的一致性 • 使用简单,学习成本低,无需额外投入 • 既满足了向量存储和向量搜索的需求,又升级实 现了云上分布式向量化计算的技术突破 • 支持多种向量搜索算法,为不同的业务场景提供 更灵活高效的解决方案 突破传统数据库的技术瓶颈 • 无法弹性扩缩向量化存储和计算的资源 • 在向量化计算的场景下,易用性和性能较差 • 对元数据变更的功能有限,导致了数据一致性等0 码力 | 29 页 | 7.46 MB | 1 年前3云原生数据库PieCloudDB 性能优化之路
同时也会考虑到ORDER BY的信息 • 代价驱动 • 为基表生成扫描路径,并计算扫描路径的代价和结果集大小 • 搜索整个连接顺序空间,为连接操作生成连接路径 • O(n!) • 动态规划 • 遗传算法 • 考虑外连接对连接顺序的限制 (A leftjoin B on (Pab)) innerjoin C on (Pbc) != A leftjoin (B innerjoin C on (Pbc))0 码力 | 26 页 | 711.44 KB | 1 年前3云原生数据库 PieCloudDB eMPP架构设计与实现
• 产品已经在⼀些⾦融、医疗等⾏业开始使⽤。 关于我 • 毕业于中国科技⼤学,AI相关专业 • 毕业 1 年后到现在⼀直从事底层基础软件开发,10多年开发经验 • 领域涉及到: • 代码级/算法级/系统级性能优化 • Linux/Unix内核和系统开发、虚拟化(芯⽚KVM⽀持实现)和云计算架 构、⾼速⺴络开发(内核和应⽤层如DPDK) • 分布式系统(SQL/NoSQL/存储) • 最近0 码力 | 31 页 | 1.43 MB | 1 年前3PieCloudDB 的云原生之路
在计算层,各个计算节点针对元数据和用 户数据都设计了多层缓存结构,避免网络 延迟和数据移动,提高计算效率,保证用 户的实时性需求。 数据安全 PieCloudDB 提供企 业级透明数据加密。 运用实时加密,高强 度算法,多级密钥等 技术保护数据安全。 IvorySQL开源数据库社区 IvorySQL开源数据库社区 IvorySQL开源数据库社区 Any Questions? IvorySQL开源数据库社区0 码力 | 47 页 | 1.80 MB | 1 年前3PieCloudDB云原生数仓虚拟化之路
在计算层,各个计算节点针对元数据和用 户数据都设计了多层缓存结构,避免网络 延迟和数据移动,提高计算效率,保证用 户的实时性需求。 数据安全 PieCloudDB提供企业 级透明数据加密。运 用实时加密,高强度 算法,多级密钥等技 术保护数据安全。 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n0 码力 | 44 页 | 1.64 MB | 1 年前3
共 10 条
- 1