PieCloudDB 的云原生之路
降低服务器硬件成本 云计算平台统一运维降低成本 服务器资源池可用空间增大 数据资源池可用空间增大 虚拟机动态迁移对硬件无感知 数仓整合,降低服务器硬件或者虚拟机成本 数据计算平台统一 运维降低成本 虚拟数仓数仓高在线 虚拟数仓动态 spinoff/retire 对计算资源无感知 虚拟机高在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 IvorySQL开源数据库社区0 码力 | 47 页 | 1.80 MB | 1 年前3PieCloudDB云原生数仓虚拟化之路
降低服务器硬件成本 云计算平台统⼀运维降低成本 服务器资源池可⽤空间增⼤ 数据资源池可⽤空间增⼤ 虚拟机动态迁移对硬件⽆感知 数仓整合,降低服务器硬件或者虚拟机成本 数据计算平台统⼀ 运维降低成本 虚拟数仓数仓⾼在线 虚拟数仓动态spinoff/retire对计算资源⽆感知 虚拟机⾼在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 @2022 OpenPie.0 码力 | 44 页 | 1.64 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
整体架构分为三个层次,包括基础设施层、数据处理层及数据应用层。详细阐述如下: 基础设施层 基础设施层为 PieCloudDB 提供计算资源、存储资源和网络资源,PieCloudDB 支持部署在物理服务器、虚拟机以及容 器中,同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层,提供了并行数据处理能力,拥有元数据节点、计算节点、存储节点以及云原生管控平台节 机森林等算法支持。同时 OpenPie 团队经验丰富的数据科学 家团队可以为企业用户提供相关建议。 10 多云部署 PieCloudDB 可根据客户需求在任何IaaS(裸金属服务器、虚拟机、K8S容器等)上运行。借助这种“不受限于基础架 构”的跨云部署,企业可以打通多云的数据管道,解锁对特定IaaS云的依赖并获得云资源议价权。企业在 PieCloudDB 上部署时,可以: 10 码力 | 17 页 | 2.02 MB | 1 年前3云原生虚拟数仓 PieCloudDB 的架构和关键模块实现
OpenPie Confidential • Segment节点并不持有持久化的数据,在扩张/收缩的过程中不涉及数据的移动 • Segment节点不直接访问系统表,事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB0 码力 | 43 页 | 1.14 MB | 1 年前3并行不悖- OLAP 在互联网公司的实践与思考
个postgresql实例 Ø 实例分布成为 28 个Greenplum集群或postgresql单实例 • 服务器资源 Ø 三大Greenplum集群,共使用 51 台服务器资源 Ø 12台虚拟机,39台物理机 17 Greenplum现状说明 三大Greenplum集群定位分类 • 公司IDC_01机房Greenplum体系 Ø 公司第一套Greenplum集群,网络环境为千兆网0 码力 | 43 页 | 9.66 MB | 1 年前3Greenplum 6: 混合负载的理想数据平台
Cloud Platform,简称GCP),为5个虚拟主机的集群,包含一 个master主机和四个segment主机,master和segment虚拟主机的配置信息如下 master segment 虚拟机类型 n1-standard-16 n1-standard-8 CPU核数 16 8 内存大小(GB) 60 30 CPU平台 Intel Haswell 存储类型 SSD persistent0 码力 | 52 页 | 4.48 MB | 1 年前3PieCloudDB Database 社区版集群安装部署手册 V2.1
........................................................... 41 1. 集群规划 此次准备了 3 台虚拟机,具体信息如下: 序号 角色 主机名 IP 地址 操作系统 用户名/密码 PieCloudDB 版本 操作系统版本 1 K8S 的 Master pie4 100 码力 | 42 页 | 1.58 MB | 1 年前3PieCloudDB Database 产品白皮书
策树和随机森林等算法支持。同时 Openpie 团队经验丰富的数据科学 家团队可以为企业用户提供相关建议。 ,* 多云部署 pieCloudDB 可根据客户需求在任何laaS (裸金属服务器、虚拟机、K8S容器等) 上运行。借助这种“不受限于基础架 构”的跨云部署,企业可以打通多云的数据管道,解锁对特定laaS云的依赖并获得云资源议价权。企业在 PieCloudDB 上部署时,可以: 1. 消除平台/供应商制约:0 码力 | 17 页 | 2.68 MB | 1 年前3TiDB v5.2 中文手册
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 609 11.2.1 在物理机或虚拟机上部署运维 TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 609 this range. 86 注意: The governor "powersave" 表示 cpufreq的节能策略使用 powersave,需要调整为 performance 策略。如果是虚拟机或者云主机,则不需要调整,命令输出通常为 Unable to determine �→ current policy。 5. 配置系统优化参数 • 方法一:使用 tuned(推荐) 1. 执行 比例是: Default CF : Write CF = 4 : 1 在 TiKV 中需要根据机器内存大小配置 RocksDB 的 block cache,以充分利用内存。以 40 GB 内存的虚拟机部署一 个 TiKV 为例,其 block cache 建议配置如下: server_configs: tikv: log-level: "error" rocksdb.defaultcf.block-cache-size:0 码力 | 2259 页 | 48.16 MB | 1 年前3TiDB v5.1 中文手册
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 588 11.2.1 在物理机或虚拟机上部署运维 TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 588 within this range. 注意: The governor "powersave" 表示 cpufreq的节能策略使用 powersave,需要调整为 performance 策略。如果是虚拟机或者云主机,则不需要调整,命令输出通常为 Unable to determine �→ current policy。 5. 配置系统优化参数 • 方法一:使用 tuned(推荐) 1. 执行 比例是: Default CF : Write CF = 4 : 1 在 TiKV 中需要根据机器内存大小配置 RocksDB 的 block cache,以充分利用内存。以 40 GB 内存的虚拟机部署一 个 TiKV 为例,其 block cache 建议配置如下: server_configs: tikv: log-level: "error" rocksdb.defaultcf.block-cache-size:0 码力 | 2189 页 | 47.96 MB | 1 年前3
共 29 条
- 1
- 2
- 3