分布式NewSQL数据库TiDB
UCloud 优刻得 3/120 38 39 40 40 41 41 43 43 43 46 49 49 52 53 55 57 57 58 58 59 60 备份恢复 备份恢复 设置备份策略 调整⾃动备份策略 ⼿动备份 删除备份数据 备份恢复 Dashboard/监控访问 监控访问 代理节点 配置访问代理 访问 实例 实例 创建TiDB Serverless实例 查看TiDB实例列表 查看TiDB实例详情 Binlog GC 关闭 Binlog 如何使⽤ 如何使⽤TiFlash 简介 步骤⼀ 开启TiFlash 步骤⼆ 按表构建TiFlash副本 步骤三 使⽤TiFlash 备份恢复 备份恢复 设置备份策略 调整⾃动备份策略 ⼿动备份 备份恢复 参数配置 参数配置 进⼊管理⻚⾯ 查看 修改 ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 5/120 概览 概览 产品简介 什么是TiDB 产品优势 适⽤场景 整体架构 实例类型 计费说明 计费指南 回收 操作指南 TiDB 实例 ⽤⼾ 备份恢复 Dashboard/监控访问 TiDB Serverless 实例 ⽤⼾ Binlog同步 TiFlash管理 备份恢复 参数配置调整 告警通知 证书管理 数据库审计 安全组 数据迁移 性能数据 概览 分布式NewSQL数据库 TiDB Copyright0 码力 | 120 页 | 7.42 MB | 6 月前3TiDB中文技术文档
监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 数据迁移 故障诊断 TiDB 周边工具 Syncer Loader TiDB-Binlog PD Control TiKV Control TiDB Controller 监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 全量导入 增量导入 故障诊断 TiDB 周边工具 Syncer Loader TiDB-Binlog PD Control TiKV Control TiDB Controller 文件 默认: “” 如果没设置这个参数,log 会默认输出到 “stderr”,如果设置了, log 就会输出到对应的文件里面,在每 天凌晨,log 会自动轮转使用一个新的文件,并且将以前的文件改名备份 Prometheus Push Gateway 地址 默认: “” 如果为空,TiDB 不会将统计信息推送给 Push Gateway ,参数格式 如 --metrics- addr=192.1680 码力 | 444 页 | 4.89 MB | 6 月前3Service Mesh的实践分享
Mesh雏形 • 物理机、sidecar • Local & Remote,主与备 • 轻量级客户端、本地调用 • Local Proxy负责服务治理与 远程通信 • Remote Proxy负责备份和非 主流流量 JavaApp Local Proxy OSP Server Service Registry Service Config Center Remote Proxy Cluster EnvoyClient端不基于IPTable劫持 • Istio的设计很美好,但现实总是很残酷 • IPTable性能不总是足够好 • 任何组件都有不可用的时候。客户端无论如何都要有自切换的能力和可 用的备份 • 尽量减少外部组件依赖。业务/运维总会有各种特殊的需求,依赖外部组 件会给自定义需求带来障碍。 • 保持客户端选择proxy的自由度和灵活性,在我们的实践中好处大 于坏处胖客户端 vs. 应对客户端增多的情况。容量超标则临时转移 到remote proxyRemote Proxy的价值 • 主要职责:备份流量、临时流量、非主要流量 • 高可用架构上的补充:sidecar是很美好,但总有一些时候,你的 sidecar挂掉时,你的客户端是不想/不能跟sidecar一起死的。此时 唯一能救火的,就是客户端能够自动切换(sdk自带),并且有 备份(remote proxy)可用 • 运维的便利性,如 • 升级Local0 码力 | 30 页 | 4.80 MB | 5 月前3[PingCAP Meetup SH 5.26]上海电信微信营业厅 TiDB 实践 v 1.6
• 周围工具 • MySQL -> TiDB ,一行代码没改 • 满足营销活动时候的扩展 • 满足账单支付金融级别要求 • 上线 2 个月以来,平稳运行 • 满足实时统计分析、报表要求 •完善的监控、备份体系 谢感谢 PingCAP 小伙伴在上线过程中给 给与的大力支持! 谢谢大家!0 码力 | 9 页 | 188.20 KB | 6 月前3Apache Pulsar,云原生时代的消息平台 - 翟佳
单节点可以存储很多⽇志 • I/O隔离 Apache BookKeeper: 诞⽣场景 streamnative.io 企业级流存储层: 节点对等的架构 • openLedger(组内节点数⽬, 数据备份数⽬, 等待刷盘节点数⽬) • openLedger(5, 3, 2) streamnative.io 企业级流存储层: 读写⾼可⽤性(容错) streamnative.io 企业级流存储层:0 码力 | 39 页 | 12.71 MB | 6 月前0.03新一代云原生分布式存储
d等 • 强一致性协议对异常的容忍较差 使用WARO一致性协议 • 所有副本写完成返回客户端 • 延迟取决于所有副本中最慢的那一个块存储场景 为云主机提供云盘,云盘提供随机读写、快照(数据备份,灾备使用)、镜像(模板,自定义)功能。块存储场景 为物理机提供块设备 Linux IO栈 应用程序 -> 文件系统 -> 块设备层 -> 不同协议/驱动使用中的问题 • io抖动(一致性协议):0 码力 | 29 页 | 2.46 MB | 5 月前3Curve核心组件之snapshotclone
对元数据增删改查 • 对数据增删改查 • 快照克隆服务器 • 快照 • 克隆快照和克隆的特点 • 快照的定义 快照是云盘数据在某个时刻完整的只读拷贝,是一种便捷高效的数据容灾手段, 常用于数据备份、制作自定义镜像、应用容灾等。 • 快照的特点 • 转储到s3对象存储 • 异步转储快照,底层使用copy-on-write技术,读写不影响转储 • 增量转储,第一次全量转储s3之后,后续只需转储增量部分0 码力 | 23 页 | 1.32 MB | 5 月前3PingCAP TiDB&TiKV Introduction OLTP
DB Sharding vs NewSQL DB Sharding NewSQL | TiDB 工作内容 工作量 工作内容 工作量 项目设计 阶段 分库分表设计 数据库中间件路由配置 数据库主从备份设计 月级别 类似单机数据库,不需要做任 何设计、修改 0 项目开发 阶段 事务处理机制 - 由应用保证 跨库、跨表查询 - 由应用保证 月级别 类似单机数据库,事务由底层 数据库提供,支持透明分布式0 码力 | 21 页 | 613.54 KB | 6 月前3CurveFS方案设计
这种方式相当于每次都是全量缓存当前元数据,不做增量快照,考虑到转储逻辑,这也是可以接受的 对比这两种方案,第一种方案对于copy场景是友好的,但需要重新实现一套快照逻辑;第二种方案的改动和实现相对简单,并且对于需要备份的场景也是够用的。从可解决程度和解决的必要性考虑,选择第二种方 案。 关键点 mds volume 文件空间管理 文件系统的元数据所在的copyset分配策略(前期可以考虑都分配到同一个copyset上)0 码力 | 14 页 | 619.32 KB | 5 月前3人工智能安全治理框架 1.0
(e)重点领域使用者应增强网络安全、供应链安全等方面的能力,降低 人工智能系统被攻击、重要数据被窃取或泄露的风险,保障业务不中断。 (f) 重点领域使用者应合理限制人工智能系统对数据的访问权限,制定 数据备份和恢复计划,定期对数据处理流程进行检查。 (g)重点领域使用者应确保操作符合保密规定,在处理敏感数据时使用 加密技术等保护措施。 (h)重点领域使用者应对人工智能行为和影响进行有效监督,确保人工0 码力 | 20 页 | 3.79 MB | 1 月前3
共 11 条
- 1
- 2