TiDB中文技术文档
部署方案 跨机房部署方案 配置集群 参数解释 TiDB 配置项解释 开启 TLS 验证 生成自签名证书 监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 数据迁移 故障诊断 TiDB 周边工具 Syncer CN) 构建 TiDB 配置项解释 使用 Ansible 变更组件配置 开启 TLS 验证 生成自签名证书 监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 全量导入 增量导入 故障诊断 TiDB 周边工具 Syncer 文件 默认: “” 如果没设置这个参数,log 会默认输出到 “stderr”,如果设置了, log 就会输出到对应的文件里面,在每 天凌晨,log 会自动轮转使用一个新的文件,并且将以前的文件改名备份 Prometheus Push Gateway 地址 默认: “” 如果为空,TiDB 不会将统计信息推送给 Push Gateway ,参数格式 如 --metrics- addr=192.1680 码力 | 444 页 | 4.89 MB | 6 月前3PingCAP TiDB&TiKV Introduction OLTP
分库分表设计 数据库中间件路由配置 数据库主从备份设计 月级别 类似单机数据库,不需要做任 何设计、修改 0 项目开发 阶段 事务处理机制 - 由应用保证 跨库、跨表查询 - 由应用保证 月级别 类似单机数据库,事务由底层 数据库提供,支持透明分布式 事务 0 扩容、缩 容、维护 制作分库数据镜像 暂停业务 检验所有数据和原有数据的一致性 切换路由配置 上线后测试验证 开始业务 (中间有问题都需要进行相应的重试 NewSQL | TiDB 以便捷的接口(MySQL 兼容),让你像使用单机数据库一样轻松 获得大数据处理能力,满足大数据量下的高压力的实时处理的各种需求。 商业模式:开源 ● 开源的模式在硅谷已经验证成功,作为基础软件领域正确的商业模式 ○ Cloudera / Hortonworks / OpenStack / Docker / RedHat ... ● 开源正在蚕食数据库市场 ○ MongoDB0 码力 | 21 页 | 613.54 KB | 6 月前3人工智能安全治理框架 1.0
(d)数据泄露风险。人工智能研发应用过程中,因数据处理不当、非授 权访问、恶意攻击、诱导交互等问题,可能导致数据和个人信息泄露。 3.1.3 系统安全风险 (a)缺陷、后门被攻击利用风险。人工智能算法模型设计、训练和验证 的标准接口、特性库和工具包,以及开发界面和执行平台可能存在逻辑缺陷、- 5 - 人工智能安全治理框架 漏洞等脆弱点,还可能被恶意植入后门,存在被触发和攻击利用的风险。 (b)算力安全风险。 明确测试目标、范围和安 全维度,构建多样化的测试数据集,涵盖各种应用场景。 (h)研发者应制定明确的测试规则和方法,包括人工测试、自动测试、 混合测试等,利用沙箱仿真等技术对模型进行充分测试和验证。 (i) 研发者应评估人工智能模型算法对外界干扰的容忍程度,以适用范 围、注意事项或使用禁忌的形式告知服务提供者和使用者。 (j) 研发者应生成详细的测试报告,分析安全问题并提出改进方案。 (e)重点领域使用者应增强网络安全、供应链安全等方面的能力,降低 人工智能系统被攻击、重要数据被窃取或泄露的风险,保障业务不中断。 (f) 重点领域使用者应合理限制人工智能系统对数据的访问权限,制定 数据备份和恢复计划,定期对数据处理流程进行检查。 (g)重点领域使用者应确保操作符合保密规定,在处理敏感数据时使用 加密技术等保护措施。 (h)重点领域使用者应对人工智能行为和影响进行有效监督,确保人工0 码力 | 20 页 | 3.79 MB | 29 天前324-云原生中间件之道-高磊
可信根一般是一个硬件,比如CPU或者TPM,将从 它开始构建系统所有组件启动的可信启动链,比 如UEFI、loader、OS、应用等,可以确保在被入侵 修改时的阻断行为,另外可以将可信启动链的 Hash值上传云端管理,可以做到中心管控验证的 目的。 加密技术 数据的安全生命周期返程三种不同状态:存储中、传输中、使用中,但 是对第三种场景,一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE(比如IntelSGX,蚂蚁的KubeTEE等)可以保护运行中的数据和 峰填谷,把慢服务分离到 后置链路,提升整个业务链路的性能。 高SLA 云原生应用将对消息这种云原生BaaS服务有更高的SLA要求,应用将假设其依赖的云原生服务具备跟云一样的可用性,从而不需要去建设备份链 路来提高应用的可用性,降低架构的复杂度。只有做到与云一样的可用性,云在服务就在,才能称为真正的云原生服务。 低成本 (Serverless化) 在过去,每家公司自建消息中间件集群,或是自研的、或0 码力 | 22 页 | 4.39 MB | 6 月前3分布式NewSQL数据库TiDB
UCloud 优刻得 3/120 38 39 40 40 41 41 43 43 43 46 49 49 52 53 55 57 57 58 58 59 60 备份恢复 备份恢复 设置备份策略 调整⾃动备份策略 ⼿动备份 删除备份数据 备份恢复 Dashboard/监控访问 监控访问 代理节点 配置访问代理 访问 实例 实例 创建TiDB Serverless实例 查看TiDB实例列表 查看TiDB实例详情 Binlog GC 关闭 Binlog 如何使⽤ 如何使⽤TiFlash 简介 步骤⼀ 开启TiFlash 步骤⼆ 按表构建TiFlash副本 步骤三 使⽤TiFlash 备份恢复 备份恢复 设置备份策略 调整⾃动备份策略 ⼿动备份 备份恢复 参数配置 参数配置 进⼊管理⻚⾯ 查看 修改 ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 5/120 概览 概览 产品简介 什么是TiDB 产品优势 适⽤场景 整体架构 实例类型 计费说明 计费指南 回收 操作指南 TiDB 实例 ⽤⼾ 备份恢复 Dashboard/监控访问 TiDB Serverless 实例 ⽤⼾ Binlog同步 TiFlash管理 备份恢复 参数配置调整 告警通知 证书管理 数据库审计 安全组 数据迁移 性能数据 概览 分布式NewSQL数据库 TiDB Copyright0 码力 | 120 页 | 7.42 MB | 6 月前3Service Mesh的实践分享
Mesh雏形 • 物理机、sidecar • Local & Remote,主与备 • 轻量级客户端、本地调用 • Local Proxy负责服务治理与 远程通信 • Remote Proxy负责备份和非 主流流量 JavaApp Local Proxy OSP Server Service Registry Service Config Center Remote Proxy Cluster EnvoyClient端不基于IPTable劫持 • Istio的设计很美好,但现实总是很残酷 • IPTable性能不总是足够好 • 任何组件都有不可用的时候。客户端无论如何都要有自切换的能力和可 用的备份 • 尽量减少外部组件依赖。业务/运维总会有各种特殊的需求,依赖外部组 件会给自定义需求带来障碍。 • 保持客户端选择proxy的自由度和灵活性,在我们的实践中好处大 于坏处胖客户端 vs. 应对客户端增多的情况。容量超标则临时转移 到remote proxyRemote Proxy的价值 • 主要职责:备份流量、临时流量、非主要流量 • 高可用架构上的补充:sidecar是很美好,但总有一些时候,你的 sidecar挂掉时,你的客户端是不想/不能跟sidecar一起死的。此时 唯一能救火的,就是客户端能够自动切换(sdk自带),并且有 备份(remote proxy)可用 • 运维的便利性,如 • 升级Local0 码力 | 30 页 | 4.80 MB | 5 月前3[PingCAP Meetup SH 5.26]上海电信微信营业厅 TiDB 实践 v 1.6
• 周围工具 • MySQL -> TiDB ,一行代码没改 • 满足营销活动时候的扩展 • 满足账单支付金融级别要求 • 上线 2 个月以来,平稳运行 • 满足实时统计分析、报表要求 •完善的监控、备份体系 谢感谢 PingCAP 小伙伴在上线过程中给 给与的大力支持! 谢谢大家!0 码力 | 9 页 | 188.20 KB | 6 月前3Apache Pulsar,云原生时代的消息平台 - 翟佳
单节点可以存储很多⽇志 • I/O隔离 Apache BookKeeper: 诞⽣场景 streamnative.io 企业级流存储层: 节点对等的架构 • openLedger(组内节点数⽬, 数据备份数⽬, 等待刷盘节点数⽬) • openLedger(5, 3, 2) streamnative.io 企业级流存储层: 读写⾼可⽤性(容错) streamnative.io 企业级流存储层:0 码力 | 39 页 | 12.71 MB | 6 月前0.03新一代云原生分布式存储
d等 • 强一致性协议对异常的容忍较差 使用WARO一致性协议 • 所有副本写完成返回客户端 • 延迟取决于所有副本中最慢的那一个块存储场景 为云主机提供云盘,云盘提供随机读写、快照(数据备份,灾备使用)、镜像(模板,自定义)功能。块存储场景 为物理机提供块设备 Linux IO栈 应用程序 -> 文件系统 -> 块设备层 -> 不同协议/驱动使用中的问题 • io抖动(一致性协议):0 码力 | 29 页 | 2.46 MB | 5 月前3Curve核心组件之snapshotclone
对元数据增删改查 • 对数据增删改查 • 快照克隆服务器 • 快照 • 克隆快照和克隆的特点 • 快照的定义 快照是云盘数据在某个时刻完整的只读拷贝,是一种便捷高效的数据容灾手段, 常用于数据备份、制作自定义镜像、应用容灾等。 • 快照的特点 • 转储到s3对象存储 • 异步转储快照,底层使用copy-on-write技术,读写不影响转储 • 增量转储,第一次全量转储s3之后,后续只需转储增量部分0 码力 | 23 页 | 1.32 MB | 5 月前3
共 35 条
- 1
- 2
- 3
- 4