TiDB在⾦金金融聚合⽀支付业务的实践 个⼈人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关⼯工作、数据库⾃自动化运维建设 TiDB在Ping++⾦金金融聚合⽀支付业务的实践 • TiDB在Ping++的应⽤用场景分析 - OLAP：saas服务下实时数仓的⽀支撑 - HTAP：基于TiDB Docker的聚合⽀支付私有化部署⽅方案 • ⾃自动failover的⾼高可⽤用 场景⼆二：聚合⽀支付私有化部署⽅方案 服务私有化部署的数据库要求： • 脱离云产品：DRDS • oltp+olap • 海海量量交易易下的单表性能：分库分表？ • ⾼高可⽤用：MHA？Innodb Cluster? • 监控、运维⽅方式简单⾼高效 场景⼆二：聚合⽀支付私有化部署⽅方案 基于TiDB Docker的HTAP⼀一站式⽅方案

git ⼀样好用。 业务层  服务管理：实现服务 CRUD，域名 CRUD，服务健康状态检查，服务权重管理等功能。  配置管理：实现配置管 CRUD，版本管理，灰度管理，监听管理，推送轨迹，聚合数据等功能。  元数据管理：提供元数据 CURD 和打标能力，为实现上层流量和服务灰度非常关键。 19 > Nacos 架构 内核层  插件机制：实现三个模块可分可合能力，实现扩展点 SPI eper 在写性能上似乎能达到上万的 TPS，这得益于 Zookeeper 精巧的设计，不过这显然是因为有⼀系列的前提存在。首先 Zookeeper 的写逻辑就是 进行 K-V 的写入，内部没有聚合；其次 Zookeeper 舍弃了服务发现的基本功能如健康检查、友好 的查询接口，它在支持这些功能的时候，显然需要增加⼀些逻辑，甚至弃用现有的数据结构；最后， Paxos 协议本身就限制了 Zookeeper 首先是双机房容灾，基于 Leader 写的协议不做改造是无法支持的，这意味着 Zookeeper 不能在 没有人工干预的情况下做到双机房容灾。在单机房断网情况下，使机房内服务可用并不难，难的是 如何在断网恢复后做数据聚合，Zookeeper 的单点写模式就会有断网恢复后的数据对账问题。Eure ka 的部署模式天然支持多机房容灾，因为 Eureka 采用的是纯临时实例的注册模式：不持久化、所 有数据都可以通过客

技术总监查看用户、查看权限了，需要在相关代码中把技术总监角色从判断逻辑中删除掉； 即粒度是以角色为单位进行访问控制的，粒度较粗；如果进行修改可能造成多处代码修改。 显示角色：在程序中通过权限控制谁能访问某个资源，角色聚合一组权限集合；这样假设 哪个角色不能访问某个资源，只需要从角色代表的权限集合中移除即可；无须修改多处代 码；即粒度是以资源/实例为单位的；粒度较细。 跟我学 Shiro——http://jinnianshilongnian 因为我们可以在 Shiro 中同时配置多个 Realm，所以呢身份信息可能就有多个；因此其提供 了 PrincipalCollection 用于聚合这些身份信息： 因为 PrincipalCollection 聚合了多个，此处最需要注意的是 getPrimaryPrincipal，如果只有一 个 Principal 那么直接返回即可，如果有多个 Principal，则返回第一个（因为内部使用 Realm 名字获取身份，因为 Realm 名字可以重复，所以可能多个身份，建议 Realm 名 字尽量不要重复。 AuthorizationInfo AuthorizationInfo 用于聚合授权信息的： 当 我 们 使 用 AuthorizingRealm 时 ， 如 果 身 份 验 证 成 功 ， 在 进 行 授 权 时 就 通 过 doGetAuthorizationInfo

本文档使用 书栈(BookStack.CN) 构建 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 TiDB SQL 语法图 JSON 一面数据 凤凰网 猿辅导 Mobikok 二维火 客如云 Ping++ 乐视云 零氪科技 威锐达测控 盖娅互娱 游族网络 西山居 FUNYOURS JAPAN 万达网络 佐助金融 360金融 中国电信翼支付 某电信运营商 更多资源 常用工具 PingCAP 团队技术博客 知乎专栏 Weekly 英文文档 README - 10 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 是 PingCAP

Google Spanner?蚂蚁七层网络接入代理 Spanner蚂蚁七层网络接入代理 AGNA （Ant Global Network Accelarator) 网商 信用 保险 财富 支付 国际支付 小程序 微贷 科技开放 物联网 Spanner LVS(四层负载) DNS 网络控制面 LDC1 Spanner Spanner APP APP APP APP Keycenter 收发图片慢 建连时长 建连成功率 链路稳定性 链路一致性 RPC错误率 Push实时性 海外RTT 数据效率 快 速 稳 定 高 效 移动客户痛点 性能指标 线下支付 大促 国际支付咻一咻与敬业福咻一咻的挑战 亿级用户快速进入 亿级用户同时点击 剩余红包实时显示无线移动网络优化 § 统一通道：主长连接 + 短连接 § 统一协议：MTLS+MMTP § 统一调度：MobileDC 智能心跳 数据压缩 质量模型 自动重试 云端补偿 柔性建连 假连淘汰 动态超时 § 终端策略覆盖移动网络难点 § 优化对业务透明 § ROI考虑 好网更快 弱网更好 协议优化 支付宝网络接入层架构示意 § 关键词：动态Hpack + PB + 动态字典 + Zstd通信协议&架构持续升级 多终端&协议接入 架构升级 云原生生态融合 § MQTT协议的IOT设备接入 § 就近就优海外接入，智能调度

href="https://docs.pingcap.com/zh/tidb/v8.4/top-sql#使用-top-sql">按表或数据库维度聚合 �→ TiKV 消耗的 CPU 时间 当热点问题不是由个别 SQL 语句引起时，利用 Top SQL 中按表或者数据库聚合的 CPU 时间， �→ 能够协助用户快速发现造成热点的表或者应用程序，从而大大提升热点问题和 CPU �→ 消耗问题的诊断效率。 支持按表或数据库维度查看 CPU 时间的聚合结果 #55540 @nolouch 在 v8.4.0 之前，Top SQL 以 SQL 为单位来聚合 CPU 时间。如果 CPU 时间不是由少数几个 SQL 贡献，按 SQL 聚 合并不能有效发现问题。从 v8.4.0 开始，你可以选择 By TABLE 或者 By DB 聚合 CPU 时间。在多系统融合的 场景下，新的聚合方式能够更有效地识别来自某个特定系统的负载变化，提升问题诊断的效率。 Y 向量函数和操作符 E N N N N N N N N N N N 信息函数 Y Y Y Y Y Y Y Y Y Y Y Y JSON 函数 Y Y Y Y Y Y Y E E E E E 聚合函数 Y Y Y Y Y Y Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y Y Y Y Y Y Y 操作符 Y Y Y Y

href="https://docs.pingcap.com/zh/tidb/v8.4/top-sql#使用-top-sql">按表或数据库维度聚合 �→ TiKV 消耗的 CPU 时间 当热点问题不是由个别 SQL 语句引起时，利用 Top SQL 中按表或者数据库聚合的 CPU 时间， �→ 能够协助用户快速发现造成热点的表或者应用程序，从而大大提升热点问题和 CPU �→ 消耗问题的诊断效率。 支持按表或数据库维度查看 CPU 时间的聚合结果 #55540 @nolouch 在 v8.4.0 之前，Top SQL 以 SQL 为单位来聚合 CPU 时间。如果 CPU 时间不是由少数几个 SQL 贡献，按 SQL 聚 合并不能有效发现问题。从 v8.4.0 开始，你可以选择 By TABLE 或者 By DB 聚合 CPU 时间。在多系统融合的 场景下，新的聚合方式能够更有效地识别来自某个特定系统的负载变化，提升问题诊断的效率。 Y 向量函数和操作符 E N N N N N N N N N N N 信息函数 Y Y Y Y Y Y Y Y Y Y Y Y JSON 函数 Y Y Y Y Y Y Y E E E E E 聚合函数 Y Y Y Y Y Y Y Y Y Y Y Y 窗口函数 Y Y Y Y Y Y Y Y Y Y Y Y 其他函数 Y Y Y Y Y Y Y Y Y Y Y Y 操作符 Y Y Y Y

agg_ �→ spill-从-v800-版本开始引入">并行 HashAgg 算法支持数据落盘成为正式功能 (GA) HashAgg 是 TiDB 中常用的聚合算子，用于快速聚合具有相同字段值的行。TiDB v8.0.0 引入并行 �→ HashAgg 作为实验特性，以进一步提升处理速度。当内存资源不足时，并行 HashAgg �→ 可以将临时排序数据落盘，避免因内存使用过度而导致的 的表达式匹 配多列索引的逻辑，使其能生成更加精准的 Range #41598 @ghazalfamilyusa – 优化对大数据量的表进行简单查询时获取数据分布信息的性能 #53850 @you06 – 聚合的结果集能够作为 IndexJoin 的内表，使更多的复杂查询可以匹配到 IndexJoin，从而可以通过索 引提升查询效率 #37068 @elsa0520 – 通过批量删除 TiFlash placement 算子中对于 Join Key 的冗余拷贝 #9057 @gengliqi – 将 HashAgg 算子中转换两级哈希表的过程并行化 #8956 @gengliqi – 移除 HashAgg 算子的冗余的聚合函数以减少计算开销 #8891 @guo-shaoge • Tools – Backup & Restore (BR) * 优化备份功能，提升在大量表备份过程中遇到节点重启、扩容或网络抖动时的备份性能和稳

安 全方案集成。 说说应用基本依赖的四大件：数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 云原生应用 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging

协议包过滤器 • 协议扩展 • 可观测性扩展 • 路由扩展 • 集群管理扩展 模块化 安全 智能 高性能3/10 MOSN 助力业界最大规模之一的 Service Mesh 实践 核心支付链路覆盖 容器规模 几十万 峰值 QPS 千万 CPU 0%~2% MEM 15M RT 0.2ms 极低消耗 100% 1~2 次/年  10+次 /月 快速迭代4/10 这两年，MOSN 2018年5月 以 SOFAMosn 项目名开源 2018年11月 内部正式启动落地 Service Mesh 2019年4月 落地第一个应用 2019年618 核心支付链路灰度 2019年双十一 核心支付链路全覆盖5/10 开放是手段，不是目的 加拉帕戈斯综合征 水族馆与大自然的杀人鲸 德尔菲法6/10 CNCF Landscape7/10 SOFAMosn GitHub