TiDB在⾦金金融聚合⽀支付业务的实践 个⼈人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关⼯工作、数据库⾃自动化运维建设 TiDB在Ping++⾦金金融聚合⽀支付业务的实践 • TiDB在Ping++的应⽤用场景分析 - OLAP：saas服务下实时数仓的⽀支撑 - HTAP：基于TiDB Docker的聚合⽀支付私有化部署⽅方案 • ⾃自动failover的⾼高可⽤用 场景⼆二：聚合⽀支付私有化部署⽅方案 服务私有化部署的数据库要求： • 脱离云产品：DRDS • oltp+olap • 海海量量交易易下的单表性能：分库分表？ • ⾼高可⽤用：MHA？Innodb Cluster? • 监控、运维⽅方式简单⾼高效 场景⼆二：聚合⽀支付私有化部署⽅方案 基于TiDB Docker的HTAP⼀一站式⽅方案

京银行分布式核心系统采用“微服务架构 + 分布式数据库”的建设方案，构建起一套支持高并发、高可用 、可横向扩展的分布式核心系统解决方案。 2018 年起，该分布式核心系统对接网联支付清算平台、银联无卡快捷支付平台、金融服务互联平台、网 贷业务平台等多个核心金融业务场景，实现了将分布式数据库解决方案应用于银行核心类业务场景。 ED [L 上 罗 北京在两地三中心部署 TiDB 集群，采用主从的多活架构，主集群作为生产集群承担日常的生产服务， 主从之间采用 Kafka 同步 Binlog 的形式进行数据同步。 北京银行首先在网联支付清算平台和银联无卡快捷支付系统引入 TiDB 分布式数据库，以便更好地迎接 互联网金融带来的大数据量和高并发的挑战。系统投产之后，已经成功应对两次双十一挑战，2019 年 双十一闫峰的 QPS 达到 7500，是平时 IT 团队进行多次线上的运维操作，包括版本升级、打补丁等，利用TiDB 分布式 数据库的多副本特性实现“运维零中断”的操作。随着系统升级，北京银行的网联业务链，包括上游的手 机银行到网联、银联无卡快捷支付业务中台，到后台的金融日历、查询服务都已经进行了分布式架构的升 级，完成了与TiDB 的对接。 用户收益 北京银行分布式核心系统建设项目荣获 2020 年度亚洲银行家“中国最佳核心银行技术实施"大奖，从四个

阿里云 AnalyticDB for PostgreSQL - 打造更简单易用的Cloud SQL Data Warehouse 个人介绍 缪长风 ⚫ 2010年初加入支付宝，负责Oracle RAC和Greenplum数据仓库 ⚫ 有幸参与了Oracle RAC到 Greenplum再到Hadoop以及最终到 ODPS的架构演进工作。 ⚫ 2012年起，转至阿里巴巴大数据团队，负责Hbase/OTS业务支 • 定期自动备份 OSS • 数据并行加载 • 水平扩展：Share-Nothing 架构水平扩展，海量数据在线分析 • 行/列存储模型：行存储支持高并发在线分析，列存储支持全表数据高性能关联聚合 • 高可靠架构：支持分布式事务及ACID，双副本、主备切换透明，支持服务高可用 分 区 分 区 分 区 分 区 计算组 分 区 分 区 分 区 分 区 计算组 分 区 分 for PostgreSQL 未来演进 典型场景分析 数据分析场景 场景挑战 AnalyticDB for PostgreSQL 优势 ETL 批量处理 • 复杂 SQL 调优 • 海量数据关联聚合 • 支持标准SQL，OLAP窗口函数，存储过程 • 新一代Cascade框架 分布式SQL优化器，复杂查询免调优 • MPP多节点全并行计算，PB级数据秒级响应 • 基于列存储的高性能大表扫描，及高压缩比

支持任务在分布式场景下的分片和高可用 – 能够水平扩展任务的吞吐量和执行效率 – 任务处理能力随资源配备弹性伸缩 • 资源分配 – 在适合的时间将适合的资源分配给任务并使其生效 – 相同任务聚合至相同的执行器统一处理 – 动态调配追加资源至新分配的任务 • 作业治理 – 失效转移 – 错过作业重新执行 – 自诊断修复 • 作业依赖 (TODO) – 基于有向无环图（DAG）的作业间依赖 点购集团 84 Apache ShardingSphere ElasticJob document 晶泓科技 京东 9.2.2 金融行业 甜橙金融 (翼支付) 无锡锡商银行 拍拍贷 银盛支付 众安保险 金财互联 连连支付 耀莱在线 浙江汇信科技 捞财宝 卡牛信用管家 借贷宝 金汇金融 91 科技集团 9.2.3 数字化与云服务 云嘉云计算 金柚网 树熊网络

本文档使用 书栈(BookStack.CN) 构建 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 TiDB SQL 语法图 JSON 一面数据 凤凰网 猿辅导 Mobikok 二维火 客如云 Ping++ 乐视云 零氪科技 威锐达测控 盖娅互娱 游族网络 西山居 FUNYOURS JAPAN 万达网络 佐助金融 360金融 中国电信翼支付 某电信运营商 更多资源 常用工具 PingCAP 团队技术博客 知乎专栏 Weekly 英文文档 README - 10 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 是 PingCAP

202 目录 目录 目录 SQL手册 数据类型 字面常量 SQL操作符 别名 SQL-手册 注释 语法帮助 DML DDL 信息查看语句 辅助命令 账户管理 内置函数 聚合函数 位操作函数 字符串函数 条件函数 数学函数 JSON解析函数 类型转换函数 格式转换函数 通用函数 时间和日期函数 BITMAP函数 HLL函数 窗口函数 哈希函数 示例： HLL 数据类型 HLL 数据类型 HLL(HyperLogLog) 类型是一个二进制类型。HLL 类型只能用于聚合类型的表（Aggregation Table），并且必须指定聚合类型为 HLL_UNION。 HLL 类型主要用于非精确快速去重场景下，对数据进行预聚合。 HLL列只能通过配套的 hll_union_agg、hll_cardinality、hll_hash 进行查询或使用。 进行查询或使用。 BITMAP 数据类型 BITMAP 数据类型 BITMAP 类型是一个二进制类型。BITMAP 类型只能用于聚合类型的表（Aggregation Table），并且必须指定聚合类型为 BITMAP_UNION。 BITMAP 类型主要用于精确去重场景下，对数据进行预聚合。同时也可以用于如用户画像场景存放用户ID等。 BITMAP 列只能通过配套的 BITMAP 函数进行查询和使用。

ClassCastException: Integer can not cast to Long? . . . . . . . . . . . . 286 7.9 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . . . . . . . . . . . 286 7.10 Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示“Order 是其中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的分表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确 运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下， 尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场 SQL 解析 分为词法解析和语法解析。先通过词法解析器将 SQL 拆分为一个个不可再分的单词。再使用语法解析器 对 SQL 进行理解，并最终提炼出解析上下文。解析上下文包括表、选择项、排序项、分组项、聚合函数、 分页信息、查询条件以及可能需要修改的占位符的标记。 执行器优化 合并和优化分片条件，如 OR 等。 SQL 路由 根据解析上下文匹配用户配置的分片策略，并生成路由路径。目前支持分片路由和广播路由。

上游数据更新延迟导致整个宽表延迟的问题，进而提升了数据的时效性。数据（指 标、标签等）通过 Spark 统一离线加载到 Kafka 中，使用 Flink 将数据增量更新到 Doris 和 ES 中（利用 Flink 实现进一步的聚合，减轻了 Doris 和 ES 的更新压力）。  加速层：该层主要将大宽表拆为小宽表，根据更新频率配置不同的分区策略，减小 数据冗余带来的存储压力，提高查询吞吐量。Doris 具备多表查询和联邦查询性能 也只需保存最新待导入的数据。同时该方案整体实时性更好且可控，并且大宽表聚合在 Flink 中执行，可灵活加入各种 ETL 逻辑，离线和实时可对多个开发逻辑进行复用，灵活度较高。 数据模型选择 目前我们生产环境所使用的版本为 Apache Doris 1.1.3，我们对其所支持的 Unique 主键模 型、Aggregate 聚合模型和 Duplicate 明细模型进行了对比 ，相较于 Unique Unique 模型和 Duplicate 模型，Aggregate 聚合模型满足我们部分列更新的场景需求： Aggregate 聚合模型可以支持多种预聚合模式，可以通过 REPLACE_IF_NOT_NULL 的方式实 现部分列更新。数据写入过程中，Doris 会将多次写入的数据进行聚合，最终用户查询时， 返回一份聚合后的完整且正确的数据。 另外两种数据模型适用的场景，这里也进行简单的介绍： 

. . 245 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 分页归并 . . . 19 19. [其他] 阅读源码时为什么会出现编译错误? IDEA 不索引生成的代码？ . . . . 292 7.7.20 20. [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . 293 7.7.21 21. [其他] Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示 “Order by value 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确 运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下， 尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场

247 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 viii 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 分页归并 . . . 7.8.22 [其他] 阅读源码时为什么会出现编译错误? IDEA 不索引生成的代码？ . . . . . . 310 7.8.23 [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . . . 310 7.8.24 [其他] Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示“Order by value 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确 运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下， 尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场