TiDB在易易果集团的应⽤用 .罗瑞星 2018 / 05 / 26 ⾃自我介绍 罗瑞星 ⼤大数据⾼高级⼯工程师@51job ⼤大数据架构师@易易果集团 负责易易果集团⼤大数据⽅方向架构设计，优化；数据⼯工具及产品的开发 • 背景介绍. • TiDB的应⽤用 • 未来规划 1 2 3 ⽬目录 CONTENTS 易易果集团介绍 易易果⽣生鲜电商易易果创⽴立于2005年年， 易易果集团由易易果⽣生鲜成⽴立，未来将 易易果集团由易易果⽣生鲜成⽴立，未来将 着⼒力力打造三个业务板块：全渠道运营、安鲜达物流和采购供应链,2017 年年与天猫⽣生鲜全⾯面融合，GMV达到100亿。 SKU数超过4000，线上最⼤大 ⼋八⼤大品类涵盖，线上最全 采购覆盖全球6⼤大洲 39个国家地区147个产地 冷链仓全国布局最⼴广，15地24仓 产能全国最⼤大，180万件/天 冷链物流全国规模最⼤大，覆盖全国近400 个城市 ⾏行行业最⼤大的⽣生鲜电商运营平台 性能 • 能够像随时接⼊入想要的数据 不不⽤用考虑容量量，性能等问题 权限管理理 • 细化的权限管理理 易易⽤用 • 让初级⼩小⽩白也能够⽅方便便使⽤用 • SQL⽽而不不是代码 赋能 • 能够为IT其他部⻔门提供服务 数据中台的建设 选择TiDB的理理由 分布式 能够横向拓拓展 简单易易⽤用 兼容MySQL协议，⽅方便便开发与 脚本迁移. 管理理和监控 脚本化的部署，扩容； Prometheus上详细的监控；

版本。该版本为企业级用户提供一个安全稳定可靠的 操作系统。 openEuler 也是一个技术孵化器。通过每半年发布一次的创新版，快速集成 openEuler 以及其他社区的最新技术成 果，将社区验证成熟的特性逐步回合到发行版中。这些新特性以单个开源项目的方式存在于社区，方便开发者获得源代 码，也方便其他开源社区使用。 社区中的最新技术成果持续合入发行版，发行版通过用户反馈 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法保障在线业务对 CPU 的实时抢占及抖 动抑制，创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步 时间，提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 Greenplum 参与欧拉开源社区的贡献内容 Greenplum 中文社区通过 RPM 软件包方式进入欧拉开源社区软件仓库，yum install 即可安装 Greenplum。提要易 用性。同时 Greenplum ORCA 查询优化器的 ARM 平台兼容，平衡了 X86 和 ARM 平台的功能完整性。期待 Greenplum 中文社区能够在 openEuler 社区中有更多更深入的投入，为客户的成功共同努力。

NOSUPERUSER，弄不好如 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 25 - 果系统中一个 SUPERUSER 都没了，可能就悲剧了(编者测试过，很悲剧)。  为每个登录的 User 分配不同的 Role。出于登录和审计的需要，每个被允许登录 到 GP 的使用者都应该分配一个属于自己的 属性为 0。 使用 DROP RESOURCE GROUP 命令来删除资源组，要删除一个资源组，该资源组 不能被分配给任何 ROLE，同时，该资源组上不能有任何活动的事务和等待的事务。如 果删除一个基于外部组件的资源组，该资源组上正在运行的实例将会被杀死。例如： =# DROP RESOURCE GROUP exec; 配置基于内存限制的查询终止 tance上该资源队列能够使用的内存 总和不能超过设定的最大值。每个查询语句分配的内存大小是资源队列的内存限制除以 最大活动语句数量(建议与活动语句数限制结合使用，而不是与cost限制结合使用，如 果是与cost限制结合使用，将按照cost的权重进行分配)。例如，资源队列的内存限 制为2000MB，活动语句数限制为10，那么每条执行语句可以得到200MB的内存。缺省 的内存分配可以针对每条语句通过

集群数量、支撑的应用数量都飞速增长。 Big Date2.indd 20 16-11-22 下午3:38 Greenplum 精粹文集 21 Greenplum 数据库在该客户发展如此迅猛，与产品在高吞吐、开放性、 易扩展等方面的卓越表现是分不开的 。 1. 高吞吐 该客户大数据平台的 ODS 区，接入了源端近百个业务系统的生产数据， 每天需要加载进来的数据大概 5TB 左右。标准化处理完成后，需要给 后端的公共访问、类别繁多的沙箱类应用供数。 下午3:38 24 三、Greenplum 硬件选型篇 前 面 我 们 通 过 某 金 融 行 业 客 户 Greenplum 的 使 用 案 例 介 绍 了 Greenplum 产品在高吞吐、开放性、 易扩展等方面的卓越表现及其带 给客户的高价值。下面我们将从最佳实践方面介绍下 Greenplum 在具 体规划实施时，如何选取硬件。 Greenplum 是 通 过 软 件将多台 x86 服务器的 硬件组织在一起同时对 上有一份完整的拷贝。如果一张表或者中间结果的尺寸是 10GB，集群有 100 个 Primary Instance，该操作等于在集群中传播 1TB(10GB×100) 的数据！所以，对于那些尺寸较大的表或者中间结 果出现这样的操作，都是需要坚决杜绝的。 循环匹配 (Nested Loop) 该操作的代价是，从每个 Primary Instance 上来看，两个集合呈现笛 卡尔积方式的关联。这种情况一般还会伴随着广播一起出现，如果是

的用户来说也比较熟悉，不过现在有了一种更直白的方式。使用对于给定 语句能够合理描述参数和返回值的接口（比如说BlogMapper.class），你现在不但可以执行更清晰和类型安全的代码，而且还不用担 心易错的字符串字面值以及强制类型转换。 例如： SqlSession session = sqlSessionFactory.openSession(); try { BlogMapper mapper 符串是相同 的。 javaType 一个 Java 类的完全限定名,或一个类型别名(参考上面内建类型别名的列表)。 如果你映射到一个 JavaBean,MyBatis 通常可以断定类型。然而,如 果你映射到的是 HashMap,那么你应该明确地指定 javaType 来保证所需的 行为。 jdbcType 在这个表格之前的所支持的 JDBC 类型列表中的类型。JDBC 类型是仅仅 需要对插入, javaType 一个 Java 类的完全限定名,或一个类型别名(参考上面内建类型别名的列 表) 。如果你映射到一个 JavaBean,MyBatis 通常可以断定类型。然而,如 javaType 果你映射到的是 HashMap,那么你应该明确地指定 javaType 来保证所需的 行为。 jdbcType 在这个表格之前的所支持的 JDBC 类型列表中的类型。JDBC 类型是仅仅 需要对插入,

Redis 的读者， 还是每天都要使⽤ Redis 的读者， 在阅读本书的时候都会有所收获。 虽然本书在写作的过程中已经思虑再三并且数易其稿， 但百密⼀疏， 书中难免还是会有错误或者遗漏的地⽅。 如 果读者朋友在阅读的过程中发现任何错误或是有任何疑问或建议， 都可以通过邮箱 huangz1990@gmail.com 或 者 huangz.me 中列出的联系⽅式来联系我。 由于技术研究和写作⼯作较为繁重， 问。 ⼴泛的⽀持 正如之前所说， Redis 已经得到了互联⽹公司的⼴泛使⽤， 许多开发者为不同的编程语⾔开发了相应的客 户端（redis.io/clients）， 绝⼤多数编程语⾔的使⽤者都可以轻⽽易举地找到他们所需的客户端， 然后直 接开始使⽤ Redis 。 此外，包括亚⻢逊、⾕歌、RedisLabs、阿⾥云和腾讯云在内的多个云服务提供商都提 供了基于 Redis 或兼容 Redis 的服务， 因为所有针对单个元素的集合命令都不需要遍历整个集合， 所以它们的复杂度 都为 O(1) 。 因此当我们需要储存多个元素时， 就可以考虑这些元素是否可以以⽆序的⽅式储存， 并且是否不会出现重复， 如 果是的话， 那么就可以使⽤集合来储存这些元素， 从⽽有效地利⽤集合操作的效率优势。 作为例⼦， 图 5-1 展示了⼀个名为 databases 的集合， 这个集合⾥⾯包含了 "Redis" 、 "MongoDB"

书栈(BookStack.CN) 构建 1.1 Alpha 1.0 Pre-GA RC4 RC3 RC2 RC1 TiDB 路线图 用户案例 北京银行 海航 今日头条 转转 Mobike 饿了么（一） 饿了么（二） 易果生鲜 同程旅游 去哪儿 G7 一面数据 凤凰网 猿辅导 Mobikok 二维火 客如云 Ping++ 乐视云 零氪科技 威锐达测控 盖娅互娱 游族网络 西山居 FUNYOURS JAPAN 万达网络 TiDB 服务 TiDB 是指 TiDB 数据库系统，本篇文档涉及到 TiDB 集群的基本管理功能。 可以通过命令行参数或者配置文件设置服务参数，或者是两者一起使用。注意命令行参数的优先级高于配置文件，如 果同一个参数两种方式都设置，会以命令行参数中的值为准。具体信息参考这篇文档。 TiDB 兼容 MySQL 的系统变量，同时定义了一些特有的系统变量用于调整数据库行为，具体信息参考 TiDB 专用系 统变量和语法 Client/Driver 的编程语言，都可以直接使用 TiDB。 是的，除了 TiKV 之外，TiDB 还支持一些流行的单机存储引擎，比如 GolevelDB、RocksDB、BoltDB 等。如 果一个存储引擎是支持事务的 KV 引擎，并且能提供一个满足 TiDB 接口要求的 Client，即可接入 TiDB。 从 TiDB 架构来讲，支持真正意义上的跨中心异地多活，从操作层面讲，依赖数据中心之间的网络延迟和稳定性，一

�→ REGIONS �→ ，一 旦需要 同样配 置的表 数量较 多，操 作复杂。 为解决 这些问 题，引 入了该 变量。你 可以在 GLOBAL 或 SESSION 级别设 置该系 统变量， 提升易 用性。 54 变量名 修改类型 描述 tidb_ �→ shard_ �→ row_id �→ _bits 新增 在 v8.4.0 之前， 要设置 新建表 默认的 行 ID 的 分片数， 需要在 ID_ �→ BITS， 一旦需 要同样 配置的 表数量 较多， 操作复 杂。为 解决这 些问题， 引入了 该变量。 你可以 在 GLOBAL 或 SESSION 级别设 置该系 统变量， 提升易 用性。 55 变量名 修改类型 描述 tidb_tso_ �→ client �→ _rpc_ �→ mode 新增 设置 TiDB 向 PD 发送 TSO RPC 请求时 使用的 模式。这 TTL_ �→ ENABLE �→ 属性 来重 新开 启各 个表 的 TTL。 300 工具 名称 最低 兼容 版本 说明 TiDB Light- ning v6.6.0 导入 后如 果表 中有 TTL 属性， 会自 动将 表的 TTL_ �→ ENABLE �→ 属性 设置 为 OFF， 关闭 TTL。 这样 可以 防止 TiDB 在导 入后 立即 删除 过期 的数 据。

�→ REGIONS �→ ，一 旦需要 同样配 置的表 数量较 多，操 作复杂。 为解决 这些问 题，引 入了该 变量。你 可以在 GLOBAL 或 SESSION 级别设 置该系 统变量， 提升易 用性。 49 变量名 修改类型 描述 tidb_ �→ shard_ �→ row_id �→ _bits 新增 在 v8.4.0 之前， 要设置 新建表 默认的 行 ID 的 分片数， 需要在 ID_ �→ BITS， 一旦需 要同样 配置的 表数量 较多， 操作复 杂。为 解决这 些问题， 引入了 该变量。 你可以 在 GLOBAL 或 SESSION 级别设 置该系 统变量， 提升易 用性。 50 变量名 修改类型 描述 tidb_tso_ �→ client �→ _rpc_ �→ mode 新增 设置 TiDB 向 PD 发送 TSO RPC 请求时 使用的 模式。这 TTL_ �→ ENABLE �→ 属性 来重 新开 启各 个表 的 TTL。 296 工具 名称 最低 兼容 版本 说明 TiDB Light- ning v6.6.0 导入 后如 果表 中有 TTL 属性， 会自 动将 表的 TTL_ �→ ENABLE �→ 属性 设置 为 OFF， 关闭 TTL。 这样 可以 防止 TiDB 在导 入后 立即 删除 过期 的数 据。

nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR nightly 备份 TiDB nightly � � �（如 果恢 复了 使用 非整 数类 型聚 簇主 键的 表到 v4.0 的 TiDB 集 群，BR 会无 任何 警告 地导 致数 据错 误） 158 恢复 版本 （横 向） 备份 版本 （纵 向） 用 nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR v5.0 备 份 TiDB v5.0 � � �（如 果恢 复了 使用 非整 数类 型聚 簇主 键的 表到 v4.0 的 TiDB 集 群，BR 会无 任何 警告 地导 致数 据错 误） 159 恢复 版本 （横 向） 备份 版本 （纵 向） 用 nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR v4.0 备 份 TiDB v4.0 � � �（如 果 TiKV >= v4.0.0- rc.1， BR 包 含 #233 Bug 修 复，且 TiKV 不 包含 #7241 Bug 修 复，那 么 BR 会导 致 TiKV 节点 重启)