TiDB在易易果集团的应⽤用 .罗瑞星 2018 / 05 / 26 ⾃自我介绍 罗瑞星 ⼤大数据⾼高级⼯工程师@51job ⼤大数据架构师@易易果集团 负责易易果集团⼤大数据⽅方向架构设计，优化；数据⼯工具及产品的开发 • 背景介绍. • TiDB的应⽤用 • 未来规划 1 2 3 ⽬目录 CONTENTS 易易果集团介绍 易易果⽣生鲜电商易易果创⽴立于2005年年， 易易果集团由易易果⽣生鲜成⽴立，未来将

庄少/ngot 从⼑耕⽕种，铁犁⽜耕，迈向机械化⽣ 产 Egg.js 在阿⾥巴巴集团的的实践运⽤ 关于我 ▸ 庄少/ngot ▸ Egg.js 核⼼心开发者；fibjs 核⼼心开发者； ▸ Follow me at : ngot ngot Ngot_ftd ⼑耕⽕种 裸⽤社区框架 ✤ 裸⽤ koa, express 等 ✤ 各团队独⾃野蛮发展，开发规范混乱 基于上层框架开发的应⽤用 社区⽣生态 团队架构师 ⼀一线开发者 Node.js Plugin 插件⽣生态 适合特定团队业务场景的上层框架 Framework 蚂蚁 Chair UC Nut 集团 Begg … Specification ⼀一套规范和约定 Tool ⼯工具链 与社区联动 �� ���� ���� ����� ���� ���� � � hengfei

58集团技术专场 技术架构快速规划与落地 沈剑 58集团技术专场 关于 我 � “架构师之路”作者 � 高级工程师 � 技术委员会主席、高级架构师、技术学院优秀讲师 � 技术委员会主席、技术总监 � 本质：程序员 58集团技术专场 目录-技术架构体系建设 问题 实践 总结 1. 服务化 2. 监控平台 3. 调用链跟踪 4. 服务治理 58集团技术专场 一、初创公司技术架构体系建设 一、初创公司技术架构体系建设 常见问题 58集团技术专场 初创公司技术体系常见问题 体系割裂 系统耦合 DB耦合 出问题不知道 查问题麻烦 定位问题周期长 一团麻 没人 58集团技术专场 二、 技术体系快速规划与 落地实践 58集团技术专场 1. 服务化-服务化之前高可用架构 � 服务化前系统架构 （1）端 （2）反向代理 （3）应用 （4）数据 58集团技术专场 1. 服务化-问题：代码拷贝 服务化-问题：代码拷贝 58集团技术专场 1. 服务化-问题：复杂性扩散 58集团技术专场 1. 服务化-问题：库耦合 58集团技术专场 1. 服务化-问题：DB耦合 58集团技术专场 1. 服务化-问题：SQL质量无保障 58集团技术专场 1. 服务化-解决方案：服务化 58集团技术专场 1. 服务化-58到家最佳实践 � 统一服务框架（D-SF） � 统一数据访问层（D-Dao）

多名员工 下属公司 14 年+ 14 上市 千+ 大 家 用优质的产品和服务 推动企业管理和社会进步 产品服务 l 集团资源管理 l 资产全寿命周期管理 l 集团风险管控 l 企业大数据及商业智能 l 企业云服务 l 智能机器人应用 l 集团IT治理 l …… l 能源产业链 l 区域能源管理 l 能源大数据 l 购售电平台 l …… l 智慧组织 l 智慧城市 面向 集团企业 面向 能源行业 面向 社会治理 公司主要客户 海尔集团 东风汽车 中信重工 首创经中 河南省人民医院 宏发股份 国家电网 国家电投集团 华能集团 大唐集团 华电集团 电建集团 能建集团 华润电力 中广核 内蒙古电力 浙能集团 陕能集团 中石油 中石化 中冶集团 酒钢集团 中国商飞 厦门航空 南京地铁 中煤集团 许继集团 中盐公司 中盐公司 中农发集团 深粮集团 首都图书馆 奇瑞汽车 双汇集团 完达山 珠江投资 国网英大集团 珠海市政府 九三学社 珠海特区报 三峡电能 秦山核电 香港医思医疗 国家能源集团 安徽皖能 南方电网 金川集团 金晶集团 中航集团 比亚迪股份 互联数据资源、为组织数字资产管理运营、数据探索、分析赋能！ 数据汇聚 专业的数据资源管理 自助分析 价值挖掘

2021 网易数帆 领先的数字化转型技术与服务提供商 网易数帆是网易集团旗下 TO B 企业服务品牌，定位于领先的数字化转型 技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相 应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能 算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助 客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一 域，在技术先进性、性能优越性、产品成熟度及安全可靠性等方面得到了 各行业客户的验证。目前已服务各领域头部客户百余家，包括工商银行、 浙商银行、银监会、人保金服、深圳证券交易所、华泰证券、名创优品、 古茗、百胜集团、温氏集团、万向集团、大华股份、宁波钢铁、一汽解放、 吉利汽车、壳牌、南方电网、中国移动、中国联通、中国电信、德邦快递 等诸多大中型客户。 以“开放、开源、跨云”为技术理念，网易数帆大力推动技术研究，先后取 发布轻舟微服务、“瀚海”私有云及国内首款云计算全栈一体机。 2017 加入云原生计算基金会（CNCF）。 2016 网易云战略发布，推出面向互联网的场景化云服务。 2012 网易杭州研究院启动私有云研发，支撑网易集团互联网产品全面上云。 2006 网易成立杭州研究院，构建互联网技术体系。 1997 网易早期云存储产品诞生，支撑网易邮箱运行。 数帆阶段 网易云阶段 前身阶段 数帆历程 04

。 痛点 • 集团正在数字化转型，100+并行项目，80+数字化产品，API 大幅增加， 相互调用频繁，急需效率管理工具作为数字化转型支撑； • 原使用 Swagger 和 Postman，功能易用性差，海外产品学习成本高，不 利于新同事快速上手。 新希望集团有限公司 2021 年 09 月开始使用 新希望集团有限公司创立于1982 年，在三十余年的发展中，集团基于自身资 源和 推行落地：选取典型团队试点运行，分析效率提升效果，逐步落地到全部 团队。 痛点 • 集团组织架构复杂，每个部门各自使用不同的接口调试工具，数据不互 通； • 项目接口文档分散，研发人员需要做对接的时候只能复制黏贴，效率低； • 数据越积越多，文档没有统一出口，无法规范管理。 领创集团 2022 年 06 月开始使用 领创集团 (Advance Intelligence Group) 成立于 2016

OpenPie Confidential 客 户 案 例 ： 某 ⼤ 型 汽 车 集 团 全 面 升 级 ⼤ 数 据 平 台 ⾄ 云 原 ⽣ π D a t a C S 项目背景： 该企业依托于集团内部需求，建设了⼀个云平台，提供基础设施服务。随着⼦公司接⼊的数量越来越多，数据量也急剧增长， 原本采用的Hadoop平台⽆法满⾜业务的分析需求，主要存在以下问题： Ø 数据同步和采集周期较长，实时性很差 Hadoop集群运维成本较⾼，技术响应慢 解决⽅案： 采用PieCloudDB作为核⼼数字底座，完成原来CDH（Hadoop）平台的替换，构建了制造业⾏业云的数据中台服务，既面向集团内 部服务，同时也面向⾏业的公司提供服务。在集团内部主要提供营销数据、用户数据、经营数据以及车联⽹数据等数据的分析和应 用。具体如下： Ø 替换了Hive数仓，采用PieCloudDB云原⽣虚拟数仓作为数仓服务，整体数 应用开发不用再基于SPL查询语法，改用通用型的SQL语法即可，⼤⼤缩短了应用开发和迭代周期； Ø 具备流批⼀体化能⼒，兼容Spark和Flink等应用程序，替换了部分Spark应用（SparkSQL）； Ø 与集团内部的云平台进⾏了统⼀集成，通过API接⼝实现了系统对接，统⼀进⾏租户和资源的管理，支持资源管控和 隔离、数据透明加密以及租户密钥隔离等； Ø 引⼊PieCloudDB虚拟数仓技术，可以让技术栈

基金信托(11) 天弘基金、嘉实基金、华夏基金、建信基金、博时基金、易方达基金、 富国基金、中欧基金、海富通、对外贸易信托、中粮信托 汽车(8) 一汽集团、华晨宝马、一汽大众、大众逸驾智能、吉利汽车、上汽乘用 车、东风本田、宇通客车 制造(24) 山东万华、联想集团、京东方、特变电工、新疆中泰、三一重工、树根 互联、海康威视、旺旺、大华、中控技术、长鑫存储、中国中冶、扬子 江药业、泰格医药、中国烟草、OPPO、立白、美的、无限极、深圳联 中航结算、中远海运、兰州朗青、苏州公交集团、远成物流、西安铁路 局、亿通国际、江苏省交通厅、浦东机场、南京地铁、广州交通信息、 厦门航空 能源资源(15) 中石油规划设计院、斯伦贝谢、北控水务、金风科技、冀北电力、正泰 集团、南瑞集团、淮南矿业、湖南电力、浙江电力、国家徐闻电力、上 海电厂、国家电网、芜湖华衍水务、中石化南工程 房地产酒店(7) 龙湖地产、中国金茂、融创中国、旭辉地产、锦江集团、越秀地产、龙 遥感中心、中电二十八所、中科边缘智慧 政府医院(8) 河北省气象局、国家卫健委科研所、远盟康健、湖北环境检测、张家港 卫健委、奉贤区人民政府、南京市公安局高淳分局、江苏省银保监局、 零售(3) 百盛集团、复兴云济、复兴地产 互联网及游戏 (3) 中手游、米哈游、汇通达 图 6: 部分云管客户案例 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 15 二、主要功能 2

以上。 企业级数据解决方案专家 为建行、工行、交行、招行、上交所、深交所、中国人寿等 70+ 银行证券保险 企业、公安部、上海市公安局、武汉市公安局等 100+ 公安机构，国家电网、 国信通产业集团等电力能源行业提供数据智能产品解决方案及长期服务。 海致专注为政府、金融、能源等客户提供大数据处理、分析、挖掘服务，在互 联网技术基础上，打造专业、易用的企业级大数据实战应用产品及解决方案。 北京中关村总部 一 定国际影响的优秀成果， AtlasGraph 的获奖证明了其技术领先性、创新性、 重要性，在自主可控浪潮下，实现了对国外产品的有效替代，防止高新技术领 域“卡脖子”现象的发生。 海致科技集团、海致星图联合清华大学研发的“ AtlasGraph 大规模图数据分析平 台”荣获中国计算机学会（ CCF ： China Computer Federation ）“ 2021 年 CCF 科 规模图数据分析平台 AtlasGraph 。 5 获得 2022 年中国电子学会科学技术奖科技进步一等奖 中国电子学会发布的《 2022 中国电子学会科学技术奖公告》，海 致星图与北京邮电大学、蚂蚁科技集团有限公司、中移动信息技术 有限公司联合研发的“大规模复杂异质图数据智能分析技术与规模化 应用”项目，斩获“科学技术奖科技进步一等奖”，这也是国内电子信 息领域的最高奖项。 该奖项由数十名院士

TOC 成员 - 李响 服务注册、发现与配置管理是构成大型分布式系统的基石。Nacos 是集成了这三种能力的现代化、 开源开放的代表系统。本书系统化的介绍了 Nacos 诞生的历史背景以及其在阿里集团内部孕育的过 程，阐述了打造⼀款实用、易用系统的全过程。另外，本书也从设计、架构方面详细介绍了 Nacos 的实现，分享了 Nacos 在业内的最佳实践和用户案例。相信对分布式系统和其实现有兴趣的 Fabio 做负载均衡。 Nacos 架构 < 70 图 6 客户端侧负载均衡 在阿里巴巴集团内部，却是使用的相反的思路。服务消费者往往并不关心所访问的服务提供者的负 载均衡，它们只关心以最高效和正确的访问服务提供者的服务。而服务提供者，则非常关注自身被 访问的流量的调配，这其中的第⼀个原因是，阿里巴巴集团内部服务访问流量巨大，稍有不慎就会 导致流量异常压垮服务提供者的服务。因此服务提供者需要能够完全掌控服务的流量调配，并可以 集群的规模，3、5 个节点是不能应对大规模的服务订阅和查 询的。 在对容量的评估时，不仅要针对企业现有的服务规模进行评估，也要对未来 3 到 5 年的扩展规模 进行预测。阿里巴巴的中间件在内部支撑着集团百万级别服务实例，在容量上遇到的挑战可以说不 会小于任何互联网公司。这个容量不仅仅意味着整体注册的实例数，也同时包含单个服务的实例数、 整体的订阅者的数目以及查询的 QPS 等。Nacos 在内部淘汰