基于Go的⼤大数据平台 七⽜牛云—党合萱 什什么是Pandora 简单 · 可信赖 Pandora架构图 Export Service API / Portal / 消息 消息 计算 计算 消息 导出任务 导出任务 导出任务 导出任务 导出任务 计算 消息 对象存储服务 HTTP MongoDB 时序数据库 ⽇日志检索服务 XSpark Report Studio 简单 · 可信赖 内容提要 • 系统设计分析与架构 • 多种上下游适配 • ⾼高吞吐/低延迟问题探究 • ⾼高可⽤用与⽔水平扩展 • ⾃自动化运维 • Go的应⽤用 简单 · 可信赖 系统设计分析与架构 构建系统的挑战 export service系统全貌 简单 · 可信赖 数据预取 • export server在向下游推数据的时候预先从上游拉数据回来，保证⽹网络最⼤大的利利⽤用率，同时也减⼩小了了等待时间，提升导出效率。 • 预取时如果⽆无数据可取，则休眠1s再取数据，既然没有数据则休眠时间加倍……⼀一直到32s为⽌止，过程中如果取到数据，则休眠时间重置为 1s，有效减少对底层存储的请求数量量。 简单 · 可信赖 数据推送协议优化 • 优化export

Go在数据库中间件的应用 基础架构组/刘延允 liuyun827@foxmail.com 2017年9月 1 关于我 • 刘延允——酷狗音乐，基础架构组 • 数据库变更通知服务 • 酷狗消息队列 • 酷狗数据库中间件 • 主要工作：分布式存储、高可用、数据库 • 两年通信设备开发经验，四年互联网 • 五年C/C++使用经验，一年Golang 2 CONTENTS • 程序开发的需求 • 强大的标准库、丰富的第三方库、go test、pprof • 自动内存管理；内存泄漏与野指针是C/C++语言开发者的噩梦 • Go routine + channel；简单的并发与简易的数据同步 5 系统整体方案 mysql-group proxy proxy mysqld(M) mysqld(S) mysqld(S) mysql-group mysql-group mysql-group 主备自动切换(主-主模式)。 • 分表设计——按照Hash分表 • 分表设计——按照范围分表(年、月、日、整形) • 数据库表在多个mysql实例间平滑扩容 • 大表拆分为多个子表情况下的平滑扩容 7 系统整体方案 • 现存问题 • 数据库访问基本采用直连方式 • 无法满足数据访问平台化要求 • 配置管理方式落后，运维压力大 • 为什么采用Go来实现 • go诸多优点，可用性高 •

如何消除程序中的数据竞争 周光远 华为 从一些问题说起 1 2 3 什么是数据竞争 Go语言中的数据竞争（data race）： data race occurs when two goroutines access the same variable concurrently and at least one of the accesses is a write. 数据竞争（data 且至少其中一次访问是写操作。 data Thread1 Thread2 data goroutine1 goroutine2 从微观看数据竞争 时间上：多个并发的读写操作被观察到的顺序无法预知。 空间上：并发读写时观察到非预期的数据。 a:1 b:2 a:2 b:1 a:1 b:2 a:2 b:1 a:1 b:1 a:2 b:2 Thread 1 Thread 2 接收完成（同一个数据）; • 对于无缓冲channel：开始接收 → 发送完成（同一个数据）; 开始发送 接收完成 其他的对于init函数，锁，协程，原子操作，sync包里的功能，还有许多保证，更详细可以看： https://golang.org/ref/mem https://go101.org/article/memory-model.html 消除数据竞争的原理 消除数据竞争，实质就

GPT 与数据库的生态整合 王琦智 PingCAP TiDB 开发者生态高级工程师 目 录 自然语言到 SQL 01 自然语言到图表 02 GPTs 调用数据库 API 03 总结 04 自然语言到SQL OSS Insight 自然语言到图表 Thoughts to insights made easy(with AI) GPTs 调用数据库 API Thank You

每秒百万数据点 Go 应用监控系统演进 张平 AfterShip 高级 SRE 关于 AfterShip 拥抱云原生和开源系统 目 录 监控架构概览 01 如何监控 Go 应用？ 02 Metrics 系统架构演进 03 Why VictoriaMetrics so good？ 04 总结与展望 05 监控架构概览 第一部分 监控系统架构概览 -- 数据源 监控系统架构概览 2K+ 40K 1Mil+ 2020 年指标数据 业务指标数量 每秒写入数据点 Active Time Series 2018-2020 年架构 2020 年底面临的问题 ● 无法查询超过 30 天的数据 ● 查询慢，平均时间超过 2 分钟 ● 跨集群指标无法聚合 ● Prometheus 集群经常崩溃 ● 维护时 Prometheus 会丢数据 ● 成本高，需要大容量 SSD 磁盘 S3 2022 年中指标数据 14K+ 0.6Mil 30Mil+ 业务指标数量 每秒写入数据点 Active Time Series Thanos 架构优化 Querier Query-Frontend Store Gateway S3 Store Gateway Store Gateway Redis 2022 年底面临的问题 ● 超 100+ 倍数据点增长导致查询缓慢 ●

Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL Processing) ● 24/7 availability, even in case of datacenter outages ● Open source, of course 如何构建分布式数据库？ 原则 ● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV Metadata / Timestamp request Stateless SQL Layer Distributed Storage Layer gRPC gRPC gRPC 数据分片 ● Hash Based Partition ○ Redis ○ 不利于范围 Scan ● Range Based Partition ○ Hbase ○ Range 需要足够大且足够小

• 按需对服务进⾏治理 • 稳定性更容易保障 微服务的缺点 • 增加了系统复杂度 • 数据拆分复杂度 • 难调试、难测试 • 跨服务修改麻烦 • 部署复杂 到底怎么选？ • ⾸先看业务 • 其次看团队 • 从简单⼊⼿ • 预留可能性 单体也有讲究 • 数据梳理清楚很重要 • 快速开发 • 快速交付 • 善⽤⼯具，降低出错 • 不增加成本并为业务发展留下扩展空间 • 建微服务迁移核⼼团队，经验、执⾏⼒、⾃驱⼒ 现状分析 • ⼀团乱麻型 • 数据清晰型 • 分布式单体型 改造策略 • 初期挑选精兵，后期可成为⼦项⽬核⼼⼈员 • 由外向内，由边缘到核⼼ • 数据拆分、迁移和验证，可回滚 • fork请求，proxy验证 • 定期复盘过程，总结可复制套路 • 汇报成果，让领导看到收益 数据拆分 • 数据不能乱，规则先确定 数据不能乱，规则先确定 • 定义数据边界，避免数据冗余 • 数据库互相隔离，避免故障传递 • No join, no pain! ⽤户 商品 订单 物流 接⼝聚类收敛 • 按功能聚类接⼝ • 避免微服务过微 • 避免调⽤链路过深 正确性验证 • 循序渐进可回滚 • fork请求，验证返回 • 灰度逐步迁移 • 监控有⽆漏⽹请求 • 保留回滚可能性 数据迁移 CI/CD

ShareSave 商品服务 内容平台 商品详情 商品收藏 产品站 营销管理 优惠券/码管理 营销活动管理 商品管理 活动中心 抢购/秒杀 直播/抽奖 竞价/拼团 活动模版 数据服务 推荐服务 搜索服务 流量平台 其他服务 评论服务 积分服务 站内信 礼品卡服务 内容发布服务 SEO 站点管理 EDM/ Push Mobile POCO Android 新增M站，核心服务抽离到Core 架构演变 04. 为什么用GO？ 架构演变 05. 混合模式 新增GO商城服务，迁移下单流程中的订单结算、收银台等功能 PC和M站相关功能，请求下发到GO商城服务，页面仍通过PHP服务端渲染 架构演变 06. 前后端分离 核心流程全部迁移到GO商城服务，包括购物车、订单、商品和地址等 页面渲染逻辑全部由前端处理，实现前后端分离 架构演变 07. 02. 秒杀 三次限流 原子计数限流：每秒只通过部分请求进行限流 队列限流：业务系统请求入队列的限流 每秒放号限流：放号系统每秒的放号限流 场景落地 02. 秒杀 原子计数限流，数据入Channel 请求入队列限流 每秒放号限流 场景落地 02. 秒杀 uid 一致性ha sh 放号系统机器的hostn a m e h2 m queue_ hd get_ {{m id

交付标准化 - 可观察性 特点： 敏捷的⽬标是提升研发效能 需要⼀个 DevOps 平台来⽀撑敏捷开发的落地 这⾥需要有⼀个标准的交付平台 运⾏环境 业务 数据 业务系统 C 业务 数据 业务系统 A 业务 数据 业务系统 B 资源管理在统⼀平台 应⽤运⾏在统⼀平台 构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 第⼆部分 端点 PaaS 发展历程 有状态服务 Job / JobFlow 批计算 流计算 ⽆状态服务 DaemonSet Workloads 多集群调度 混合云调度 跨云迁移 多环境调度 业务数据统⼀调度 集群核⼼服务 Helm 镜像服务 Add-on filebeat / telegraf 监控 ⽇志 HPA Operator 注册中⼼ 配置中⼼ API ⽹关 微服务管理 资源管理 标签管理 系统监控 集群管理 服务⽬录 埋点 数据库 ⽇志 画像 标签 报表 推荐 … 代码管理 持续集成 编排部署 应⽤运维 测试管理 协同管理 数据源管理 数据集成 数据开发 数据资产 数据服务 数据应⽤ 资源统计 运维报告 审计⽇志 K8S 管理 数据监控 多云管理平台 MySQL Redis Kafka ES MQ Minio

Reserved 预警接⼝口: Redis 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved Dispatch: 数据、状态同步 Dispatch etcd Bid Server Bid Server . . Bid Server Bid Server 队列 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 重度使⽤用Redis • 存放的数据包括 • CookieMapping • 曝光频次 • DMP⼈人群数据 • 实时费⽤用消耗 • 其他 Redis集群 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Reserved • 最终在Client端实现 • ⼀一致性hash: github.com/stathat/consistent • 预先开启⾜足够多的Redis实例，预防增加节点带来的数据 迁移⿇麻烦 Redis集群 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved 专业DSP解决⽅方案 ©