微信 SQLite 数据库 损坏恢复实践 johnwhe (何俊伟) ◊ 问题背景 ◊ 常规做法 ◊ 数据备份 ◊ Repair Kit ◊ 组合方案 SQLite 恢复 ◊ 微信聊天记录只存客户端 ◊ SQLCipher 加密数据库 问题背景 ◊ SQLite 概率性损坏 ◊ 1/20,000 ~ 1/10,000 ◊ 256MB ~1%，1GB ~1‰ ◊ 设备断电、kernel

上海电信微信营业厅 TiDB 实践 业务 痛点 选择 测试 上线 特性 业务介绍 ● 运营活动 ● 套餐查询 ● 业务办理 ● 话费充值 ● 账单缴费 当前粉丝：400万+ 月活跃人数：110万+ 7*24小时的服务 业务痛点 DBA 分表 分库 运维 中间件 稳定性 ... 选择 MyCat TIDB Mysql 分片 ... 选型测试 Mysql 主从分表：活动 延迟 Mycat

Kubernetes で TiDB を運用する際のポイント Affinity や tidb-scheduler で賢く Pod をスケジューリングしよう? Advanced StatefulSet を使ってより柔軟に StatefulSet を管理しよう TidbClusterAutoScaler で Autoscaling も忘れずに！ 3つ Open Source Conference 2022 Online/Spring

PostgreSQL和Greenplum 数据库故障排查 赵振平 zzp@taryartar.com 北京太阳塔信息科技有限责任公司 2018年PostgreSQL中国技术大会 自我介绍 微信号：laohouzi999 2018年PostgreSQL中国技术大会 • 赵振平，太阳塔技术总监 • 电子工业出版社签约作家 • 腾讯最具价值专家（TVP） • 计算机畅销书作家 • 贵州省省管专家 出版了技术专著《IT架构实录》 微信号：laohouzi999 2018年PostgreSQL中国技术大会 微信号：laohouzi999 2018年PostgreSQL中国技术大会 PG故障排查 微信号：laohouzi999 2018年PostgreSQL中国技术大会 微信号：laohouzi999 1.安装时候的问题排查 2018年PostgreSQL中国技术大会 微信号：laohouzi999 0123456 iptables off 2)临时目录/tmp（安装日志） 3)服务器日志（PostgreSQL server error log） 2018年PostgreSQL中国技术大会 微信号：laohouzi999 服务器日志（PostgreSQL server error log） -bash-4.1$ locate pg_ctl /usr/pgsql-10/bin/pg_ctl

记录作业异常日志，但不中断作业执行 是 是 抛出异常策略 抛出系统异常并中断作业执行 是 忽略异常策略 忽略系统异常且不中断作业执行 是 邮件通知策略 发送邮件消息通知，但不中断作业执行 是 企业微信通知策 略 发送企业微信消息通知，但不中断作业 执行 是 钉钉通知策略 发送钉钉消息通知，但不中断作业执行 是 记录日志策略 public class JobDemo { public static xx"); } private static CoordinatorRegistryCenter createRegistryCenter() { // 配置注册中心 ... } } 企业微信通知策略 请参考 这里 了解更多。 Maven POM: org.apache.shardingsphere.elasticjob execute(); } private static JobConfiguration createScheduleJobConfiguration() { // 创建定时作业配置， 并且使用企业微信通知策略 JobConfiguration jobConfig = JobConfiguration.newBuilder("myScheduleJob", 3).cron("0/5 * * *

器， 它经常被⽤作数据 库、缓存以及消息代理等⽤途。 Redis 因为它丰富的数据结构、极快的速度、⻬全的功能⽽为⼈所知， 它是⽬前内存数据库⽅⾯的事实标准， 在 互联⽹上有⾮常⼴泛的应⽤， 包括微博、Twitter、GitHub、Stack Overflow、知乎等国内外公司都⼤量地使⽤了 Redis 。 Redis 之所以⼴受开发者欢迎， 跟它⾃身拥有强⼤的功能以及简洁的设计不⽆关系。 虽然 并记录⽤户在⽹站上的链接点击⾏为， ⼤部分社交⽹站都会将⽤户输⼊的⽹址转 换为相应的短⽹址。 ⽐如说， 如果我们在新浪微博发⾔时输⼊⽹址 http://redisdoc.com/geo/index.html ， 那 么微博将把这个⽹址转换为相应的短⽹址 http://t.cn/RqRRZ8n ， 当⽤户访问这个短⽹址时， 微博在后台就会 对这次点击进⾏⼀些数据统计， 然后再引导⽤户的浏览器跳转到 http://redisdoc 创建短⽹址本质上就是要创建出短⽹址 ID 与⽬标⽹址之间的映射， 并在⽤户访问短⽹址时， 根据短⽹址的 ID 从 映 射 记 录 中 找 出 与 之 相 对 应 的 ⽬ 标 ⽹ 址 。 ⽐ 如 在 前 ⾯ 的 例 ⼦ 中 ， 微 博 的 短 ⽹ 址 程 序 就 将 短 ⽹ 址 http://t.cn/RqRRZ8n 中的 ID 值 RqRRZ8n 映射到了 http://redisdoc.com/geo/index.html

在数据应用交互层面，由于时效性的要求，数据最终的展现查询还是需要通过DBMS（MySQL） 、MOLAP（Kylin）引擎来进行支撑。如下图所示： 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 汇总数据的交互 业务团队日常经营分析最典型的场景就是各种维度下的自定义查询，面对如此灵活可变、所见即 不同业务线需求差异大，指标需要良好扩展性。 由于业务上的复杂性，实时流计算中，需要考虑诸多业务口径的对齐，业务ER模型在合流处理中 开发成本较高，资源占用较大，通过设计基于Doris的准实时生产数仓，可以灵活地实现业务微批 处理，且开发生产成本都比较低。以下为基于Doris的准实时数仓架构设计，是典型的实时Lambd a生产架构： 实现准实时计算方案，需要以下能力的支撑： 实时的写入能力：目前支持Kafka To 活支撑应用。 高效的OLAP交互 ：支撑业务的灵活查询访问，业务层通过视图进行逻辑封装直接复用汇总层多维模型，提高了开 发效率，减少了运维成本。 相比Storm、Flink中的窗口计算，准实时DB微批的优势： Doris引擎在美团的重要改进 Join 谓词下推的传递性优化 如上图所示，对于下面的 SQL： select * from t1 join t2 on t1.id = t2.id

l 平台在ClickHouse上的使用 16 业务应用实践 iData 2 腾讯游戏 数据化驱动服务 场景视图： TGlog 服务端采集 腾讯游戏 服务器 腾讯游戏 移动客户端 微信 小游戏 WEB 游戏 海外 游戏 TDM-SDK 客户端采集 特性 采集 大数据基础 PaaS平台 游戏 营销活动 Dbbinlog 数据库采集 Game DB 数 据 管 DataMore 任务系统 iData 数据可视化 游 谱 游戏说 神秘 商店 iData 多维提取 … 游戏数据 驱动场景 潘多拉 社交与功能 用户增长 服务场景 游戏 社区 微信手Q 渠道投放 直播 电竞 … 大数据基础PaaS平台 n 标准化、海量数据接入能力 n 实时化、低延时对接数据应用 n 异构化兼容能力 大数据应用PaaS服务 游戏数据驱动场景 n

专注于数据库技术领域 • 自2003年始从事数据库实时复制技术的解决方案 • 2013年至2015年在SAP 担任大数据和BI解决方案 资深技术顾问 • 2015年加入HVR中国公司担任技术总监 • 微信号: gu9060 个人介绍 3 HVR moves high volumes of data to and from a variety and sources and targets for rel • https://www.hvr-software.com.cn/docs/platform- compatibility-matrix • User Guide/Help 其它 • 微信公众号（HVRSoftware) • Demo Vedio： https://pan.baidu.com/s/1gv8sO3y5p2GD13ZeYx_ntw 提取码：jrnb 31

通过mydumper备份20G以下的实例或备份指定表。 备份策略： 1.每日自动化备份。 2.DBA临时手工备份。 过载保护 alert Kill SQL 触发条件 DB 记录到DB 微信告警 微信告警 API HTTP POST 目的: • 当系统数据库较高时确保大多数请求能够够正常访问。 触发条件: • 依赖监控告警系统,thread_running > 30(可自定义) kill哪些语句: