ClickHouse在B站海量数据场景的落地实践
目录 vClickHouse在B站 v内核 v日志 v用户行为数据分析 vFuture Work vQ&A ClickHouse在B站 B站ClickHouse应用概况 v 近400个节点,30个集群 v ⽇均1.5+万亿条数据摄⼊ v ⽇均800+万次Select请求 v 应⽤场景包括(不限于): Ø ⽇志&Trace分析 Ø ⽤户⾏为分析(包括事件分析,漏⽃分析,路径分析等)0 码力 | 26 页 | 2.15 MB | 1 年前3蔡岳毅-基于ClickHouse+StarRocks构建支撑千亿级数据量的高可用查询引擎
StarRocks应用小结 • 发挥分布式的优势,要提前做好分区字段规划; • 支持各种join,语法会相对clickhouse简单很多; • 一个sql可以多处用; • 建立好守护进程以及节点监控; 全球敏捷运维峰会 广州站 THANK YOU!0 码力 | 15 页 | 1.33 MB | 1 年前32. Clickhouse玩转每天千亿数据-趣头条
read only mode”,插入失败 分析: clickhouse对zookeeper的依赖还是很重的,有大量的数据需要写到zookeeper上面,数据Part都在 zookeeper上面有个节点与之对应以及表的元数据信息等等. 解决: 1:zookeeper机器的snapshot文件和log文件最好分盘存储(推荐SSD)提高ZK的响应 2:zookeeper的snapshot文件存储盘不低于1T0 码力 | 14 页 | 1.10 MB | 1 年前32. 腾讯 clickhouse实践 _2019丁晓坤&熊峰
一切以用户价值为依归 6 部署与监控管理 1 线性平滑扩容: 扩容: 1.安装新部署新的shard分片机器 2.新shard上创建表结构 3.批量修改当前集群的配置文件增加新的分片 4.名字服务添加节点 一切以用户价值为依归 7 部署与监控管理 1 大批量,少批次 WriteModel BatchSize RowLengt h QPM IOUtils Partitions FailedInserts0 码力 | 26 页 | 3.58 MB | 1 年前34. ClickHouse在苏宁用户画像场景的实践
ES的DSL诧法对用户丌太友好,用户学习成 本高。 Kafka Flink 18 ClickHouse替换ES存储标签数据 ClickHouse Manager负责ClickHouse集群管理、元数据管理以及节点负载协调 tag-generate负责标签数据构建,保存到HDFS(MySQL中存储标签配置信息) tag-loader向ClickHouse发送从HDFS导入标签数据的sql 0 码力 | 32 页 | 1.47 MB | 1 年前3
共 5 条
- 1