6. ClickHouse在众安的实践
data,从硬盘读取),处理速度为~24.28million rows/s • 只用到三块硬盘的io:3*140=420mb/s • 数据分布在六台服务器上 • 执行涉及到全表数据的查询(cold data,从硬盘读取),处理速度为~43.60million rows/s • 用到六块硬盘的io:6*140=840mb/s • io吞吐量加倍时,对于冷数据的处理速度是之前的~180%0 码力 | 28 页 | 4.00 MB | 1 年前32. Clickhouse玩转每天千亿数据-趣头条
早期集群机器配置16核64G 一块1.7T本地SSD 问题: 1:内存限制,对于一些大的查询会出现内存不够问题 2:存储限制,随着表越来多,磁盘报警不断 3:cpu限制 64G对于一些大表(每天600亿+)的处理,很容易报错,虽然有基于磁盘解决方案,但是会影响速度 clickhouse的数据目录还不支持多个数据盘,单块盘的大小限制太大 cpu需要根据实际情况而定 解决: 1:机器的内存推荐128G+ 2: r集群服务一套clickhouse集群 3.1:zookeeper集群的znode最好能在400w以下(这个时候snapshot文件到达2G+) 3.2:注意监控zookeeper的指标(排队请求?处理延迟?等等),排队请求太多可能会导致插入失败 我们遇到的问题 关于引擎选择 推荐Replicated*MergeTree引擎 1:安全,数据安全,业务安全 2:升级的时候可以做到业务无感知0 码力 | 14 页 | 1.10 MB | 1 年前3ClickHouse在B站海量数据场景的落地实践
Cluster-n 。。。 ClickHouse Yuuni 定制开发的 ClickHouse-JDBC 与ClickHouse兼容的 HTTP 接口 请求管理/流量控制 查询缓存 查询分发器 查询处理器 ClickHouse 监控管理平台 元数据管理 库表管理 权限管理 埋点分析 报表平台 HDFS/Hive Kafka/Databus 离线接入 (Rider/Spark/WaterDrop)0 码力 | 26 页 | 2.15 MB | 1 年前3蔡岳毅-基于ClickHouse+StarRocks构建支撑千亿级数据量的高可用查询引擎
优点: 1. 支持标准的SQL语法,兼容MySql协议; 2. MPP架构,扩缩容非常简单方便; 3. 支持高并发查询; 4. 跨机房部署,实现最低成本的DR 缺点: 1. 不支持大规模的批处理; 2. 支持insert into,但最理想的是消费Kafka; 全球敏捷运维峰会 广州站 ClickHouse/StarRocks在酒店数据智能平台的架构 全球敏捷运维峰会 广州站0 码力 | 15 页 | 1.33 MB | 1 年前32. 腾讯 clickhouse实践 _2019丁晓坤&熊峰
26 1 2000209 2 4 1 28 42 16 32 2 1 一切以用户价值为依归 如何使用ClickHouse满足特殊需求 23 业务应用实践 iData 1 Map类数据处理方式 SELECT Goals.play_times_key AS key, sum(Goals.play_times_value) AS value FROM wegame ARRAY JOIN0 码力 | 26 页 | 3.58 MB | 1 年前3
共 5 条
- 1