ClickHouse在B站海量数据场景的落地实践
ClickHouse中采⽤分表,统⼀schema的设计 v ⽇志查询采⽤类似ES语法,降低⽤户迁移成本 用户行为数据分析 概述 v 基于ClickHouse构建B站⽤户⾏为数据分析产品:北极星 v 行为数据分析平台主要以下功能模块: 事件分析 v 海量埋点事件数据,⽇增数据千亿级。 v ⽤户⾏为事件的多维度分析场景。 v 事件包含公共属性和私有属性,均可作过滤和聚合维度。 v 不同事件有不同的私有属性字段。 v0 码力 | 26 页 | 2.15 MB | 1 年前32. 腾讯 clickhouse实践 _2019丁晓坤&熊峰
用户画像 DataMore 月光宝盒 DataMore 任务系统 iData 数据可视化 游 谱 游戏说 神秘 商店 iData 多维提取 … 游戏数据 驱动场景 潘多拉 社交与功能 用户增长 服务场景 游戏 社区 微信手Q 渠道投放 直播 电竞 … 大数据基础PaaS平台 n 标准化、海量数据接入能力 n 实时化、低延时对接数据应用 n 异构化兼容能力 大数据应用PaaS服务0 码力 | 26 页 | 3.58 MB | 1 年前38. Continue to use ClickHouse as TSDB
高性能并发读写 • 千万数据点并发实时写入 • 引入辅助索引,加快数据检索 速度 低成本存储 • 列式存储结合高效的编码 • Delta、XOR 等适合时序场景的压缩算法 • 通过 Rollup 功能,对历史数据做聚合,减少数据量 稳定可扩展 • 分布式架构 • 数据多副本存储 • 服务高可用 Thanks For You0 码力 | 42 页 | 911.10 KB | 1 年前34. ClickHouse在苏宁用户画像场景的实践
标签表达式和查询SQL对用户来说比较友好。 相对亍ElasticSearch的配置,可以节约一半硬件资源。 速度快 友好 省钱 实时 29 社区贡献 Bitmap功能 https://github.com/ClickHouse/ClickHouse/pull/4207 Add some bitmap functions by yuzhichang and0 码力 | 32 页 | 1.47 MB | 1 年前3
共 4 条
- 1