ClickHouse in Production
(Memcached) › Message Broker (Kafka, Amazon SQS) › Coordination system (Zookeeper, etcd) › MapReduce (Hadoop, Spark) › Network File System (S3, HDFS) https://github.com/donnemartin/system-design-primer 6 / (Memcached) › Message Broker (Kafka, Amazon SQS) › Coordination system (Zookeeper, etcd) › MapReduce (Hadoop, Spark) › Network File System (S3, HDFS) › Key-Value Storage (Redis, Aerospike) › Relational DBMS (Memcached) › Message Broker (Kafka, Amazon SQS) › Coordination system (Zookeeper, etcd) › MapReduce (Hadoop, Spark) › Network File System (S3, HDFS) › Key-Value Storage (Redis, Aerospike) › Relational DBMS0 码力 | 100 页 | 6.86 MB | 1 年前36. ClickHouse在众安的实践
什么是最佳决策? 分析性数据仓库 数据洞察与可视化 数据治理 预测分析与机器学习 CHAPTER 众安集智平台与clickhouse 02 集智平台 X-Brain AI 开放平台 计算框架 Hadoop, JStorm, Spark Streaming, Flink 离线/实时任务监控 数据、模型存储 Hive, HBase, Clickhouse, Kylin 数据接入 消 息 中 间 ck-loader-mr方式对大数据量场景支持不够友好 • 单次插入分区过多 解决方法: 使用clickhouse原生insert format csv 配合linux pipline导入 hadoop fs -cat 'hdfs://hadoop-namenode:port/user/hive/user/2013/000000_0' | clickhouse-client --host=127.0.0.1 -- port=100000 码力 | 28 页 | 4.00 MB | 1 年前32. 腾讯 clickhouse实践 _2019丁晓坤&熊峰
Engine & Database 大数据仓库 Hadoop Data Lake 计算引擎 MR & Spark Data Warehouse OLTP Big Data Analysis 数据报表 多 维 聚 合 iData大数据分析引擎 TGMars TGSpark & Storage 大数据仓库 Hadoop Data Lake 计算引擎 MR & Spark0 码力 | 26 页 | 3.58 MB | 1 年前3
共 3 条
- 1