HBase最佳实践及优化
服务器采用P595的两个分区(48CPU),部署不同的地市, 互为主备 • 存储使用2台DS8300,RAID5方式,有效容量54TB – 数据量大,增长迅速,但数据库的扩容工程施工风险 高 • 数据风险高 – 灾难恢复依赖磁带,业务中断时间长 • 效率低 – 关系数据库处理困难,查询慢(超过15秒) – 关系数据库入库慢,常有清单文件积压,不能实时入 库,从而不能实时查询 Postgres Conference NameNode/JobTracker IBM 3650 PC,双路六核,Intel X5650处理器, 2.66GHz主频,48GB内存,6*1TB SATA硬盘 1台 NameNode/JobTracker HA备份 节点 IBM 3650 PC,双路六核,Intel X5650处理器, 2.66GHz主频,48GB内存,6*1TB SATA硬盘 1台 Secondary NameNode IBM 36500 码力 | 45 页 | 4.33 MB | 1 年前3HBase基本介绍
Memstore • 写操作⽇日志: WAL • 数据⽂文件: HFile 系统组成 RegionServer 深⼊入RegionServer内部. 有两个Cache和两种⽂文件 • 先写WAL做故障恢复⽤用 • 写到Memstore中 • ⾜足够⼤大时flush到HFile • Compaction (Minor/Major) 系统组成 RegionServer写操作 ⼀一个Region多个CF就多个Memstore0 码力 | 33 页 | 4.86 MB | 1 年前3
共 2 条
- 1