HBase最佳实践及优化
市, 互为主备 • 存储使用2台DS8300,RAID5方式,有效容量54TB – 数据量大,增长迅速,但数据库的扩容工程施工风险 高 • 数据风险高 – 灾难恢复依赖磁带,业务中断时间长 • 效率低 – 关系数据库处理困难,查询慢(超过15秒) – 关系数据库入库慢,常有清单文件积压,不能实时入 库,从而不能实时查询 Postgres Conference China 2016 majorcompaction = 604800000 (缺省 值为一周) – hbase.hregion.majorcompaction.jitter = 0.5 (缺省值 为半周) • 执行过程非常长,且非常耗资源 – 无法控制只在合适的时间执行 • 建议在生产环境禁用计划Major Compaction, 通过命令行手工触发或自己进行物理数据删除 Postgres Conference China 中国用户大会 Compaction • 检测:通过HBase管理页面查看CompactionQueue长度以及 Region中StoreFile的个数,如果CompactionQueue队列长度过 长(如>10)或增长过快,则需要考虑调整Compaction参数 – 注意查看Region以及StoreFile的大小,确认是否因为太多过小文 件的原因导致文件数目多。如是,需要检查内存使用及设置 •0 码力 | 45 页 | 4.33 MB | 1 年前3
共 1 条
- 1