HBase基本介绍
0 码力 | 33 页 | 4.86 MB | 1 年前文档介绍了HBase的基本概念和架构,包括其数据模型、存储机制以及系统组成。HBase是一种分布式、面向列的非关系数据库,支持大规模数据的随机实时读写。其数据模型包括表、行、列三层结构,Row Key类似于关系数据库的主键,但需用户自定义。ColumnFamily用于分类管理列, 每个列名由列族名和列限定名组成。HBase支持多版本数据存储,版本由时间戳标记。系统架构包括HMaster、RegionServer、Zookeeper和Hadoop节点,数据存储在HDFS上。HBase最佳实践及优化
0 码力 | 45 页 | 4.33 MB | 1 年前文档详细探讨了HBase的最佳实践及优化策略,涵盖硬件配置、性能调优、表结构设计、客户端优化及适用场景等方面。内容包括Region Server的配置、Compaction对性能的影响、RowKey的设计、Block Cache和Memstore的优化。HBase适用于高并发、高性能读写场景,支持基于固定条件的查询,如使用批量处理接口、异步调用和数据预取等方法提升性能,同时强调其在分布式存储和强一致性方面的优势。HBase Read Path
0 码力 | 38 页 | 970.76 KB | 1 年前文档详细阐述了HBase Read Path的客户端和服务器端优化措施,重点包括内存缓存管理、BucketCache的使用、StoreFileScanner的优化、Rpc Handler的数据处理方式以及DirectByteBuffer的应用,以减少内存占用和GC时间。服务器端优化包括数据大小控制、超时设置、批处理策略、块大小优化等,以提升查询效率和资源保护。文档还提到了通过禁用内核空间缓存、使用短路读取等方式提升性能,并通过控制块大小、GC优化等措施降低延迟和OOM风险。HBase Practice At Xiaomi
0 码力 | 45 页 | 1.32 MB | 1 年前文档主要介绍了小米在HBase实践中的两大核心内容:异步HBase客户端的实现与性能提升,以及G1GC的调优。通过对异步客户端的性能测试,证明了其延迟至少与阻塞客户端相同,展示了其优势。同时,文档详细探讨了G1GC与CMS的对比、G1GC的调优策略,并分享了在小米HBase集群中的应用实践。HBASE-21879 Read HFile ’s Block into ByteBuffer directly.
0 码力 | 18 页 | 1.14 MB | 1 年前文档讨论了HBASE-21879的改进措施,该措施通过将HFile的块直接读取到ByteBuffer中,以减少Java垃圾回收对RPC延迟的影响。在写入路径中,数据包从客户端接收后分配到offheap内存,直到成功写入WAL日志和Memstore。在读取路径中,优先从BucketCache读取,缓存未命中时读取HFile块。性能测试显示,HBASE-21879减少了GC压力,但在某些情况下可能对吞吐量产生更大影响。通过调整配置参数如hbase.bucketcache.size和hbase.server.allocator.buffer.size,可以优化offheap内存管理,减少堆分配,提升性能。HBase Practice At XiaoMi
0 码力 | 56 页 | 350.38 KB | 1 年前文档介绍了小米在实践中使用HBase时遇到的问题及其解决方案。主要问题包括:1. 如何满足定期扫描表的需求而不影响其他请求,特别是在数据分析需要通过MapReduce或Spark扫描大量数据时;2. 如何防止用户操作不当导致的数据污染或丢失;3. 集群重启时卡在日志分割阶段,尤其是当每个RegionServer处理1000多个区域时。解决方案包括日志分割性能优化、数据校验、权限管理等。
共 6 条
- 1
关键词