HBase最佳实践及优化
http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 个上百节点Hadoop大数据集群。 – 曾在Intel编译器部门从事服务器中间件软件开发,擅长服务器软件调 试与优化,与团队一起开发出世界上性能领先的XSLT 语言处理器 – 2010 年后开始Hadoop 产品开发及方案顾问,先后负责Hadoop 产品 化、HBase 性能调优,以及行业解决方案顾问 HBase版本 2008年成为 Apache Hadoop 的一个子项目 3 HBase是Google BigTable的开源实现 • BigTable利用GFS作为其文件存储系统 • HBase使用HDFS作为其文件存储系统 Postgres Conference China 2016 中国用户大会 4 HBase的模型特性 Hadoop database and NoSQL database 非常高的数据读写速度,为写特别优化 – 高效的随机读取 – 对于数据的某一个子集能够进行有效地扫描 • 具有容错特性,能够将数据持久化的非易失性 存储中 – 使用HDFS做底层存储,可利用Hadoop的压缩 Codec等减少空间占用 • 自动水平扩展 – 只需要加入新的结点即可提高存储容量和吞吐量 – 服务器能够被动态加入或者删除(用以维护和升级) – 服务器自动调整负载平衡 5 Postgres0 码力 | 45 页 | 4.33 MB | 1 年前3HBASE-21879 Read HFile ’s Block into ByteBuffer directly.
SingleByteBuff, it has only one NIO ByteBuffer, and the hadoop-common support the NIO ByteBuffer checksum validation now, so can just call the hadoop’s interface; 2. For MultiByteBuff, it has multiple copying (see HBASE-21917), while if it’s a SingleByteBuff, we can speed the checksum by calling the hadoop' checksum in native lib, it's more faster. Please also see: HBASE-22483 #3 If disabled block0 码力 | 18 页 | 1.14 MB | 1 年前3HBase基本介绍
上次分位点估算当时没解决的两个问题已更更新ppt. 今天讲的内容⽐比较基础, ⽽而且偏理理论, 因为我个⼈人也没有太多实际使⽤用经验, 纸上谈兵. Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Use Apache HBase™ when you need random, realtime non-relational database modeled after Google's Bigtable … 先来⼀一段HBase官⽹网的⾃自我介绍. blabla翻译⼀一下 重点看其中的红字, 什什么hadoop数据库, 分布式的, 可伸缩的, 随机实时读写 ⼗十亿级⾏行行, 百万级列列 每次看⼀一个项⽬目介绍完⾃自⼰己, 还是不不知道他是⼲干嘛的, 希望今天我介绍完, ⼤大家能知道他是⼲干嘛的0 码力 | 33 页 | 4.86 MB | 1 年前3
共 3 条
- 1