Hadoop的未来发展方向 Hadoop的历叱 2004 2005 2012 2007 2008 2009 2010 2011 2006 2013 2014 2015 2016 2003 Hadoop从 Nutch分离 Google GFS & MapReduce Paper HBase Hive Cloudera创立 Hortonworks创立 Hadoop 1.0发布 Hadoop 2.0 GA Spark成为顶级顷目  容器资源的劢态调整  资源隔离  调度的增强  YARN的Web页面的增强 • MapReduce YARN Timeline Service v.2 • 扩展性 分布式读写 读写分离 HBase存储 YARN Timeline Service v.2 • 可用性 流(flow) 聚合(aggregation) YARN Federation • YARN-2915

HDFS—集群压测 在企业中非常关心每天从 Java 后台拉取过来的数据，需要多久能上传到集群？消费者 关心多久能从 HDFS 上拉取需要的数据？ 为了搞清楚 HDFS 的读写性能，生产环境上非常需要对集群进行压测。 HDFS 的读写性能主要受网络和磁盘影响比较大。为了方便测试，将 hadoop102、 hadoop103、hadoop104 虚拟机网络都设置为 100mbps。 100Mbps /input 注：你所上传的文件需要大于 2M 才能看出效果。（低于 2M，只有一个数据单元和两 个校验单元） （4）查看存储路径的数据单元和校验单元，并作破坏实验 5.2 异构存储（冷热数据分离） 异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 RAM_DISK：（内存镜像文件系统） SSD：（SSD固态硬盘） DISK：（普通磁盘，在HDFS OFF （6）HDFS 集群上已经有上传的数据了 6.3 慢磁盘监控 “慢磁盘”指的时写入数据非常慢的一类磁盘。其实慢性磁盘并不少见，当机器运行时 间长了，上面跑的任务多了，磁盘的读写性能自然会退化，严重时就会出现写入数据延时的 尚硅谷大数据技术之 Hadoop（生产调优手册） ———————————————————————————————————————

tmp/uhadoop.txt?op=DELETE" 2.3 HttpFS Httpfs是cloudera提供的⼀个HDFS的http接⼝，可以通过WebHDFS REST API对HDFS进⾏读写等访问。与WebHDFS的区别是，Httpfs不需要客⼾端访问集群的每⼀个节点，只需授权 访问启动了Httpfs服务的单台机器即可（UHadoop默认在master1:14000开启Httpfs）

Microsoft Windows平台 以服务方式运行;Linux上 是kernel module • Multi-Level Cache; 不系 统内存整合一起提高性能 • 对应用透明 • 被缓存设备，可以挂载成 普通文件系统 Primary (Back-End) Storage Intel CAS L2 READ Cache (NVM Flash/SSD)