math >>> print int(20*math.log(3)) 21 >>> quit() 1.3 开启回收站配置 开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、 备份等作用。 1）回收站工作机制 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— input' to trash at: hdfs://hadoop102:9820/user/atguigu/.Trash/Current/user/atguigu /input 8）恢复回收站数据 [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /user/atguigu/.Trash/Current/user/atguigu/input hadoop-3.1.3]$ ulimit -a max locked memory (kbytes, -l) 64 第 6 章 HDFS—故障排除 注意：采用三台服务器即可，恢复到 Yarn 开始的服务器快照。 尚硅谷大数据技术之 Hadoop（生产调优手册） ———————————————————————————————————————

RDD 中演变过来的。相比其它系统的细颗粒度的内存数据更新级别的 备份或者 LOG 机制，RDD 的 Lineage 记录的是粗颗粒度的特定数据转换（Transformation） 操作（filter, map, join etc.)行为。当这个 RDD 的部分分区数据丢失时，它可以通过 Lineage 获取足够的信息来重新运算和恢复丢失的数据分区。这种粗颗粒的数据模型，限制了 Spark 的运

的DataNode等。 2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。 3）Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。 1.5.2 YARN 架构概述 Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。 scp -r atguigu@hadoop102:/opt/module/* atguigu@hadoop104:/opt/module 2）rsync 远程同步工具 rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更 新。scp 是把所有文件都复制过去。

Namenode  Datanode内部balance工具  云计算平台的支持 • YARN • MapReduce HDFS纠错码(Erasure Coding) • 一个简单的例子 1备份: 1,0 需要额外的2位 XOR编码: 1,0 需要额外的1位 HDFS纠错码(Erasure Coding) • Reed-Solomon (RS) 编码 数据可靠性和存储效率 • 数据可靠性：可以最多几个节点故障

数据可以跨越数千台服务器，而每台服务器上均包含一部分基础数 据。这就是容错功能发挥作用的地方。现实情况是，这么多服务器 总会遇到一台或者多台无法正常工作的风险。HDFS 具备检测故障 和快速执行自动恢复的功能。 HDFS 的设计针对批处理做了优化，它提供高吞吐量的数据访 问，而非低延迟的数据访问。运行在 HDFS 上的应用程序有着大型 数据集。在 HDFS 中一个典型的文件大小可以达到数百

到同一 Hadoop节点。 MapReduce V1是一个并行处理框架，并非用于高性能处理 大型ETL工作负载。默认情况下，可在映射之间重新划分或重新 并置数据，并减少处理阶段的时间。为加快恢复操作，可以先将 数据保存到运行映射操作的节点，再进行随机选择和发送以减 少操作。 MapReduce包含多种设施，可将较小的引用数据结构迁 移至各映射节点，以便执行某些验证和增强操作。因此，会将