Spark 简介以及与 Hadoop 的对比
据丢失)问 题时采用的方案。为了保证 RDD 中数据的鲁棒性,RDD 数据集通过所谓的血统关系(Lineage) 记住了它是如何从其它 RDD 中演变过来的。相比其它系统的细颗粒度的内存数据更新级别的 备份或者 LOG 机制,RDD 的 Lineage 记录的是粗颗粒度的特定数据转换(Transformation) 操作(filter, map, join etc.)行为。当这个 RDD 的部分分区数据丢失时,它可以通过0 码力 | 3 页 | 172.14 KB | 1 年前3大数据时代的Intel之Hadoop
大数据时代的Intel • Intel的角色 • Intel Hadoop商业发行版 • 对象存储技术 Intel的角色 • 面向大数据应用,在计算、存储和网络方面提供更快更为 高效的架构级别的优化方案 • 持续投入大数据应用开发,促迚软件系统和服务的丌断优 化和创新 • 推迚终端设备和传感器的智能化,构建亏联、可管理的和 安全的分布式架构 软硬结合0 码力 | 36 页 | 2.50 MB | 1 年前3Hadoop 迁移到阿里云MaxCompute 技术方案
产品组件 特性介绍 数据存储 MaxCompute 表 (基于盘古分布式存储) MaxCompute 支持大规模计算存储,适用于 TB 以上规 模的存储及计算需求,最大可达 EB 级别。同一个 MaxCompute 项目支持企业从创业团队发展到独角兽的 数据规模需求; 数据分布式存储,多副本冗余,数据存储对外仅开放表的 操作接口,不提供文件系统访问接口 自研数据存储结构,表数据列式存储,默认高度压缩,后0 码力 | 59 页 | 4.33 MB | 1 年前3
共 3 条
- 1