Hadoop 迁移到阿里云MaxCompute 技术方案
编写人:MaxCompute 产品团队 日 期:2019.05 Alibaba Cloud MaxCompute 解决方案 2 目录 1 概要 .......................................................................................... metastore 服务,抓取用户的 Hive metadata 并在指定目录 生成一个目录,包含搬站所需的 metadata。用户可自行修改该目录下的文件来自定义搬站工 具的一些行为。 6.2.2 MaxCompute DDL 与 Hive UDTF 生成 利用第一步抓取到的 metadata,生成另一个目录,包含用于创 MaxCompute 表和分区的所 有 DDL 语句,还包含用于数据迁移的 0、Python3 以上版本。 2. 解压工具包:odps-data-carrier.zip,工具目录结构如下: Alibaba Cloud MaxCompute 解决方案 23 其中,bin 目录下是迁移工具所需的可执行文件,libs 目录下是工具所依赖的库,res 目录下是 工具所需的其他依赖,如 odpscmd 等。 3. 获取 Hive metadata0 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
chunk的关系如下图:NAMESERVER Namespace的文件的目录层次关系如右图。 文件的元数据以KV的方式存储。 • Key:ParentID + “/”+ BaseName; • Value:自身的文件ID。 这种方式可以很好地平衡几个需求: • 文件列目录:列出目录下的所有文件和目 录 • 文件查找:查找一个具体的文件 • 目录重命名:对一个目录/文件进行重命名 当前元数据信息编码之后存储在 etcd0 码力 | 23 页 | 1.74 MB | 5 月前3
共 2 条
- 1