.................................. 7 3 格式化并启动集群 ................................................................................................ 7 3.1 格式化 NAMENODE ................................ 2.2.7 配置 slaves $ vim slaves 内容如下： Kylin 3 格式化并启动集群 3.1 格式化 namenode $ cd /usr/local/hadoop-2.7.7/ $ bin/hdfs namenode -format 3.2 启动 namenode 和

3/etc 2）启动集群 （1）如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式 化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找 不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停 止 namenode 和 datanode 进程，并且要删除所有机器的 hadoop000 等特殊名称 8）DataNode 和 NameNode 进程同时只能工作一个。 NameNode DataNode1 DataNode2 DataNode3 4）解决办法：在格式化之前，先删除 DataNode里面的信息（默认在/tmp，如果配 置了该目录，那就去你配置的目录下删除数 据） 新NameNode DataNode和NameNode进程同时只能有一个工作问题分析 1）NameNode在format初始化后 会生成clusterId（集群id） 2）DataNode在启 动后也会生成和 NameNode一样的 clusterId（集群id） 3）再次格式化NameNode，生成新的clusterid， 与未删除DataNode的clusterid不一致 9）执行命令不生效，粘贴 Word 中命令时，遇到-和长–没区分开。导致命令失效 解决办法：尽量不要粘贴

用户可将数据加载到数据库，或者通过外部表使用 Oracle SQL 在 Hadoop 中就地查询数据。Oracle SQL Connector for HDFS 能够查询 或者加载数据到文本文件或者基于文本文件的 Hive 表中。分区也可 以在从 Hive 分区表中查询或加载时被删减。 另一种 Oracle 解决方案 Oracle Loader for Hadoop 是一种高性能 且高效率的连接器，用于从 SQL 加载到数据库中 自动负载均衡，从而最大限度地提高 性能 外部表 使用外部表机制 并行访问或加载 到数据库中 ORACLE 客户端 图 1-8 日志文件 更多… 文本 压缩文件 序列文件 并行负载，针对 Hadoop 做优化 自动负载均衡 在 Hadoop 上转换成 Oracle 格式 ——节省数据库的 CPU 加载特定的 Hive 分区 Kerberos

[atguigu@hadoop103 hadoop-3.1.3]$ rm -rf data/ logs/ [atguigu@hadoop104 hadoop-3.1.3]$ rm -rf data/ logs/ （3）格式化集群并启动。 [atguigu@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode -format [atguigu@hadoop102 hadoop-3.1

图3 至 图 5 实现的解决方案使用以下代码。所有的代码均在 Oracle Database 11g 和 5 个节点 的 Hadoop 集群上进行过测试。与大多数白皮书一样，请将这些脚本复制到文本编辑器中并 确保格式正确。 处理数据的表函数 该脚本中包含某些设置组件。例如，脚本开始的部分创建了图 3 中第 1 步所展示的仲裁表。 本例中使用的是一直广受欢迎的 OE 模式。