Hadoop 迁移到阿里云 MaxCompute 技术方案 （V2.8.5） 编写人：MaxCompute 产品团队 日 期：2019.05 Alibaba Cloud MaxCompute 解决方案 2 目录 1 概要 .................................. ............. 11 3 MaxCompute 迁移场景分析 ................................................................................................................. 15 3.1 迁移基于 Hadoop 的数据湖/数据仓库业务负载 .......... .......... 15 3.2 不同的网络环境及部署形态迁移 ................................................................................................... 17 4 Hadoop 到 MaxCompute 迁移工具介绍 .............................

Service Mesh Meetup #4 上海站 蚂蚁金服Service Mesh 渐进式迁移方案 2018.11.25 敖小剑 @ 蚂蚁金服 中间件 龙轼 @UC 基础研发部1 Service Mesh演进路线 1 2 实现平滑迁移的关键 3 DNS寻址方案的演进 4 5 总结 DNS寻址方案的后续规划ü 对未来长期目标的认可 • Service Mesh（带控制平面，如Istio） 还有很多应用没有实现微服务化 • 还有很多应用没有运行在kubernetes之上 • Istio目前还不够稳定，也无法原生支持我们的规模 • 现有系统中的众多应用不可能一夜之间全部迁移 ü 最重要的：平滑迁移 • 微服务 + Service Mesh + Kubernetes 是目标 • 但是如何从现有体系向目标迈进，必须给出可行的实践指导 ü Roadmap • 预计2019年初 ）非常自然 • 容易落地 • 快速达成短期目标 ü 缺点是再往后走 • 由于没有k8s的底层支持，就不得不做大量工作 • 尤其istio的非k8s支持，工作量很大 • 而这些投入，在最终迁移到k8s时，又被废弃 ü 结论： • 不符合蚂蚁的远期规划（k8s是我们的既定目标） • 会造成投资浪费（k8s铺开在即） 演进路线2分析 部署在 非k8s上 Service Mesh (Sidecar模式)

1 2023年04月 深度学习-人脸识别和风格迁移 黄海广 副教授 2 01 人脸识别概述 02 神经风格迁移 本章目录 3 01 人脸识别概述 1.人脸识别概述 02 神经风格迁移 4 1.人脸识别概述 人脸验证（face verification） 人脸识别（face recognition） • 有一个K个人的人脸数据库 • 获取输入图像 人脸识别概述 2.神经风格迁移 02 神经风格迁移 20 2.神经风格迁移 21 2.神经风格迁移 22 2.神经风格迁移 深度学习=表示学习+浅层学习 23 多层卷积能抽取复杂特征 浅层学到的特征为简单的边缘、角 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等 24 2.神经风格迁移 ?(?) = ??content( ，而你的目标是生成一个新图片? 25 2.神经风格迁移 • 随机初始化生成图像?，如100×100×3，500×500×3，又或者是任何你想要的尺寸。 • 然后使用代价函数?(?)，使用梯度下降的方法将其最小化，更新?: = ? − ? ?? ?(?)。在 这个步骤中，你实际上更新的是图像?的像素值，也就是100×100×3，比如RGB通 道的图片。 26 2.神经风格迁移 内容代价函数（Content

创建并使用引导源 11.7. 管理自动引导源更新 第 第 12 章 章 实时 实时迁移 迁移 12.1. 虚拟机实时迁移 12.2. 实时迁移限制和超时 12.3. 迁移虚拟机实例到另一节点 12.4. 在专用额外网络中迁移虚拟机 12.5. 取消虚拟机实例的实时迁移 12.6. 配置虚拟机驱除策略 12.7. 配置实时迁移策略 第 第 13 章 章 节 节点 点维护 维护 13.1. 关于节点维护 Windows 虚拟机 (VM) 在集群中运行 pod 和虚拟机工作负载 通过各种控制台和 CLI 工具连接至虚拟机 导入和克隆现有虚拟机 管理虚拟机上附加的网络接口控制器和存储磁盘 在节点间实时迁移虚拟机 增强版 web 控制台提供了一个图形化的门户界面 来管理虚拟化资源以及 OpenShift Container Platform 集群容器和基础架构。 OpenShift Virtualization accessMode: ReadWriteMany 和 volumeMode: Block。这一点非常重要： 第 第 1 章 章 关于 关于 OPENSHIFT VIRTUALIZATION 5 实时迁移需要 ReadWriteMany (RWX) 访问模式。 与 Filesystem 卷模式相比，Block 卷模式性能有显著提高。这是因为 Filesystem 卷模式使用更 多存储层，包括文件系

CONTAINER STORAGE INTERFACE (CSI) 5.1. 配置 CSI 卷 5.2. CSI INLINE 临时卷 5.3. CSI 卷快照 5.4. CSI 卷克隆 5.5. CSI 自动迁移 5.6. AWS ELASTIC BLOCK STORE CSI DRIVER OPERATOR 5.7. AZURE DISK CSI DRIVER OPERATOR 5.8. GCP PD 在以后的 OpenShift Container Platform 版本中，计划使用现有树内插件置备的卷迁移到 对应的 CSI 驱动程序。CSI 自动迁移应该可以无缝进行。迁移不会改变您使用所有现有 API 对象的方式，如持久性卷、持久性卷声明和存储类。有关迁移的更多信息，请参阅 CSI 自动迁移。 完全迁移后，未来的 OpenShift Container Platform 版本将最终删除树内插件。 Container Platform，可以从 AWS EBS in-tree 自动迁移到 Container Storage Interface（CSI）驱动程序作为技术预览（TP）功能。启用迁移后，使用现有 in-tree 驱动程序置备的卷 会自动迁移到使用 AWS EBS CSI 驱动程序。如需更多信息，请参阅 CSI 自动迁移功能。 4.1.1. 创建 EBS 存储类 存储类用于区分和划分存储级

将虚拟机模板部署到自定义命名空间 9.5. 删除虚拟机模板 第 第 10 章 章 实时 实时迁移 迁移 10.1. 虚拟机实时迁移 10.2. 实时迁移限制和超时 10.3. 迁移虚拟机实例到另一节点 10.4. 在专用额外网络中迁移虚拟机 10.5. 监控虚拟机实例的实时迁移 10.6. 取消虚拟机实例的实时迁移 10.7. 配置虚拟机驱除策略 第 第 11 章 章 节 节点 点维护 维护 中，以启用虚拟化任务。这些任务包括： 创建和管理 Linux 和 Windows 虚拟机 通过各种控制台和 CLI 工具连接至虚拟机 导入和克隆现有虚拟机 管理虚拟机上附加的网络接口控制器和存储磁盘 在节点间实时迁移虚拟机 增强版 web 控制台提供了一个图形化的门户界面 来管理虚拟化资源以及 OpenShift Container Platform 集群容器和基础架构。 OpenShift Virtualization OpenShift Virtualization 环境，以探索其特性和功能。 注意 注意 集群配置过程需要 cluster-admin 权限。 2.1. 开始前 查看安装要求。 查看克隆、快照和实时迁移所需的存储功能。详情请参阅使用启用了 CSI 的存储供应商。 安装 OpenShift Virtualization Operator。 安装 virtctl 工具。 2.2. 开始使用 创

OVN-KUBERNETES 故障排除 27.4. 使用 OVNKUBE-TRACE 追踪 OPENFLOW 27.5. 从 OPENSHIFT SDN 网络插件迁移 27.6. 回滚到 OPENSHIFT SDN 网络供应商 27.7. 从 KURYR 网络插件迁移到 OVN-KUBERNETES 网络插件 27.8. 转换为 IPV4/IPV6 双栈网络 27.9. 出口防火墙和网络策略规则的日志记录 27 27.21. 跟踪网络流 27.22. 配置混合联网 第 第 28 章 章 OPENSHIFT SDN 网 网络 络插件 插件 28.1. 关于 OPENSHIFT SDN 网络插件 28.2. 迁移到 OPENSHIFT SDN 网络插件 247 247 247 267 267 281 286 286 287 288 291 291 297 300 306 319 324 329 地址。Pod 及其容器可以网络，但集群外的客 户端无法访问网络。当您将应用公开给外部流量时，为每个容器集指定自己的 IP 地址意味着 pod 在端口 分配、网络、命名、服务发现、负载平衡、应用配置和迁移方面可被视为物理主机或虚拟机。 注意 一些云平台提供侦听 169.254.169.254 IP 地址的元数据 API，它是 IPv4 169.254.0.0/16 CIDR 块中的 连接内部 IP

技术将虚拟机实时迁移到 VMware Distributed Resource Scheduler (DRS) 群集中的其他 主机，从而自动实现负载平衡。 为何文件系统非常重要 虚拟机完全封装在虚拟磁盘文件中，这些文件既可以存储在 VMware ESX 主机本地，也可以使用共享 的 SAN、NAS 或 iSCSI 存储设备集中管理。共享存储的好处之一在于，它允许在主机池之间方便地 迁移虚拟机，而且 re vStorage VMFS 文 件系统能够支持此功能。VMware vStorage VMFS 允许多个主机共享对虚拟机的虚拟磁盘文件的访 问，以便使用 VMware vMotion 进行实时迁移，并同时管理分布式访问下的快速重启，以防止可能 出现的中断。在客户需要直接访问特定于其存储阵列的功能的情况下，对这些虚拟机可以使用裸设备 映射 (RDM) 代替 VMware vStorage VMFS。 整的虚拟化解决方案。企业需要一个整体“共享 IT 服务平台”来运行其应用程序。此平台必须具有 内置的聚合、迁移、分配、电源管理和可用性服务。只有 VMware Infrastructure 3 能提供共享 IT 服 务平台的所有这些内置服务。其他产品都不完整，不足以提供整个平台。 如图 1 所示，VMware Infrastructure 3 提供了聚合、迁移、分配、电源管理和可用性服务，这些服 务对在虚拟数据中心运行业务应用程序非常关键。

CSI INLINE 临时卷 5.3. 共享资源 CSI DRIVER OPERATOR 5.4. CSI 卷快照 5.5. CSI 卷克隆 5.6. 管理默认存储类 5.7. CSI 自动迁移 5.8. 在非正常节点关闭后分离 CSI 卷 5.9. ALICLOUD DISK CSI DRIVER OPERATOR 5.10. AWS ELASTIC BLOCK STORE CSI DRIVER Container Platform，可以从 AWS EBS in-tree 自动迁移到 Container Storage Interface（CSI）驱动程序作为技术预览（TP）功能。启用迁移后，使用现有 in-tree 驱动程序置备的卷 会自动迁移到使用 AWS EBS CSI 驱动程序。如需更多信息，请参阅 CSI 自动迁移功能。 4.1.1. 创建 EBS 存储类 存储类用于区分和划分存储级 在以后的 OpenShift Container Platform 版本中，计划使用现有树内插件置备的卷迁移到 对应的 CSI 驱动程序。CSI 自动迁移应该可以无缝进行。迁移不会改变您使用所有现有 API 对象的方式，如持久性卷、持久性卷声明和存储类。有关迁移的更多信息，请参阅 CSI 自动迁移。 完全迁移后，未来的 OpenShift Container Platform 版本将最终删除树内插件。