云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD com/OpenFunction/samples 图数据库简介 什么是图？ 什么是图数据库？ 为什么我们需要⼀个专⻔的数据库？ 什么是图？ "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库？ 传统数据库 图数据库 图模型的结构 图语义的查询 性能 Nebula

5 图 目 录 图 1 云原生四要素.....................................................................................10 图 2 云原生四要素的基本含义..................................................................11 图 3 云原生安全框架 ...... 13 图 4 云原生安全能力体系......................................................................... 16 图 5 云原生关键技术威胁全景..................................................................19 图 6 容器镜像安全风险. ........ 21 图 7 容器运行时安全风险......................................................................... 23 图 8 针对 k8s 进行攻击的路径分析......................................................... 27 图 9 针对微服务进行攻击的路径分析

设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12 战。 我们的经验表明，团队在构建设计系统时很少采用产品为中心的思维方式。共享组件库和文档的主要消费者是 产品开发团队。在使用产品为中心的思维方式时，设计系统所有者应该与消费者（开发团队）合作，建立共情。 我们发现，许多组件库之所以受到批评，是因为所有者团队无法快速响应消费者的需求，并且无法接受来自外 部的贡献。产品为中心的思维方式还要求组织思考是否应该允许和怎样向设计系统做出贡献，以及如何管理这

........ 37 图 目 录 图 1 全球云计算市场规模及增速（亿美元）.........................................................3 图 2 2022 年全球各区域云计算市场规模占比.........................................................4 图 3 2022 年全球主要厂商的云计算业务营收（亿美元） ...................5 图 4 中国云计算市场规模及增速（亿元）...........................................................13 图 5 中国云计算细分领域市场规模及增速（亿元）...........................................14 图 6 2022 年中国公有云 IaaS 厂商市场占比 厂商市场占比..........................................................15 图 7 应用现代化架构图...........................................................................................16 表 目 录 表 1 2022-2023 年中国部分省市云计算相关政策

，难免出现理解偏差甚 至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021 年 10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 transformer、speechbrain 深度学习 图 1.1 人工智能、机器学习、神经网络和深度学习 1.1.2 机器学习 机器学习可以分为有监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)和强化学习(Reinforcement Learning，简称 RL)，如图 1.2 所示。 机器学习 有监督学习 无监督学习 强化学习 图 1.2 机器学习的分类 输出逻辑 特征提取网络 (浅层) 输出子网络 底层特征提取 网络 中层特征提取 网络 高层特征提取 网络 输出子网络 基于规则的系统 传统机器学习 浅层神经网络 深度学习 图 1.3 深度学习与其它算法比较 1.2 神经网络发展简史 本书将神经网络的发展历程大致分为浅层神经网络阶段和深度学习两个阶段，以 2006 年为大致分割点。2006 年以前，深度学习

前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . 要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法； （4） 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满足一些条件：（1）是最新的；（2）涵盖了现代机器学习的 所有领 另一个是更实际的示例，我们使用深度学习框架的高级API编写简洁的代码。一旦我们教了您一些组件是如 何工作的，我们就可以在随后的教程中使用高级API了。 内容和结构 全书大致可分为三个部分，在 图1 中用不同的颜色呈现： 目录 3 图1: 全书结构 • 第一部分包括基础知识和预备知识。1节 提供深度学习的入门课程。然后在 2节 中，我们将快速介绍实 践深度学习所需的前提条件，例如如何存储和处理数据，以及如何应用基于线性代数、微积分和概率基

完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并 且需要的训练时间明显更少。 ✓ Transformer出现以后，迅速取代了RNN系列变种，跻身主流模型架构基 础。（RNN缺陷正在于流水线式的顺序计算） 图：Transformer模型架构 33 首先通过词嵌入(Word Embedding)将字、词、 句进行区分，然后基于特征评分、序列标注、 分类模型等提取内容特征计算相关文本单元权 重其次洗择相应的文本单元子集组成摘要候洗 任务）、双向Transformer+Mask的自编码系列（例如BERT， 偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成） 图：Transformer典型技术场景下的原理介绍如下所述 Transformer 34 GPT-1：借助预训练，进行无监督训练和有监督微调 ◼ GPT-1模型基于Transformer解除了顺 模型的生成性预训练，然后对每个特定任务 进行区分性微调，可以实现这些任务上的巨大收益。和之前方法不同，GPT在微调期间使用任务感知输入转换，以实现有效的传输， 同时对模型架构的更改最小。 图：GPT-1模型的核心手段是预训练（Pre-training） 无监督预训练 （Unsupervised pre-training） 不需要标注数据集，即大规 模自学阶段，在保证AI算力 充足的条件下，根据

装程序会识别并使用现有组件，而不是运行命令来 再次创建它们，因为程序满足依赖项。 图 图 1.1. OpenShift Container Platform 安装目 安装目标 标和依 和依赖项 赖项 第 第 1 章 章 OPENSHIFT CONTAINER PLATFORM 安装概述 安装概述 7 图 图 1.1. OpenShift Container Platform 安装目 安装目标 机器。然后，control plane 机器创建计算（compute）机器。下图说明了这一过程： 图 图 1.2. 创 创建 建 bootstrap、 、control plane 和 和计 计算机器 算机器 第 第 1 章 章 OPENSHIFT CONTAINER PLATFORM 安装概述 安装概述 11 图 图 1.2. 创 创建 建 bootstrap、 、control plane 和 和计 unable to retrieve source image。当镜像索引包括对镜像 registry 中不再存在的镜像的引用时，会 发生此错误。镜像索引可能会保留旧的引用，以便为运行这些镜像的用户在升级图 表中显示新的升级路径。作为临时解决方案，您可以使用 --skip-missing 选项绕 过错误并继续下载镜像索引。如需更多信息，请参阅 Service Mesh Operator 镜像 失败。 oc

装程序会识别并使用现有组件，而不是运行命令来 再次创建它们，因为程序满足依赖项。 图 图 1.1. OpenShift Container Platform 安装目 安装目标 标和依 和依赖项 赖项 第 第 1 章 章 OPENSHIFT CONTAINER PLATFORM 安装概述 安装概述 7 图 图 1.1. OpenShift Container Platform 安装目 安装目标 机器。然后，control plane 机器创建计算（compute）机器。下图说明了这一过程： 图 图 1.2. 创 创建 建 bootstrap、 、control plane 和 和计 计算机器 算机器 第 第 1 章 章 OPENSHIFT CONTAINER PLATFORM 安装概述 安装概述 11 图 图 1.2. 创 创建 建 bootstrap、 、control plane 和 和计 unable to retrieve source image。当镜像索引包括对镜像 registry 中不再存在的镜像的引用时，会 发生此错误。镜像索引可能会保留旧的引用，以便为运行这些镜像的用户在升级图 表中显示新的升级路径。作为临时解决方案，您可以使用 --skip-missing 选项绕 过错误并继续下载镜像索引。如需更多信息，请参阅 Service Mesh Operator 镜像 失败。 oc

4、numpy中没有x.type()的用法，只能使用 type(x)。 1、产生的数组类型为torch.Tensor； 2 、会将tensor放入GPU中进行加速运算（ 如果有GPU）； 3 、 导 入 方 式 为 import torch ， 后 续 通 过 torch.tensor([1,2])或torch.Tensor([1,2])建立数组； 4、Tensor中查看数组类型既可以使用type(x)，也可以使 PyTorch 1.x的自动微分机制 构 建 计 算 图 创 建 设 置 张 量 (tensor) 设 置 t e n s o r的 requires_ g r a d 的 属 性 为 True 定 义 函 数 ( L) 使 用 函 数 的 求 导 方 法 （L. b a c kwa rd( ) ） 对 标 量 求 导 对 非 标 量 求 导 直 接 使 用 L.backward()函 （） 使 用 t e n s o r.grad.zero_() 清 除 张 量 梯 度 如 果 要 保 留 计 算 图 ， 可 通 过 设 置 b a c kw a r d（ ） 中 参 数 retain_graph=True 释 放 计 算 图 具体实例可参考书中2.7小节内容 2. Autograd自动求导 18 18  PyTorch 1.x的Tensor不参与求导的几种方式