云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD com/OpenFunction/samples 图数据库简介 什么是图？ 什么是图数据库？ 为什么我们需要⼀个专⻔的数据库？ 什么是图？ "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库？ 传统数据库 图数据库 图模型的结构 图语义的查询 性能 Nebula

5 图 目 录 图 1 云原生四要素.....................................................................................10 图 2 云原生四要素的基本含义..................................................................11 图 3 云原生安全框架 ...... 13 图 4 云原生安全能力体系......................................................................... 16 图 5 云原生关键技术威胁全景..................................................................19 图 6 容器镜像安全风险. ........ 21 图 7 容器运行时安全风险......................................................................... 23 图 8 针对 k8s 进行攻击的路径分析......................................................... 27 图 9 针对微服务进行攻击的路径分析

看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ① Trace与「非Request scope」的Metrics 例如：响应Request A的实例在一段时间内做了多少次GC？ ① 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ② 应用、系统、网络的Metrics之间 例如：某个Service的 处理请求时，在标准协议的Header中增加标签 • 逐步减少需要直接在观测数据中注入的标签 • 减少重复的、不标准的标准注入 • 让每个标签只在一个地方注入 • 让尽量多的标签自动化注入 100+维度的云原生服务访问全景图：MTL关联、切分、下钻 THE FORCE，原力 看云网更清晰 Simplify the growing complexity. AutoTagging & MultistageCodec 让观测更自动，让开发者更自由！ 控制器 10W采集器 20+云平台 采集器 1% CPU 1% 带宽开销 原 始 数 据 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 kafka simplify the growing complexity © 2022, YUNSHAN Networks

监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发，首先需要有提示应用出问题的手段 • 当提示出现问题后，就需要有定位问题位置的手段，进 一步要有能够指出问题根因、甚至提前就预警的手段。 拓扑流量图：是不是按预期运行 分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警： 主动告诉我 问题发生了！ 微服务部署后就像个黑盒子，如何发现问题并在 远端运维是主要的课题，那么就需要从宏观告知 研发人员，并且提供日志、跟踪、问题根因分析 第五感-2 可观察性是云原生特别关注的运维支撑能力，因为它的主动性，正符合云原生对碎片变化的稳定性保障的思想 数据的全面采集 数据的关联分析 统一监控视图与展现 Metric 是指在多个连 续的时间周期 内用于度量的 KPI数值 Tracing 通过TraceId来 标识记录并还 原发生一次分 布式调用的完 整过程和细节 Logging 通过日志记录 执行过程、代 码调试、错误 异常微观信息

Actions CMDBs IPs Dockers HostGroup CgroupQuota Cgroup CpuLimit Nice值调整 Kill机制 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表， 并向Master发起Agent注册逻辑，获取agent id 配置获取 从Consul中获取当前agent的配置组列表，并 Filebeat性能分析 依赖白金版monitor机制 不依赖es版本、结合cpu/mem限额配置与实时 指标采集分析 Filebeat性能调优 需要修改配置文件不断尝试 界面提交核心参数并结合延时图对比分析 Filebeat性能管控 日志量太大Cpu飙升影响业务 精准控制资源消耗防止异常减少抖动 Es写入性能调优 修改配置文件不断观察数据情况 基于ES压测报告给出专家级es参数优化建议 参数优化体验

采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 simplify the growing complexity © 2021, YUNSHAN 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 原力 “不可变基础设施” 服务 simplify the growing complexity

度标签玩不转，每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系庞大，组件众多，涉及underlay、overlay两层网络，容器内容器外两个namespace，搞懂需要花些时间 •Kubernetes的监控，缺少体系化的文档指导，关键指标是哪些？最佳实践是什么？不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高， 监控难度加大 从 Kubernetes 架构来 看要监控的组件 raf/blo b/main/k8s/daemonset.yaml Kubernetes Node - 容器负载监控 关键指标 CPU使用率，分子是每秒内容器用了多少CPU 时间，分母是每秒内被限制使用多少CPU时间 sum( irate(container_cpu_usage_seconds_total[3m]) ) by (pod,id,namespace,container,ident,image) container_memory_usage_bytes / container_spec_memory_limit_bytes and container_spec_memory_limit_bytes != 0 CPU被限制的时间比例 increase(container_cpu_cfs_throttled_periods_tota l[1m]) / increase(container_cpu_cfs_periods_total[1m])

应⽤模型定义的UI化 04. 2B交付版本的DevOps 应⽤模型定义的UI化 04. 2B交付版本的DevOps 2B交付版本的DevOps 第四部分 2B交付版本的DevOps全景图 04. 2B交付版本的DevOps 应⽤研发阶段 应⽤测试阶段 应⽤交付阶段 源码持续集成 业务组件组装 应⽤组件库 运维能⼒组装 （1）组件库获取通⽤能⼒ 多业务系统 隔离开发

安全测试，给出漏洞的实际触发路径并提供实际可落地的修复建议。根据需求阶段提出的安全设计方案，配置IAST中的自定义规 则，基于IAST的扫描结果可以实现安全需求设计的闭环管理，大幅减少安全漏洞，有效降低风险暴露时间。 程 序 源 码 程 序 目 标 码 （ 插 桩 后 ） 平 台 机 器 码 应 用 系 统 I A S T 插 桩 A g e n t 展 示 漏 洞 结 果 编 译 解 释 运 能力输出：针对自有安全能力可以 增值输出政企客户 安全管控-镜像扫描 在自动、增量、批量进行镜像上线前的扫描后，生产节点拉取安全镜像，运行后提供服务，但漏洞问题日新月异，有很多迭代 速度慢的业务应用随着时间的推移，一些新的漏洞也需及时发现整改。镜像扫描工具会自动、周期性对已上线业务应用的镜像进行 多维度深度扫描，及时发现新出现的安全问题，及时修正。 业务 容器 业务 容器 业务 容器 业务 容器 提供“一站式”开发安全平台&工具，工具种类丰富 。 不改变原有开发流程，研发&测试人员轻感知，让安全“悄无声息” 纵深漏洞发现体系，每个阶段做最有效果的安全工作，提供最有效 的安全结果，降低安全人员漏洞验证的难度和时间，提高效率 磐舟一体化安全开发交付平台亮点 安全目前仍然是以卡点或门禁 的方式存在于DevOps流程中， 尽管已经实现了左移，但仍然 对效率造成一定的损耗，所以 我们需要探索如何将安全无缝

-retry-join "10.0.4.67" # Using IPv6 $ consul agent -retry-join "[::1]:8301" ● -retry-interval：加入尝试之间等待的时间。默认为30秒。 ● -retry-max- -join：退出返回代码之前尝试的最大尝试次数1.默认情况下，将其设置为0，将其解 为无限次重试。 ● -join-wan：启动时加入另一个万人代理 时重试wan连接。这对于我们知道地址 终可用的情况很有用。从Consul 0.9.3开始，云支持自动加入也是如此。 ● -retry-interval-wan- -join-wan：尝试之间等待的时间。默认为30秒。 ● -retry-max-wan- -join-wan：退出返回代码之前尝试的最大尝试次数1.默认情况下，将其设置为0 将其解释为无限次重试。 ● -log-level：Con 减少所有服务器同时拍摄快照的机会。由于日志将变得更大并且raft.db文件中的空间在下一个快照之 无法回收，因此增加此值将替换磁盘空间的磁盘空间。如果需要重播更多日志，服务器可能需要更长 原文链接：consul 命令行 时间才能从崩溃或故障转移中恢复。在Consul 1.1.0及更高版本中，默认为16384，在先前版本中， 设置为8192。 ● -raft-snapshot-interval：它控制服务器检查是否需要将快照保存到磁盘的频率。他是一个很少需