1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 日志热数据保存七天 历史数据冷备一个月 其他诉求 日志上报不能影响核心业务 数据上报延时可感知 准备ES 安装Filebeat 编写Filebeat配置文件 测试并下发配置 全网重启filebeat 检测数据是否上报 传统Beats接入流程 配置更改 现网配置是否全部一致？ 日志上报是否有延时？ Api-server2 Consul 云ES Agent-1 Agent-N Agent-1 Agent-N 数据流 配置监听 Agent注册 配置下发 Web-UI Api-server1 HostGroup HostGroup MasterCluster Opsd Monitord Syncd … … 腾讯云产品 … Docker 云内网 ES 7 数据模型 Kafka

有一定性 能损耗,业务场景可接受，另外 有优化空间 MoE 背景介绍 — 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External Processing Filter 高 低 中 N MOSN(GoLang) Extension 高 较高 低 活跃 对比：MOE 相比 ext-proc 无需跨进程 交互内存生命周期管理 • 结构体内存对齐 • GoLang runtime invalidptr check Envoy 相关 • 默认配置不支持 HTTP1.0 • Envoy 时间模块使用的是 UTC • upstream 支持 HTTP2 需要显示配置 • 访问日志换行需要自行配置 format 支持 • 异常场景下响应状态码不标准 • 各个 worker 处理请求均衡性问题

业务场景可接受，另外有优化 空间 扩展方案调研 MoE 背景介绍 — 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External Processing Filter 高 低 中 N MOSN(GoLang) Extension 高 较高 低 活跃 对比：MoE 相比 ext-proc 无需跨进程 不同方式加载 CGO 程序，则 GoLang runtime 运行时机可能不一样 • CGO 交互内存生命周期管理 Envoy 相关 • 默认配置不不支持 HTTP1.0 • Envoy 时间模块使用的是 UTC • upstream 支持 HTTP2 需要显示配置 • 访问日志换行需要自行配置 format 支持 • 异常场景下响应状态码不标准 • 各个 work 处理请求均衡性问题

监控告警 弹性扩缩容 高可用 负载均衡 客户环境 • 关注点分离：开发者关注应用本身，运维人员关注模块化运维 能力，让应用管理变得更轻松、应用交付变得更可控； • 平台无关与高可扩展：应用定义与平台层实现解耦，应用描述 支持任意扩展和跨环境实现； • 模块化应用运维特征：可以自由组合和支持模块化实现的运维 特征描述。 • Components：在 OAM 中，“应用”是由多个概念共同组合而成。第一个概念是： 原生业务的一体化交付， 比如把云原生的OAM AppConfig嵌入到Ansible 的PlayBook中。 Host Inventory 主机清单 PlayBooks 剧本 核心模块 自定义模块 Plugins Email、logging、 other 插件 Ansible 负责解析剧本并通过连 接器执行 Connector 连接受控端 主机 主机 主机 DevOps-CICD

该事件波及全球多个国家和地区的 18000 多个用 户，被认为是“史上最严重”的供应链攻击。 “太阳风暴”攻击 2021年8月，中国台湾芯片厂商Realtek 发布安全 公告称在其软件开发套件和WiFi模块中发现了4个 安全漏洞。、攻击者可利用该漏洞绕过身份验证， 并以最高权限运行恶意代码，有效接管设备。本次 暴出漏洞的芯片至少有65家供应商在使用，生产出 的设备数量超过十万台。 Realtek 的WiFi 技术是通过对二进制软件的组成部分进行识别、分析和追踪的技术。 SCA 可以生成完整的 SBOM，SBOM 作为制品成分清单，同时建立软件构成图谱，为后续分析提供基础，即分析开 发人员所使用的各种源码、模块、框架和库，以识别和清点开源软件（OSS）的组件及其构成和依赖关系，并精准识 别系统中存在的已知安全漏洞或者潜在的许可证授权问题。 IAST——API安全检测 doubo fosf://xxx

云服务商、安全企业提供的产品及服务的能力水平。 7 云原生应用保 护平台 （CNAPP）能 力要求 由中国信息通信研究院牵头编写，为了云原生应用保护平台（CNAPP）的 框架并对每个功能模块提出了能力要求，内容包含制品管理、基础设施配置 管理、运行时保护、双向反馈机制与环境适配能力，覆盖云原生应用的开发 运营全流程，适用于指导企业云原生应用运维保护能力建设，规范和测评云 原生应用保护产品质量 相应的安全风险。如开发维护不当导致的安全漏洞，可能为 API 带来严重安全 隐患，不法分子可通过安全漏洞、恶性 Bug 等因素获取敏感信息、造成服务器 失陷。开发过程中引入开源或第三方插件、加载库、模块、框架等存在安全问题 云原生安全威胁分析与能力建设白皮书 33 时，导致代码中出现安全漏洞、恶意代码、“后门”等安全隐患。 2.6 路径 5：Serverless 攻击 无服务器计算是一种 程序进 行检测，因此 SAST 工具检测出的风险会存在一定程度的误报。 （2）软件成分分析 云原生安全威胁分析与能力建设白皮书 49 SCA 针对第三方开源软件以及商业软件涉及的各种源码、模块、框架和库 进行分析、清点和识别，通过分析开源软件的组件及其构成和依赖关系，识别出 已知的安全漏洞，并提供相应的修复建议，能够有效的帮助开发人员修复安全问 题，从而把这些风险排查在应用系统投产之前，对开源组件及风险进行统一管理。

打开容器器服务控制台，在左侧导航栏中选中集群，右侧点击更更多，在弹出的菜单中选中 部署Istio。 在打开的⻚页⾯面中可以看到Istio默认安装的命名空间、发布名称； 通过勾选来确认是否安装相应的模块，注意勾选下Kiali Kiali； 点击 部署Istio 按钮，⼏几⼗十秒钟之后即可完成部署。 ⾃自动 Sidecar 注⼊入 查看namespace： 点击编辑，为 default 命名空间打上标签

`lang_es:"nombre" lang_gr:"όνομα"` Age int `lang_es:"edad" lang_gr:"ηλικία"` } gopher := &Candidate{ Name: "Gopher Cleveland", Age: 40, } asBytes, _ := langMarshaler.Marshal(gopher, "es") fmt

零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 原力 “不可变基础设施” 服务 simplify the growing complexity © 2021, YUNSHAN Networks

MSE 云原生网关 认证鉴权服务 primweb web 订单中心 促销中心 商品中心 库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS 服务注册发现 配置中心