Apache Pulsar,云原生时代的消息平台 - 翟佳
Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者: • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar io Apache Pulsar 要解决的问题 • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点:替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障: 持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者 Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储: BookKeeper Apache BookKeeper: 企业级流存储层 分布式⽇志/流存储 • 低延时、⾼吞吐、持久化 • 强⼀致 (repeatable read consistency) • ⾼可⽤ • 单节点可以存储很多⽇志 • I/O隔离 Apache BookKeeper: 诞⽣场景 streamnative0 码力 | 39 页 | 12.71 MB | 6 月前0.03构建统一的云原生应用 可观测性数据平台
reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛:AutoTagging 3. 降低资源开销:MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 Simplify the growing 统一的可观测性数据平台 telegraf 看云网更清晰 Simplify the growing complexity. 挑战:数据孤岛、资源开销 数据 孤岛 资源消耗 telegraf 1. 可观测性数据平台的挑战 2. 解决数据孤岛:AutoTagging 3. 降低资源开销:MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 看云网更清晰 HOST KVM KVM VM L2GW、OvS iptables、ipvs POD POD envoy 应用进程 Gateway L4~L7 GW 资源池 区域 可用区 云平台 租户 云资源 宿主机 云服务器 网络资源 VPC 子网 CIDR IP地址 NATGW ALB … 看云网更清晰 Simplify the growing complexity. 云原生应用的服务属性还有哪些0 码力 | 35 页 | 6.75 MB | 1 年前3中国移动磐舟DevSecOps平台云原生安全实践
中国移动磐舟DevSecOps 平台云原生安全实践 刘斌 中国移动信息技术中心 01 磐舟DevSecOps平台概况 02 磐舟DevSecOps平台安全能力 03 磐舟DevSecOps实践总结 目 录 目录 CONTENT 磐舟DevSecOps平台定位 基于云原生打造一站式DevSecOps平台,致力于解决企业在数字化转型中的研发效能提升问题,提供从 “需求-开发-测试 代,进行 数智化化转型、实现业务价值。 • 端到端自动化交付流水线 • 开发过程自主可控 • 一键发布上磐基,实现“乘舟上云,稳如磐基” • 沉淀IT软件资产,核心代码掌控 • 提升开发交付效率 一键 上磐基 构建 打包 容器 化镜 像 自动化 部署 研发安 全扫描 需求 设计 敏捷 开发交付协同 云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 本,多人可形成云端小局域网。可独立编 写调试代码,可团队协作。 安全代码仓库托管 统一的安全代码仓库,按项目级别分级管 理,落盘加密,云IDE防护,显示水印等多 重防护。 云原生虚拟化开发集群 利用虚拟化技术实现开发集群,分钟级交 付,突破有限资源开发集群供给。 原生使用模式,开发组件一键部署 云原生CI持续集成 使用Dockerfile进行云原生方式的CI构建, 拓展形成ARM、x86双架构流水线,底层0 码力 | 22 页 | 5.47 MB | 1 年前3云原生图数据库解谜、容器化实践与 Serverless 应用实操
云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu tpiperatgod laminar.fun OpenFunction 社区 Maintainer ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践:OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现,解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 现有开源 FaaS 项⽬: 绝⼤多数启动较早,⼤部分都在 Knative 出现前就已经存在了 Knative: ⾮常杰出的 Serverless 平台,Knative Serving 仅仅能运⾏应⽤,不能运⾏函数,还不能称之为 FaaS 平台 Knative Eventing: ⾮常优秀的事件管理框架,但设计有些过于复杂,⽤户⽤起来有⼀定⻔槛 OpenFaaS� ⽐较流⾏的 FaaS 项⽬,但是技术栈有点⽼旧,依赖于0 码力 | 47 页 | 29.72 MB | 1 年前323-云原生观察性、自动化交付和 IaC 等之道-高磊
服务是从内研发视角来看的,但是对于外部消费者只想找到并集成API而已,并不想了解API背后的运维细节或者需要协调运维能力!API成了一 种可以交易的商品,可以购买增强自己APP的能力,比如在自己APP里显示天气预报数据,从外部去管理应用平台,形成了一种新PaaS组织方式。 • 逻辑API:已有API的组 合,形成一个新API • 声明API:需要生成代 码框架(任何语言), 契约驱动研发 • BaaS API:数据库接口、 中间件接口外化成API Management • 把自己关在小黑 屋里面,自己就 可以自助的从API 使用角度定义、 驱动研发、发布 或者实施与自己 APP的集成。 • API作为产品,可 以给订阅、可以 被交易。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-1 知道 知道的 不知道 不知道的 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 微服务部署后就像个黑盒子,如何发现问题并在 远端运维是主要的课题,那么就需要从宏观告知 研发人员,并且提供日志、跟踪、问题根因分析 等工具进一步从微观帮助研发人员定位和解决问 题,这是这里在业务上的价值-稳定性赋能。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-2 可观察性是云原生特别关注的运维支撑能力,因为它的主动性,正符合云原生对碎片变化的稳定性保障的思想 数据的全面采集 数据的关联分析 统一监控视图与展现0 码力 | 24 页 | 5.96 MB | 6 月前3Volcano加速金融行业大数据分析平台云原生化改造的应用实践
Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度,无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况: • 业界首个云原生批量计算平台 • 2019年6月开源,2020年进入CNCF,目前是CNCF孵化级项目 • 2.9k star,500+ 全球贡献者 • 50+ Plugins on demand reclaim Re-construct JobInfo in Cache by PodGroup Job JobSpec 用户案例:荷兰ING银行大数据平台云原生化改造 • Platform Entry-point • Project Management Data Science in a box (Advanced analytics toolbox)0 码力 | 18 页 | 1.82 MB | 1 年前314-Chaos Mesh 在网易伏羲私有云自动化故障注入实践-张慧
Chaos Mesh 在网易伏羲私有云自动化故障注入实践 Speaker Name:张慧 网易伏羲 Speaker Title:网易伏羲私有云质量保障负责人、Chaos Mesh 布道师、云原生社区 Stability SIG 发起人 Email:zhangui05@corp.netease.com 云 原 生 学 院 目录 网易伏羲私有云简介 为什么混沌测试 什么是混沌测试0 码力 | 25 页 | 3.33 MB | 6 月前322-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊
1、信息管理 MIS、ERP… 2、流程规范 BPM、EAI… 3、管理监控 BAM、BI 4、协作平台 OA、CRM 5、数据化运营 SEM、O2O 6、互联网平台 AI、IoT 数据化运营 大数据 智能化管控 互联网平台 跨企业合作 稳态IT:安全、稳定、性能 敏态IT:敏捷、弹性、灵活 各行业IT应用系统不断丰富与创新 总部 机关 内部员工 分支 稳态IT WEB APP 移动用户 采购 平台 互联网 平台 数字 营销 敏态IT 互联网/物联网应用 创新应用 PC用户 物联网 物联终端 互联网、 大数据 AI、 IoT 数字化转型 应用价值提升 应用数量增长 应用类型丰富 应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构,在开发、测试、运维 团队之间建成了认知的“墙”,团队间配合效 率低,故障排查慢,阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要0 码力 | 42 页 | 11.17 MB | 6 月前325-云原生应用可观测性实践-向阳
growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 2.0 服务:统一的可观测性平台 可观测性平台(Metrics、Tracing、Logging) 基础设施团队 业务团队A 业务团队B 业务团队C 业务团队D …… 存储、检索服务 观测数据 观测数据 观测数据 观测数据 simplify complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. OpenTelemetry - 数据采集传输的标准化 统一的上下文 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved YUNSHAN Networks Technology Co., Ltd. All rights reserved. 解决团队耦合的问题 —— 革命的思路 从SDN到第5层网络 行云流水@车联网云平台技术 2021-09-20 观测 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All0 码力 | 39 页 | 8.44 MB | 6 月前3云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)
4 集群环境下的横向攻击........................................................................29 2.4.5k8s 管理平台攻击.................................................................................29 2.4.6 第三方组件攻击 ........................... 15 云原生安全威胁分析与能力建设白皮书 7 前 言 在数字化转型的大潮中,云计算作为实现创新和提高运营效率的关键技术, 成为了新一代信息技术的核心引擎。随着云计算的飞速发展和广泛应用,以及万 千企业数字化转型换挡提速,企业对云计算的使用效能提出新的需求。云原生以 其独特的技术特点,很好地契合了云计算发展的本质需求,正在成为驱动云计算 近年来,云计算技术一直处于高速发展的过程中,并且随着公有云和私有云 的广泛应用,利用云计算作为承载业务运行的基础设施,已经成为了企业的首选。 “十四五”时期,中国的信息化进入加快数字发展、建设数字中国的新阶段,在 数字化转型的浪潮中,云计算作为新型数字基础设施和新一代信息技术的核心引 擎,在推动人工智能、5G、工业互联网、物联网等技术的发展和应用方面发挥 着越来越重要的作用。云计算的普遍应用和相关技术发展,使其已经经历了云计0 码力 | 72 页 | 2.44 MB | 1 年前3
共 28 条
- 1
- 2
- 3