23-云原生观察性、自动化交付和 IaC 等之道-高磊
容器调度系统,无法做到通用化, 所以客户必须要求先做针对K8S的 应用改造。 K8S没有应用概念,用户面对的是Workload和Pod这样的概念,以及对应的运维概念(比如 HPA),在层次上是靠近对资源的抽象治理层面,对于业务研发人员而言是不友好的。应用 =Workload+运维特性+.......多种东西的集成,也无法在应用级别上进行管理。 ISV研发团队 标准化能力-微服务PAAS-OAM-万花筒PAAS-2 以上解耦的结果,隐含着更深层次的能力,不是简单解耦那么简单,它使得统一通用PaaS成为可能 组件市场|仓库 平台运维特性 应用编排 运维特性编排 版本化 应用 • 两端解耦之后,两端方面都可以形成一个没有 私有PaaS特征依赖的市场,而强大的开源社区 比平台提供商自己还要强大,利用容器底座的 承载能力和OAM抽象化编排能力,可以不等排 期的构建各种特征的Paas。业务应用由于不依 赖于运维特性,也实现了标准化,也可以加入 赖于运维特性,也实现了标准化,也可以加入 组件市场,此时开放PaaS+开放应用市场可以 构建对应各种环境的应用了。 • 云原生蓬勃而多样的生态成了这种Paas的基础。 • 编排不在以服务为单位,而是以应用为单位, 再也不会出现由于理解不一致导致的交付失败 的情况,而不论底层容器云实现如何,应用的 交付的方式都是一致的。 DevOps是一种文化,是一种组织赋能,在无所不在,OAM除了在交付过程中提供了基于应用的 交付方案,同时将CI0 码力 | 24 页 | 5.96 MB | 5 月前324-云原生中间件之道-高磊
默认安全策略,可以天然的规避大部分 安全问题,使得人员配置和沟通工作大 量减少,提高了整体效率! 安全右移是为了恰到好处的安全,一些非严 重安全问题,没有必要堵塞主研发流程,可 以交于线上安全防御系统。提高了整体实施 效率! 安全编排自动化和响应作为连接各个环 节的桥梁,安全管理人员或者部分由 AIOps组件可以从全局视角观察,动态 调整策略,解决新问题并及时隔离或者 解决! DevSecOps 标准化能力-承载无忧-E Protocol&Storage Serverless Data Chunk Data Chunk Data Chunk • 云原生的本质在于为云这种弹性资源下能够为应用提供 稳定的基础架构,所以云原生数据库相对于传统数据库 最大的不同也在这个方面:弹性 • 对于数据存储的高性能、高稳定性、高拓展、资源成本 等等都需要同时满足(和传统CAP相悖) • 接入层需要能够根据规则的路由,以及兼容各类协议接 口以及数据模型,并能根据应用的规模来自动拓展。 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据,支持高吞吐量实时入库及数据实时查询,实现数据资源 智慧化运营。 优势 低成本存储: 支持PB级数据存储 高并发: 千亿数据实时分析 数据源 设备监控 传感器 轨迹数据 车联网 业务集群 物联网套件写入 云原生 DB 轨迹查 询|实时 监测 MR 云原0 码力 | 22 页 | 4.39 MB | 5 月前32024 中国开源开发者报告
更加「接地气」,受到了更多开 发者的喜爱。 虽然面临资源的挑战,但它们的 灵活性和社区驱动力使得它们获 得了更多开发者的支持。 9 / 111 本年度最活跃的开源组织 不同开源组织在 Issue 解决 和 PR 处理数量上的差异,反映了它 们在开发活跃度、社区参与度和 技术成熟度上的不同战略。 技术大厂主导的项目往往具有较 高的资源投入和社区管理效率, 而民间组织则可能更注重技术问 题的快速解决,并逐步吸引更多 随者到行业引领者的跨越式成长,也为全球人工智能发展注入了新的活力与动力。中国开源模型 的成功并非偶然。在政府对人工智能产业的持续支持以及国内人工智能行业对模型研发的巨额投 入下,从基础算法到行业应用、从算力基础设施到数据资源整合,中国人工智能生态体系正在迅 速完善。这一趋势表明,未来中国有可能在全球人工智能领域占据更为核心的地位。 开源生态的繁荣与协作 随着开源模型影响力的提高,中国开源社区的活跃度也明显提升。无论是企业、研究机构还 北京智源研究院和上海人工智能实验室等研究机构,通过与企业和高校合作及开源平台的建 设,建立了更完善的协作机制,从而在开源模型 (如 InternLM) 和数据集 (如 Infinity-MM) 领 域贡献了大量有影响力的基础工作和资源。 2024 年,中国开源社区涌现出众多高质量的自发研究成果。其中,MAP 团队推出的全开 源模型 Map Neo 引人瞩目。该模型在训练数据、脚本以及模型对齐工作上实现了全面公开, 成为国内少有的真正意义上完全开源的项目。0 码力 | 111 页 | 11.44 MB | 8 月前322-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊
无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时、按需扩展/收缩所 用资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 (假死) 创建 新实例 配置 运行环境 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时按需扩展/收缩所用 资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 (假死) 创建 新实例 配置 运行环境 传统实践中,主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配,短时间内难以扩展 • 缺乏隔离性,服务相互抢占资源 • 增加环境、网络(端口)和资源管理的复杂性,治理成本高 • 监控粒度难以满足微服务应用运维的需要,线上问题难以排查定位,往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台,去应对上述问题。0 码力 | 42 页 | 11.17 MB | 5 月前325-云原生应用可观测性实践-向阳
控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 simplify the growing 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 原力 “不可变基础设施” 服务 simplify 容 器 云 资源池 区域 可用区 虚拟化 宿主机 虚拟机 云服务 RDS Redis 容器 容器集群 容器节点 命名空间 容器服务 Ingress Deployment StatefulSet ReplicaSet POD 应用 业务 资源组 服务名 方法名 API EP 网络 VPC 子网 路由器 CIDR IP地址 安全组 NAT网关 SLB 资源、服务知识图谱 TKE ACK0 码力 | 39 页 | 8.44 MB | 5 月前3sealos 以 kubernetes 为内核的云操作系统
有本质区别?鸭式辩型忘记了? 云里面,一切皆应用才是王道。 系统架构与设计理念 通用的系统管理入口 所有应用自由安装卸载 极简、高内聚、高度抽象 提供最基础的核心能力 容器管理、编排调度、资源隔离 驱动层实现资源抽象 自由切换,到处运行 Sealos API Sealos CLI Desktop 裸金属 AWS 阿里云 更多······ boot 集群镜像 租户管理 应用管理 函数计算 稳定性,reload 不中断,大规模 数据库编排 kubeblocks 稳定性,充分破坏性测试 Sealos 技术选型 基于区块链的统一认证与支付系 统。 公司任何其它产品和系统都可接 入,产品之间经济联通。 价值 一键帮助客户构建一 朵云,半个人力即可 维护,支撑企业所有 应用 夸张级别的降低企业基础设 施成本,绝大多数情况可以 降低 80% 资源成本。且规 模每次翻倍成本降低 30% 避免出现僵尸服务器,僵尸 应用。 所有资源统一抽象 成资源池,应用欠费自动停 止 极高的稳定性和高可用性 加强业务稳定性 一台服务器最高可跑 上千个应用 极大提升协作效率与 业务开发效率,0运维 极其一流的产品体验 大量开发者热爱的产品 附录: 官网:https://sealos.io Github: https://github.com/labring0 码力 | 29 页 | 7.64 MB | 9 月前3Nacos架构&原理
由于当时 Spring-cloud 的崛起,微服务多个模块逐步被划分,包括注册中心、配置中心,如果从 产品定位上,期望定位简单清晰,利于传播,我们需要分别开源我们内部产品,这样又会分散我们 品牌和运营资源。另外大部分客户没有阿里这么大的体量,模块拆分过细,部署和运维成本都会成 倍上涨,而且阿里巴巴也是从最早⼀个产品逐步演化成 3 个产品的,因此我们最终决定将内部三个 产品合并统⼀开源。定位为:⼀ Nameserver:解决 Namespace 到 ClusterID 的路由问题,解决用户环境与 Nacos 物理环境 映射问题。 CMDB:解决元数据存储,与三方 CMDB 系统对接问题,解决应用,人,资源关系。 Metrics:暴露标准 Metrics 数据,方便与三方监控系统打通。 Trace:暴露标准 Trace,方便与 SLA 系统打通,日志白平化,推送轨迹等能力,并且可以和计 量计费系统打通。 用于进行租户粒度的配置隔离。不同的命名空间下,可以存在相同的 Group 或 Data ID 的配置。 Namespace 的常用场景之⼀是不同环境的配置的区分隔离,例如开发测试环境和生产环境的资源 (如数据库配置、限流阈值、降级开关)隔离等。如果在没有指定 Namespace 的情况下,默认使 用 public 命名空间。 配置组(Group) Nacos 中的⼀组配置集,是配置的维度之⼀。通过⼀个有意义的字符串(如0 码力 | 326 页 | 12.83 MB | 9 月前3Kubernetes容器应用基于Istio的灰度发布实践
Controller实现ServcieDiscovery 若干服务发现的接口定义 2. Controller List/Watch KubeAPIserver上service、 endpoint等资源对象 3. DiscvoeryServer使用 ServcieDiscovery接口上的服务发 现方法和用户配置的规则构造xDS 4. Envoy从Discovery获取xDS,动态 更新 Kubernet Service Version Version Service Deployment Deployment Label selector Istio25 Istio几种重要资源对象 • 入口资源对象 – VirtualService – DestinationRule • 重要属性 • HTTPRoute • HTTPMatchRequest • TCPRoute • DestinationWeight26 一个典型的VirtualService27 Istio在华为云:Kubernetes全栈容器服务 应用运维管理 丰富可定制的容器应用立体化运维 容器镜像服务 容器镜像一站式构建、存储与交付 应用编排服务 应用云上自动化编排与设施管理 云容器实例 基于K8S的Serverless容器服务 云容器引擎 企业级高可靠、高性能K8S服务 服务网格 K8S原生Service Mesh28 Istio在华为云:华为云容器应用290 码力 | 34 页 | 2.64 MB | 5 月前3破解 Kubernetes 应用开发困局-王炜
微服务越来越多,运行环境变复杂。服务依赖、打包、运行、迁移越来越难。 Docker 提供镜像打包的解决方案。 Docker-Kubernetes K8s 环境的开发困局 容器越来越多,服务编排、发现、稳定性监控、自愈等成为新的挑战。 Kubernetes 提供容器编排的解决方案。 6 面向运维 •开发难 概念繁多,声明式定义学习成本高。 •调试难 无法像本地一样调试,开发效率低。 完全面向运维提供能力,对开发增加了巨大的负担。 分钟/次 Minikube + Telepresence Minikube 拉起本地 K8s 开发环境, Telepresence 实现本地编码。 10 秒/次 云上 K8s 集群提供计算资源解决弹 性的问题,Telepresence 本地编码。 10 秒/次 主流的云原生开发方式(开发环境) 云环境 + Telepresence 工作负载声明了 env、configmap、secret、volume0 码力 | 20 页 | 3.58 MB | 9 月前309-harbor助你玩转云原生-邹佳
steven zou 目录 - 开场:云原生与制品管理 - 初识Harbor:云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 goharbor/harbor-helm 3 K8s Operator • 通过K8s CRD实现编排 • 目标为K8s集群 • 专注于HA模式支持 • goharbor/harbor- operator (开发中) 4 资源隔离与多租户管理 项目 存储 访问控制 制品资源 Members Images Guest: Developer: Administrator: 通过设置不可变规则来避免特定Tag被覆盖或者误删除 制品安全分发-不可变Tag 资源清理与垃圾回收 [1] 通过Artifact保留策略实现资源清理:根据用户设置的保留策略计算得出需要保留的 资源而删除不需要保留的资源 不释放存储空间/释放配额 注意:不可变Tag一定会被保留 资源清理与垃圾回收 [2] 通过垃圾回收可以清理存储空间中的无用数据,V2.1之前为阻塞式GC,V20 码力 | 32 页 | 17.15 MB | 5 月前3
共 109 条
- 1
- 2
- 3
- 4
- 5
- 6
- 11