Nacos架构&原理
此简单需求,随着业务规模变大也会变的非常复杂。如何能将数据准确的在 3 秒钟之内推送到每⼀ 个计算节点,这是当时提出的⼀个要求,围绕这个要求,系统要做大量的研发和改造,类似的这种 关键的技术挑战点还非常非常的多。本书就是将面对复杂的分布式计算场景,海量并发的业务场景, 对软负载⼀个系统的进行阐述,通过 Nacos 开源分享阿里软负载最佳实践,希望能够帮助到各位开 发者,各位系统架构师,少走弯路。 阿里巴巴云原生应用平台负责人 性,可观测性等分布式系统指标影 响整个分布式系统的运行。历史上,这个系统在阿里也触发过大故障,经历过数次血与火的考验。 在阿里数次架构升级中,Nacos 都做了大量的功能迭代,用来支持阿里的异地多活,容灾演练,容 器化,Serverless 化。Nacos 经过阿里内部锤炼十年以上,各项指标已经及其先进,稳定,为服务 好全球开发者,Nacos 经过数十名工程师持续努力,以开源形式和大家见面,相信 由于当时 Spring-cloud 的崛起,微服务多个模块逐步被划分,包括注册中心、配置中心,如果从 产品定位上,期望定位简单清晰,利于传播,我们需要分别开源我们内部产品,这样又会分散我们 品牌和运营资源。另外大部分客户没有阿里这么大的体量,模块拆分过细,部署和运维成本都会成 倍上涨,而且阿里巴巴也是从最早⼀个产品逐步演化成 3 个产品的,因此我们最终决定将内部三个 产品合并统⼀开源。定位为:⼀0 码力 | 326 页 | 12.83 MB | 9 月前324-云原生中间件之道-高磊
调 上 线 前 解 决 一 切 问 题 , 某 一 环 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 , 而 很 多 入 侵 风 险 是 不 可 预 知 的 ! 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 异 安全问题左移一个研发阶段,修复成本就将 提升十倍,所以将安全自动化检查和问题发 自动调整、拓展能 力强,满足更大吞 吐量 存储自动扩缩容 手工填加机器, 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写,性能高 易用程度 封闭体系,集成各 类优秀能力较差 集成能力强,多模 态接口,兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 容量和故障转移 云原生数据库其特点,使得应用场 景会更加广泛 高级能力-云原生数据库-应用的基石-2-技术架构 云原生的本质在于为云这种弹性资源下能够为应用提供 稳定的基础架构,所以云原生数据库相对于传统数据库 最大的不同也在这个方面:弹性 • 对于数据存储的高性能、高稳定性、高拓展、资源成本 等等都需要同时满足(和传统CAP相悖) • 接入层需要能够根据规则的路由,以及兼容各类协议接 口以及数据模型,并能根据应用的规模来自动拓展。 • 实现HTAP(OLTP+OLAP),将在线事务|分析混合计算模型 基础上,实现多模数据模型,使得集成成本经一步降低。0 码力 | 22 页 | 4.39 MB | 6 月前3深入 Kubernetes 的无人区-蚂蚁金服双十一的调度系统
落地,超过 90% 的资源通过 Kubernetes 分配,核心链路100%落地支撑 大促。5/19 大促规模 Part 1:蚂蚁金服的Kubernetes现状 数万台 服务器和ECS 超一万 单集群规模 90%+ 应用服务 数十万 应用 Pods业务 6/19 统一资源调度架构 Part 1:蚂蚁金服的Kubernetes现状 非云 资源 云化 资源 基础 服务 蚂蚁 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化 服务 Cluster Control Panel 在线应用 计算型混部任务 CSI CNI Device Plugin runc nanovisor 日志服务 云盘 本地多盘 弹性网卡 网络安全组 GPU 安全可信 数据库服务 OB serverless 平台 kata SOFAMesh 资源分时复用 神龙裸金属 VPC Part 2:8/19 资源分时调度 Part 2:双十一 Kubernetes 实践 快速腾挪的问题 1.实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性技术风险 9/19 资源分时链路切换 Part 2:资源分时调度 Kubernetes Node 分时调度 Agent Pod 资源 Node 分时调度 Agent Pod 资源 Node 分时调度0 码力 | 19 页 | 2.18 MB | 5 月前3sealos 以 kubernetes 为内核的云操作系统
通用的系统管理入口 所有应用自由安装卸载 极简、高内聚、高度抽象 提供最基础的核心能力 容器管理、编排调度、资源隔离 驱动层实现资源抽象 自由切换,到处运行 Sealos API Sealos CLI Desktop 裸金属 AWS 阿里云 更多······ boot 集群镜像 租户管理 应用管理 函数计算 消息队列 数据库 缓存 计算驱动 网络驱动 存储驱动 自由组装 内聚解耦 mysql/pgsql/mongo/redis 数据 库 • 写代码像写博客一样简单 • AI 自动编码,毫秒级上线,0 运 维 数据库管理 mysql/pgsql/mongo/ redis 等多种数据库 数据库多主架构高 可用 数据库备份恢复, 故障自愈 数据库管理工具, 监控告警 Userlnterface API/CLI/GUI Cilium Gvisor/Containerd OpenEBS LVM 计算 储存 网络 kubernetes SaaS服务 30min 1人 一键打包 整体交付 一次建构 到处运行 使用sealos 技术实现 行业 痛点 在公网不可信的环境中提供多 租户共享一个kubernetes集群 的能力, ,如etcd存储, k8s apiserver,对象存储,数 据库等 技术 方案 优势 利用 等技术可做到计算安 全隔离,存储隔离且获得本地0 码力 | 29 页 | 7.64 MB | 9 月前3金融级云原生 PaaS 探索与实践
金融级云原生 PaaS 探索与实践 王成昌(晙曦)蚂蚁金服技术专家2/20 一、业务背景 二、多集群管控 三、发布运维体系 目 录 contents 目录3/20 一、业务背景 业务背景4/20 业务背景 业务架构 演进 • 容量 应用|数据库|机房 • 容灾 机房|地域5/20 业务背景 业务架构 单元化 • 高可用 • 一致性 • 可扩展 • 面向站点级别输出7/20 PaaS 能力 • 面向多租户多环境; • 基础资源管控; • 应用发布运维体系; • 业务实时监控,日志收集; • 机房级和地域级容灾能力; 业务背景业务背景 CAFÉ API Server Aggregation Layer 异地多活架构 同城双活架构 K8S API Server 基础发布运维 跨集群应用 资源管理 IaaS层(Aliyun/OpenStack/VMWare/Bare (SLB/ALB) 容 器 层 跨集群管理 单元化能力 容器镜像管理 批次发布 原生资源管理 Pod伸缩管理 集群伸缩管理 变更管控 配额管理 运维原子操作 精细化调度 接入层流程调拨 应用层流量调拨 跨集群状态 分发/汇聚 数据层流量调拨 压测/灰度 流量管理 单元化 元数据管理 弹性流量管理 跨集群发布策略 多集群管理 跨集群网络 跨集群镜像管理 蓝绿发布 灰度分组发布 中间件变配0 码力 | 20 页 | 1.71 MB | 5 月前309-harbor助你玩转云原生-邹佳
steven zou 目录 - 开场:云原生与制品管理 - 初识Harbor:云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 CRD实现编排 • 目标为K8s集群 • 专注于HA模式支持 • goharbor/harbor- operator (开发中) 4 资源隔离与多租户管理 项目 存储 访问控制 制品资源 Members Images Guest: Developer: Administrator: docker pull ... 通过设置不可变规则来避免特定Tag被覆盖或者误删除 制品安全分发-不可变Tag 资源清理与垃圾回收 [1] 通过Artifact保留策略实现资源清理:根据用户设置的保留策略计算得出需要保留的 资源而删除不需要保留的资源 不释放存储空间/释放配额 注意:不可变Tag一定会被保留 资源清理与垃圾回收 [2] 通过垃圾回收可以清理存储空间中的无用数据,V2.1之前为阻塞式GC,V20 码力 | 32 页 | 17.15 MB | 6 月前3Service Mesh是下一代SDN吗:从通信角度看Service Mesh的发展
Gateway:应用网关逻辑 • 使用不同端口为不同租户提供访问入口 • 租户间的隔离和访问控制 • 用户层面的访问控制 • 按用户的API访问限流 • API访问日志和计费 Service Mesh:统一的微服务通信管理 • 服务发现 • 负载均衡 • 重试,断路器 • 故障注入 • 分布式调用跟踪 • Metrics 收集产品化增强-支持多网络平面 电信系统一般会有多个网络平面的,主要原因包括:避免不同功能的网络之间的 为不同的网络提供不同的 SLA ;通过网络隔离提高安全性;通过叠加多个网络增加系统带宽 上图中的Kubernets集群使用了Knitter网络插件,部署了四个网络平面产品化增强-支持多网络平面 Istio1.0中不支持多网络平面,当服务地址和Envoy地址分别位于两个网络上时,会导致转发请求时 发生死循环,导致socket耗尽,Envoy不停重启。 Pilot Service Registry this Node This is an outbound request, it should be send out to 10.75.8.101产品化增强-支持多网络平面 我们对Istio的代码进行了改造,增加了多网络平面支持。 Pilot Service Registry Envoy Service A Register service (IP :10.75.8.101)0 码力 | 27 页 | 11.99 MB | 5 月前3网易云Service Mesh的产品架构与实现
术大会,Segmentfault 开发者大会,InfoQ全球架构师峰会(明星讲师),CSDN SDCC大 会,51CTO WOTA大会等 • 知名技术博主,博客可搜索popsuper1982,多篇文章推荐至全 球最大IT社区CSDN首页及《程序员》杂志 • 在工作中积累了大量运营商系统,互联网金融系统,电商系统等 容器化和微服务化经验01 目录 02 03 微服务与Docker、Kubernetes 基于容器服务的微服务架构实践163yun.com 一、微服务与Docker、Kubernetes163yun.com 应用架构 数据架构 IT架构 微服务的交付形式Kubernetes 轻量级的IT运维模式Swarm 资源利用率高的任务执行模式Mesos 快速迭代 高并发 OPEX CAPEX 大数据分析,运营 容器技术的三种视角微服务形态 Hailo Amazon Netflix 来源: https://www en-spencer/ Kaola163yun.com 开发独立: 代码耦合度比较高,修改代码通常会对多个模块产生影响,操控难度大,风险高 上线独立: 单次上线需求列表多,上线时间长,影响面大 简化扩容: 由于业务多,每一次扩容需要增加的配置比较杂。一些不起眼的小业务虽然不是扩容的主要目 的,也需要慎重考虑 容灾降级:核心业务与非核心业务耦合,在关键时候互相影响 微服务拆分微服务架构要点0 码力 | 35 页 | 6.33 MB | 5 月前3Apache Pulsar,云原生时代的消息平台 - 翟佳
streamnative.io Apache Pulsar 要解决的问题 • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点:替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障: 持久化(fsync)、⼀致性(ack: all)、多Topic • IO不隔离:消费者读Backlog的时候会影响其他⽣产者和消费者 Apache Pulsar 特性 • 云原⽣架构: • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 — 鉴权认证 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的⽣态和社区 • Pulsar 的根本不同 org/en/powered-by/ StreamNative 和 Pulsar Summit StreamNative 和 Pulsar Summit streamnative.io 社区资源 • 微信公众号: • ApachePulsar / StreamNative • B站:https://space.bilibili.com/391380821 • 邮件列表 • dev@pulsar0 码力 | 39 页 | 12.71 MB | 6 月前0.03Curve核心组件之mds – 网易数帆
是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景:块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve 故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离,server不能跨 Pool交互。运维上,建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元,一般来说属于不同zone的机 器至少是部署在不同的机架,一个server必须归属于一个 curve在上物理pool之上又引入逻辑pool的概念,以实现统一存储系统的需求,即在单个存储系统中多副 本PageFile支持块设备、三副本AppendFile(待开发)支持在线对象存储、AppendECFile(待开发)支持 近线对象存储可以共存。 如上所示LogicalPool与pool为多对一的关系,一个物理pool可以存放各种类型的file。当然由于curve支持 多个pool,可0 码力 | 23 页 | 1.74 MB | 5 月前3
共 163 条
- 1
- 2
- 3
- 4
- 5
- 6
- 17