24-云原生中间件之道-高磊
克服了Calico SDN安全和性能方面的不足 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全,端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 Flexvolume 驱动将应 用服务与底层存储进行衔接,其设计之初 即为 Kubernetes 生态所服务,对容器化应 用的适配非常友好。 高级能力-云原生中间件-应用的基石-MQ为例 云原生消息服务是云原生的通信基础设施 消息中间件在云原生的应用场景,主要是为微服务和EDA架构提供核心的解耦、异步和削峰的能力,在云原生体系 架构中消息服务还发挥着数据通道、事件驱动、集成与被集成等重要作用。云原生倡导面向性能设计,基于消息队 性,从而不需要去建设备份链 路来提高应用的可用性,降低架构的复杂度。只有做到与云一样的可用性,云在服务就在,才能称为真正的云原生服务。 低成本 (Serverless化) 在过去,每家公司自建消息中间件集群,或是自研的、或是开源的,需要投入巨大的研发、运维成本。云原生时代的消息服务借助Serverless等弹 性技术,无需预先Book服务器资源,无需容量规划,采取按量付费这种更经济的模式将大幅度降低成本。0 码力 | 22 页 | 4.39 MB | 6 月前312-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫
从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫(kimmking) 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 分布式数据库:从数据库中间件技术发展到分布式数据库 4.数据库网格:数据库与微服务、云原生的发展关系 5.数据库解决方案:如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 MySQL面临: 1、容量有限,难以扩容 2、读写压力,QPS过大,特别是分析类需求会影响到业务事务 2.数据库中间件 2.数据库中间件 作为中间件,独立部署,对业 务端透明。 任何语言平台的系统都可以接 入,可以使用mysql命令或者 IDE操作。 对业务系统侵入性小。 透明化的引入中间件,像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题; 2、需要单独的资源部署,以及维护; 3、接入端需要实现数据库协议,对非开源数据库无法支持。 数据库中间件使用的约束:0 码力 | 23 页 | 1.91 MB | 6 月前3严选 ServiceMesh 实践
访问控制:主要依靠中间件 × 中间件 治理控制 熔断降级:主要依靠中间件 中间件 限流:速率限制 √ 中间件 资源隔离:主要依靠中间件 中间件 故障注入:不提供 × 超时控制、重试、重写、重定向等:继承 Nginx 的 timeout 机制 √ 监控/故障诊断 链路追踪:主要依靠中间件 APM APM 性能监控:主要依靠中间件 APM APM 遥感数据:主要依靠中间件 APM APM 访问日志:主要依靠日志平台 日志平台 日志平台6/24 Service Mesh 为严选带来了哪些架构收益 • 历史包袱:现有的服务在不改造的情况下引入了服务治理能力 • 大大降低了中间件的研发投入和演进成本,也降低了业务和中间件的耦合成本 • 基础架构与业务架构可以独立演进 • 为多语言栈提供了服务治理能力7/24 持续演进的诉求 • 提供高质量的服务治理能力 • 增强流量管理能力 • 将 √ 安全 访问控制:RBAC vs Mixer √ 治理控制 熔断降级 √ 限流 √ 中间件 资源隔离 √ 故障注入 √ 超时控制、重试、重写、重定向等 √ 监控/故障诊断 链路追踪:主要依靠中间件 APM APM 性能监控:主要依靠中间件 APM APM 遥感数据:主要依靠中间件 APM APM 访问日志:主要依靠日志平台 日志平台 日志平台11/24 性能视角 – cNginx0 码力 | 25 页 | 2.07 MB | 5 月前336-云原生监控体系建设-秦晓辉
Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代,基础设施动态化,Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心 •微服务的流行,要监控的服务数量大幅增长,是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设,更愿意埋点 •各种采集器层出不穷,都是本着可采尽采的原则,一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控,每个监控对象一个标识即可,没有维度的设计 •新一代监控系统更加关注应用侧的监控,没有维度标签玩不转,每个指标动辄几个、十几个标签 指标维度更为丰富 业务应用依赖的中间件 的监控 业务应用依赖的中间件的监控 • 典型的监控方案分3类,一类是 sidecar 方式,一类是动态改配置,最后一类是中心端统一采集 • sidecar 方式:中间件部署在容器里,比如 zookeeper 或 rabbitmq,直接暴露了 /metrics 接口,可以做一个 sidecar 模式的抓取器,与中间件一起部署、一起升级、一起下线销毁 • 动态改配置:比如中间件部署在0 码力 | 32 页 | 3.27 MB | 6 月前3Nacos架构&原理
, 对软负载⼀个系统的进行阐述,通过 Nacos 开源分享阿里软负载最佳实践,希望能够帮助到各位开 发者,各位系统架构师,少走弯路。 阿里巴巴云原生应用平台负责人 - 丁宇(叔同) 在阿里中间件开源、自研、商业三位⼀体的战略中,微服务 DNS(Dubbo+Nacos+Spring-cloud- alibba/Sentinel/Seata)组合始终走在前列,引领着微服务领域的发展趋势。Nacos Nacos,也有助于提高分布式系统的设计研发能力。 阿里巴巴中间件负责人 - 胡伟琪(白慕) 阿里巴巴在 10 多年分布式应用架构实践过程中,产出了⼀大批非常优秀的中间件技术产品,其中软 负载领域的 Diamond、Configserver、Vipserver,无论在架构先进性、功能丰富度以及性能方面均 有非常出色的积累,2018 年初中间件团队决定把这⼀领域的技术进行重新梳理并开源,这就是本书 Distro 协议是 Nacos 社区自研的⼀种 AP 分布式协议,是面向临时实例设计的⼀种分布式协议, 其保证了在某些 Nacos 节点宕机后,整个临时实例处理系统依旧可以正常工作。作为⼀种有状态 的中间件应用的内嵌协议,Distro 保证了各个 Nacos 节点对于海量注册请求的统⼀协调和存储。 设计思想 Distro 协议的主要设计思想如下: Nacos 每个节点是平等的都可以处理写请求,同时把新数据同步到其他节点。0 码力 | 326 页 | 12.83 MB | 9 月前3进击的 Traefik | 云原生边缘路由器探秘
Branch: v1.7、v2.0(v1.X configurations are NOT compatible with the v2.X )Traefik 2.0 新特性 •TCP 支持 •中间件 •全新的 Dashboard •金丝雀发布 •流量复制 •其他功能......1 Traefik 介绍 2 Traefik 2.0 核心概念 3 Traefik With Docker Routers 分析请求(host, path, headers, SSL, …) • Services 将请求转发给你的应用(load balancing, …) • Middlewares 中间件,用来修改请求或 者根据请求来做出一些判断( authentication, rate limiting, headers, ...)Providers • Providers 可以是编排工具、容器 启动时的 配置,Provider 连接信息、要 监听的 EntryPoints,通过配置 文件、命令行参数、环境变量 定义 • 动态配置:Traefik 处理请求 的所有配置,证书、路由、服 务、中间件等,动态改变、无 缝更新1 Traefik 介绍 2 Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik With KubernetesDocker0 码力 | 35 页 | 8.58 MB | 5 月前322-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊
数据平台批处理单日计算数据量达到1.7EB,实时计算峰值每秒30亿条记录; 云原生PolarDB读写性能提高50%+,计算资源利用率提高60%+。 • 云原生中间件首次实现自研、商用、开源的“三位一体”,通过阿里云服务全球客户。云原生中间件服务框架峰值调用量超百亿 QPS。 • 核心业务规模实践Serverless,弹性伸缩能力会提升10倍,大幅提升压测支撑效率和稳定性。 • 云原生技术不仅在阿里 云原生赋能平台建设维度划分 微服务应用架构治理平台、 DevOps平台、 数据建模与大数据分析平台 用好云原生 容器云平台、边缘计算平台 建好云原生 容器安全、统一多云纳管、融合告 警、APM、云监控、中间件纳管.... 管好云 数 采 数 算 数 用 云原生赋能平台 标准化能力-分布式操作系统核心-容器服务 向上提供抽象化自愈IT运营视角 高效稳定应用资源供给 价值主张 架构 云原生底 捆绑(Binding) 每种需求存在的问题和局限性,导致传统解决方案如企业服 务总线(ESB)及其变体(如消息中间件,轻量级的集成框架 等)不再适用。随着微服务的发展,以及容器和 Kubernetes 的普及和广泛使用,云原生开始影响这些需求的实现方式。 未来趋势是通过将所有传统的中间件功能移至其他运行时来 全面发展,最后的目标是在服务中只需编写业务逻辑。 思路大体是:Smart Runtime,0 码力 | 42 页 | 11.17 MB | 6 月前3Service Mesh的延伸 — 论道Database Mesh
弹性化 治理能力 观察能力数据分片 App2 DB App1 App3 App2 DB1 DB2 DB3 App1 App3数据分片:引入中间件 App1 M1 App2 App3 S2 M2 M3 S1 S3 数据库中间件 write sync read读写分离 S App1 M App2 App3 write sync read数据分片 + 读写分离 读写分离 App1 S1 App2 App3 M2 sync read S2 S3 M1 M3 write数据分片 + 读写分离:引入中间件 App1 M1 App2 App3 S2 M2 M3 S1 S3 数据库中间件 write sync read分布式事务:定义 传统事务:ACID Atomicity - 原子性 Consistency - 一致性 Isolation0 码力 | 35 页 | 4.56 MB | 5 月前3阿里巴巴核心应用洛地 Service Mesh 的挑战与机过
Service Mesh 的挑战与机遇 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •2010 四川大学毕业 •2010-2016 社区、我的淘宝、中间件软负载 •2016-2019 自主创业、挖财中间件负责人 •2019-今 阿里服务网格团队 专注软负载、服务治理、分布式;Nacos 奠 基人、《Service Mesh 实战作者》;爱好骑 行、钢琴•现状及行业态度 NodeJS Java C++ Golang 运维系统云原生时代快速赋能 Biz APP Non Ali Biz框架思维转向平面思维 Service Mesh Biz Non Ali Biz将中间件能力下层到基础层 业务 (Java/Go/C++ 等) Serverless 业务 (Java/Go/C++ 等) 业务 (Java/Go/C++, etc) Serverless0 码力 | 22 页 | 6.61 MB | 5 月前3MySQL 兼容性可以做到什么程度
TDDL首次双十一 “去IOE完成” 天价账单 上云 2009 2011 2012 2013 2013 2015 TDDL 以中间件形态在阿里云上 发布: DRDS Oracle根据双十一350的交易量, 反推出了天价账单也谈所谓的“中间件” 中间件只是起点,PolarDB-X 可能是离终点最近的那个 对近十年的探索以及五年的上云 经验进行重新思考,面向未来设 从运维视角实现计算存储一体化0 码力 | 18 页 | 3.02 MB | 5 月前3
共 50 条
- 1
- 2
- 3
- 4
- 5