24-云原生中间件之道-高磊
克服了Calico SDN安全和性能方面的不足 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全,端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 Flexvolume 驱动将应 用服务与底层存储进行衔接,其设计之初 即为 Kubernetes 生态所服务,对容器化应 用的适配非常友好。 高级能力-云原生中间件-应用的基石-MQ为例 云原生消息服务是云原生的通信基础设施 消息中间件在云原生的应用场景,主要是为微服务和EDA架构提供核心的解耦、异步和削峰的能力,在云原生体系 架构中消息服务还发挥着数据通道、事件驱动、集成与被集成等重要作用。云原生倡导面向性能设计,基于消息队 性,从而不需要去建设备份链 路来提高应用的可用性,降低架构的复杂度。只有做到与云一样的可用性,云在服务就在,才能称为真正的云原生服务。 低成本 (Serverless化) 在过去,每家公司自建消息中间件集群,或是自研的、或是开源的,需要投入巨大的研发、运维成本。云原生时代的消息服务借助Serverless等弹 性技术,无需预先Book服务器资源,无需容量规划,采取按量付费这种更经济的模式将大幅度降低成本。0 码力 | 22 页 | 4.39 MB | 6 月前3消息中间件RocketMQ原理解析 - 斩秋
producer 端 redolog 这个队列其实标记消费到哪了, 事物状态的恢复根本上是有 commitlog 来做的 第二章 consumer 有别于其他消息中间件由 broker 做负载均衡并主动向 consumer 投递消息,RocketMq 是基于 拉模式拉取消息,consumer 做负载均衡并通过长轮询向 broker 拉消息。 Consumer0 码力 | 57 页 | 2.39 MB | 1 年前312-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫
从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫(kimmking) 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 分布式数据库:从数据库中间件技术发展到分布式数据库 4.数据库网格:数据库与微服务、云原生的发展关系 5.数据库解决方案:如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 MySQL面临: 1、容量有限,难以扩容 2、读写压力,QPS过大,特别是分析类需求会影响到业务事务 2.数据库中间件 2.数据库中间件 作为中间件,独立部署,对业 务端透明。 任何语言平台的系统都可以接 入,可以使用mysql命令或者 IDE操作。 对业务系统侵入性小。 透明化的引入中间件,像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题; 2、需要单独的资源部署,以及维护; 3、接入端需要实现数据库协议,对非开源数据库无法支持。 数据库中间件使用的约束:0 码力 | 23 页 | 1.91 MB | 6 月前3运维上海2017-分布式数据库系统TiDB在Kubernetes平台的自动化运维实践-邓栓
0 码力 | 32 页 | 3.47 MB | 1 年前3Docker 从入门到实践 0.9.0(2017-12-31)
k/s 的写操作 可靠:支持分布式结构,基于 Raft 的一致性算法 Apache ZooKeeper 是一套知名的分布式系统中进行同步和一致性管理的工具。 doozer 是一个一致性分布式数据库。 Raft 是一套通过选举主节点来实现分布式系统一致性的算法,相比于大名鼎鼎的 Paxos 算 法,它的过程更容易被人理解,由 Stanford 大学的 Diego Ongaro 和 John endpoint-controller(刷新服务和 pod 的关 联信息)和 replication-controller(维护某个 pod 的复制为配置的数值)。 Etcd 这里 Etcd 即作为数据后端,又作为消息中间件。 通过 Etcd 来存储所有的主节点上的状态信息,很容易实现主节点的分布式扩展。 组件可以自动的去侦测 Etcd 中的数值变化来获得通知,并且获得更新后的数据来执行相应的 操作。 工作节点 首先,再次需要强调 Mesos 自身只是一个资源调度框架,并非一整套完整的应用管理平台, 所以只有 Mesos 自己是不能干活的。但是基于 Mesos,可以比较容易地为各种应用管理框架 或者中间件平台(作为 Mesos 的应用)提供分布式运行能力;同时多个框架也可以同时运行 在一个 Mesos 集群中,提高整体的资源使用效率。 Mesos 对自己定位范围的划分,使得它要完成的任务很明确,其它任务框架也可以很容易的0 码力 | 370 页 | 6.73 MB | 1 年前3函数计算在双11小程序场景中的应用
函数计算在双11小程序场景中的应用 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •吴天龙(花名: 木吴) •阿里云函数计算技术专家 •2013 年加入阿里云,参与分布式数据库, 对象存储等产品的开发。现任阿里云函数 计算架构师,聚焦于 Serverless 产品功 能和大规模资源伸缩调度、性能优化等系 统核心能力的研发。❖ 函数计算介绍 ❖ 双11小程序场景介绍0 码力 | 13 页 | 6.95 MB | 5 月前3Apache SkyWalking 在 Service Mesh 中的可观察性应用
高洪涛 Tetrate 创始工程师Who 高洪涛 美国S ervice Mesh 服务商 Tetrate 创始工程师。原华为软件开发云技术专家,对云原 生产品有丰富的设计,研发与实施经验。对分布式数据库,容器调度,微服务, ServicMesh 等技术有深入的了解。 目前为 Apache ShardingSphere 和 Apache SkyWalking 核心贡献者, Istio 贡献者。0 码力 | 29 页 | 1.38 MB | 5 月前3Apache RocketMQ 从入门到实战
扫一扫关注 中间件兴趣圈 RocketMQ 官微 扫一扫关注【阿里巴巴云原生】公众号 阿里云开发者“藏经阁” 获取第一手技术干货 海量免费电子书下载 作者简介 作者简介 丁威,《RocketMQ 技术内幕》作者,RocketMQ 官方社区优秀布道师,荣获 CSDN2020 博客之星亚军;担任中通快递研发中心资深架构师,维护『中间件兴趣圈』公 众号,主打成体系剖析 Java 主流中间件,尝试从源码分析、架构设计、实战、故障分析等 主流中间件,尝试从源码分析、架构设计、实战、故障分析等 维度深刻揭晓中间件技术,已覆盖 RocketMQ、Dubbo、Sentienl、Kafka、Canal、 MyCat、ElasticJob、ElasticSearch 等。 推荐人及推荐序 推荐人 杜恒,Apache RocketMQ PMC Member/ committer,Linux OpenMessaging TSC Member,目前负责 Member,目前负责 RocketMQ 专有云商业化以 及开源技术生态构建。具有多年分布式系统、中间件 研究及工程经验。目前对分布式中间件、K8s、微服 务、物联网、Serverless 感兴趣。 推荐序 Apache RocketMQ 作为一款高吞吐,抗万亿消息堆积的云原生消息平台,目前已 经被国内 75% 以上互联网、金融等公司所采用,逐渐成为企业 IT 架构的核心基础设施。 丁威老师作为资深架0 码力 | 165 页 | 12.53 MB | 1 年前3严选 ServiceMesh 实践
访问控制:主要依靠中间件 × 中间件 治理控制 熔断降级:主要依靠中间件 中间件 限流:速率限制 √ 中间件 资源隔离:主要依靠中间件 中间件 故障注入:不提供 × 超时控制、重试、重写、重定向等:继承 Nginx 的 timeout 机制 √ 监控/故障诊断 链路追踪:主要依靠中间件 APM APM 性能监控:主要依靠中间件 APM APM 遥感数据:主要依靠中间件 APM APM 访问日志:主要依靠日志平台 日志平台 日志平台6/24 Service Mesh 为严选带来了哪些架构收益 • 历史包袱:现有的服务在不改造的情况下引入了服务治理能力 • 大大降低了中间件的研发投入和演进成本,也降低了业务和中间件的耦合成本 • 基础架构与业务架构可以独立演进 • 为多语言栈提供了服务治理能力7/24 持续演进的诉求 • 提供高质量的服务治理能力 • 增强流量管理能力 • 将 √ 安全 访问控制:RBAC vs Mixer √ 治理控制 熔断降级 √ 限流 √ 中间件 资源隔离 √ 故障注入 √ 超时控制、重试、重写、重定向等 √ 监控/故障诊断 链路追踪:主要依靠中间件 APM APM 性能监控:主要依靠中间件 APM APM 遥感数据:主要依靠中间件 APM APM 访问日志:主要依靠日志平台 日志平台 日志平台11/24 性能视角 – cNginx0 码力 | 25 页 | 2.07 MB | 5 月前336-云原生监控体系建设-秦晓辉
Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代,基础设施动态化,Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心 •微服务的流行,要监控的服务数量大幅增长,是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设,更愿意埋点 •各种采集器层出不穷,都是本着可采尽采的原则,一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控,每个监控对象一个标识即可,没有维度的设计 •新一代监控系统更加关注应用侧的监控,没有维度标签玩不转,每个指标动辄几个、十几个标签 指标维度更为丰富 业务应用依赖的中间件 的监控 业务应用依赖的中间件的监控 • 典型的监控方案分3类,一类是 sidecar 方式,一类是动态改配置,最后一类是中心端统一采集 • sidecar 方式:中间件部署在容器里,比如 zookeeper 或 rabbitmq,直接暴露了 /metrics 接口,可以做一个 sidecar 模式的抓取器,与中间件一起部署、一起升级、一起下线销毁 • 动态改配置:比如中间件部署在0 码力 | 32 页 | 3.27 MB | 6 月前3
共 57 条
- 1
- 2
- 3
- 4
- 5
- 6