1.2 基于 Golang 构建高可扩展的云原生 PaaS 平台
基于 Golang 构建⾼可扩展的云原⽣ PaaS 平台 刘浩杨 端点 技术专家 个⼈简介 - 18年加⼊端点,现任微服务和监控团队负责⼈ - 端点开源 PaaS Erda 的核⼼架构师 - 开源爱好者, Apache SkyWalking PMC 成员 ⽬ 录 ⾯向云原⽣的软件交付 01 端点⼀站式 PaaS - Erda 02 Erda 架构的思考 03 模块化开发框架 Erda Infra 开发框架 Erda Infra 是⼀套轻量级 Go 微服务框架,包含⼤量现成的模块和⼯具,能够快速构 建起以模块化驱动的应⽤程序。 • 以模块化设计⽅式来驱动应⽤系统实现,⽀持模块可插拔 • 统⼀配置读取,⽀持默认值、⽀持从⽂件、环境变量、命令⾏参数读取 • 统⼀模块的初始化、启动、关闭 • 统⼀管理模块间的依赖关系 • ⽀持模块间的依赖注⼊ • 包含⼤量现成的微模块 基于 pr 的持续集成 - 打破需求、开发和测试的边界 简化平台的上⼿难度 - 解耦对中间件的强依赖 - 平台应⽤可独⽴安装和部署 - 像搭积⽊⼀样拼装系统 云端和本地⼀致的开发体验 - 本地⽆需启动完整的环境 - 借助IDE插件实现云端服务连接 - 本地和云端服务可交互 微信公众号 : Github : https://github.com/erda-project/erda0 码力 | 40 页 | 8.60 MB | 1 年前34_杨柳_基于Python构建高稳定可扩展的自动化测试集群
0 码力 | 62 页 | 25.29 MB | 1 年前3Nacos架构&原理
服务发现模块 63 Nacos 注册中心的设计原理 63 Nacos 注册中心服务数据模型 80 Nacos 健康检查机制 89 Nacos 配置管理模块 97 配置⼀致性模型 97 Nacos ⾼可⽤设计 100 Nacos 高可用设计 100 Nacos 鉴权插件 103 Nacos 账号权限体系 103 Nacos 认证机制 110 Nacos 前端设计 117 Nacos 前端设计 卿亮 许进 7 > 推荐序 推荐序 阿里巴巴合伙人 - 蒋江伟(小邪) 随着企业加速数字化升级,越来越多的系统架构采用了分布式的架构,主要目的是为了解决集中化 和互联网化所带来的架构扩展性和面对海量用户请求的技术挑战。这里面其中有⼀个关键点是软负 载。因为整个分布式架构需要有⼀个软负载来协作各个节点之间的服务在线离线状态、数据⼀致性、 以及动态配置数据的推送。这里面最简单的需求就 alibba/Sentinel/Seata)组合始终走在前列,引领着微服务领域的发展趋势。Nacos 作为核心引擎 孵化于 2008 年的阿里五彩石项目,自主研发完全可控,经历十多年双 11 洪峰考验,沉淀了高性能、 高可用、可扩展的核心能力,2018 年开源后引起了开发者的广泛关注和大量使用。本书也将介绍 Nacos 偏 AP 分布式系统的设计、全异步事件驱动的高性能架构和面向失败设计的高可用设计理念 等。相信开发者阅读后不仅可以更深入了解0 码力 | 326 页 | 12.83 MB | 9 月前3NSQ - 陈冶
• 数据缓冲,提⾼可⽤性 ,缓冲服务故障 使⽤案例 ⼴告点击数统计 Web Service MySQL cluster User Click User Click User Click Stateless Stat Service Stateless 2. 数据⼴播 MQ stream computing 使⽤需求 • 数据缓冲,提⾼可⽤性 ,缓冲服务故障 computing Web Service stream computing stream computing 使⽤需求 • 数据缓冲,提⾼可⽤性 ,缓冲服务故障 • 数据⼴播,分发给多个服务 • 负载均衡,提⾼消费者的扩展性 使⽤案例 ⼴告点击数统计 Web Service MySQL cluster 4. 正确消费确认 MQ stream computing computing Web Service stream computing stream computing Msg 使⽤需求 • 数据缓冲,提⾼可⽤性 ,缓冲服务故障 • 数据⼴播,分发给多个服务 • 负载均衡,提⾼消费者的扩展性 • 消费反馈,确保消息不丢失 使⽤案例 ⼴告点击数统计 Web Service MySQL cluster User Click User0 码力 | 37 页 | 2.49 MB | 1 年前3FISCO BCOS 2.9.0 中文文档
层+中间件+应用组件的丰富周边组件。 底层平台可用性已经广泛应用实践检验,支撑政务、金融、医疗、双碳、跨境数据流通等关乎国计民生 的重点领域落地超过400个标杆应用,在助力实体经济发展、促进公平与可持续等方面贡献力量。 社区以开源链接多方,截止2023年12月,围绕FISCO BCOS构建的国产开源联盟链生态圈已汇聚 了超过5000家机构、超10万名个人成员,以及50家认证合作伙伴、500余名核心贡献者。社区认证 维性、易用性、可扩展性, 支持多种SDK,并提供了可视化的中间件工具,大幅缩短建链、开发、部署应用的时间。此外,FISCO BCOS通过信通院可信区块链评测功能、性能两项评测,单链TPS可达两万。 1.1 关键特性 1.2 架构 FISCO BCOS 在2.0中,创新性提出“一体两翼多引擎”架构,实现系统吞吐能力的横向扩展,大幅提升性 能,在安全性、可运维性、易用性、可扩展性上,均具备行业领先优势。 关系,企业可选择不同群组,形成多个不同账本的数据共享和共识,从而快速丰富业务场景、扩大业务 规模,且大幅简化链的部署和运维成本。 两翼指的是支持并行计算模型和分布式存储,二者为群组架构带来更好的扩展性。前者改变了区块中按 交易顺序串行执行的做法,基于DAG(有向无环图)并行执行交易,大幅提升性能;后者支持企业(节 点)将数据存储在远端分布式系统中,克服了本地化数据存储的诸多限制。 多引擎是一系0 码力 | 1489 页 | 107.09 MB | 1 年前3FISCO BCOS 3.6.0 中文文档
层+中间件+应用组件的丰富周边组件。 底层平台可用性已经广泛应用实践检验,支撑政务、金融、医疗、双碳、跨境数据流通等关乎国计民生 的重点领域落地超过400个标杆应用,在助力实体经济发展、促进公平与可持续等方面贡献力量。 社区以开源链接多方,截止2023年12月,围绕FISCO BCOS构建的国产开源联盟链生态圈已汇聚 了超过5000家机构、超10万名个人成员,以及50家认证合作伙伴、500余名核心贡献者。社区认证 维性、易用性、可扩展性, 支持多种SDK,并提供了可视化的中间件工具,大幅缩短建链、开发、部署应用的时间。此外,FISCO BCOS通过信通院可信区块链评测功能、性能两项评测,单链TPS可达两万。 1.1 关键特性 1.2 架构 FISCO BCOS 在2.0中,创新性提出“一体两翼多引擎”架构,实现系统吞吐能力的横向扩展,大幅提升性 能,在安全性、可运维性、易用性、可扩展性上,均具备行业领先优势。 关系,企业可选择不同群组,形成多个不同账本的数据共享和共识,从而快速丰富业务场景、扩大业务 规模,且大幅简化链的部署和运维成本。 两翼指的是支持并行计算模型和分布式存储,二者为群组架构带来更好的扩展性。前者改变了区块中按 交易顺序串行执行的做法,基于DAG(有向无环图)并行执行交易,大幅提升性能;后者支持企业(节 点)将数据存储在远端分布式系统中,克服了本地化数据存储的诸多限制。 多引擎是一系0 码力 | 1489 页 | 107.09 MB | 1 年前3FISCO BCOS 2.9.0 中文文档
层+中间件+应用组件的丰富周边组件。 底层平台可用性已经广泛应用实践检验,支撑政务、金融、医疗、双碳、跨境数据流通等关乎国计民生 的重点领域落地超过400个标杆应用,在助力实体经济发展、促进公平与可持续等方面贡献力量。 社区以开源链接多方,截止2023年12月,围绕FISCO BCOS构建的国产开源联盟链生态圈已汇聚 了超过5000家机构、超10万名个人成员,以及50家认证合作伙伴、500余名核心贡献者。社区认证 维性、易用性、可扩展性, 支持多种SDK,并提供了可视化的中间件工具,大幅缩短建链、开发、部署应用的时间。此外,FISCO BCOS通过信通院可信区块链评测功能、性能两项评测,单链TPS可达两万。 1.1 关键特性 1.2 架构 FISCO BCOS 在2.0中,创新性提出“一体两翼多引擎”架构,实现系统吞吐能力的横向扩展,大幅提升性 能,在安全性、可运维性、易用性、可扩展性上,均具备行业领先优势。 关系,企业可选择不同群组,形成多个不同账本的数据共享和共识,从而快速丰富业务场景、扩大业务 规模,且大幅简化链的部署和运维成本。 两翼指的是支持并行计算模型和分布式存储,二者为群组架构带来更好的扩展性。前者改变了区块中按 交易顺序串行执行的做法,基于DAG(有向无环图)并行执行交易,大幅提升性能;后者支持企业(节 点)将数据存储在远端分布式系统中,克服了本地化数据存储的诸多限制。 多引擎是一系0 码力 | 1489 页 | 107.09 MB | 1 年前3从百度文件系统看大型分布式系统设计中的定式与创新
• 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • … 数据与计算的分片 • 哈希分片 - 简单、均衡 - 扩容复杂、易用性差 - 一致性哈希、虚拟节点 • 按范围、数据量分 - 使用简单 - 需要管理元数据 写入 2. 通知 3. 读取 多副本冗余 一致性问题 • 怎么定义写成功 - 3副本成功, 影响可用性 • 可以读从节点 - 刚写入的读不到 - 不一致 • 只允许读主节点 - 扩展性受限 数据处理模块 数据接收模块 存储 主 从 从 1. 写入 2. 通知 3. 读取 CAP理论 • 简要历史 - Eric Brewer 1998年提出 - 2002年证明 • 一致性与延迟的折衷 - 要求强一致的, 容忍延迟 - 要求低延迟的, 选择最终一致 提升系统扩展性 • 架构的可扩展性 - 拆分元数据节点 - 引入MetaServer 提升系统扩展性 • 设计的可扩展性 - 保证在规模扩大5倍或10倍是正常工作 • BFS避免了过渡设计 - 用设计中的不可扩展达到最大的可扩展 • 最多支持6万台机器 • 最多支持100亿文件 分布式存储系统设计的特殊性0 码力 | 24 页 | 937.45 KB | 1 年前3FISCO BCOS 2.7.2 中文文档
BCOS底层平台研发,超80个已在生产环境中稳定运行,覆盖文化版权、司法服务、政务服 务、物联网、金融、智慧社区等领域。 注 注 注解 解 解: FISCO BCOS以联盟链的实际需求为出发点,兼顾性能、安全、可运维性、易用性、可扩展性, 支持多种SDK,并提供了可视化的中间件工具,大幅缩短建链、开发、部署应用的时间。此外,FISCO BCOS通过信通院可信区块链评测功能、性能两项评测,单链TPS可达两万。 1.1 关 关 关键 键特 特 特性 性 性 1.2 架 架 架构 构 构 FISCO BCOS 在2.0中,创新性提出“一体两翼多引擎”架构,实现系统吞吐能力的横向扩展,大幅提升性 能,在安全性、可运维性、易用性、可扩展性上,均具备行业领先优势。 3 FISCO BCOS Documentation, 发 发 发布 布 布 v2.7.2 一体指代群组架构,支持快速组建联盟和建链,让企业建链像建聊天群一样便利。根据业务场景和业务 关系,企业可选择不同群组,形成多个不同账本的数据共享和共识,从而快速丰富业务场景、扩大业务 规模,且大幅简化链的部署和运维成本。 两翼指的是支持并行计算模型和分布式存储,二者为群组架构带来更好的扩展性。前者改变了区块中按 交易顺序串行执行的做法,基于DAG(有向无环图)并行执行交易,大幅提升性能;后者支持企业(节 点)将数据存储在远端分布式系统中,克服了本地化数据存储的诸多限制。 多引擎是一系0 码力 | 1422 页 | 91.91 MB | 1 年前3FISCO BCOS 2-dev 中文文档
BCOS底层平台研发,超80个已在生产环境中稳定运行,覆盖文化版权、司法服务、政务服 务、物联网、金融、智慧社区等领域。 注 注 注解 解 解: FISCO BCOS以联盟链的实际需求为出发点,兼顾性能、安全、可运维性、易用性、可扩展性, 支持多种SDK,并提供了可视化的中间件工具,大幅缩短建链、开发、部署应用的时间。此外,FISCO BCOS通过信通院可信区块链评测功能、性能两项评测,单链TPS可达两万。 1.1 关 关 关键 键特 特 特性 性 性 1.2 架 架 架构 构 构 FISCO BCOS 在2.0中,创新性提出“一体两翼多引擎”架构,实现系统吞吐能力的横向扩展,大幅提升性 能,在安全性、可运维性、易用性、可扩展性上,均具备行业领先优势。 3 FISCO BCOS Documentation, 发 发 发布 布 布 v2.7.1 一体指代群组架构,支持快速组建联盟和建链,让企业建链像建聊天群一样便利。根据业务场景和业务 关系,企业可选择不同群组,形成多个不同账本的数据共享和共识,从而快速丰富业务场景、扩大业务 规模,且大幅简化链的部署和运维成本。 两翼指的是支持并行计算模型和分布式存储,二者为群组架构带来更好的扩展性。前者改变了区块中按 交易顺序串行执行的做法,基于DAG(有向无环图)并行执行交易,大幅提升性能;后者支持企业(节 点)将数据存储在远端分布式系统中,克服了本地化数据存储的诸多限制。 多引擎是一系0 码力 | 1324 页 | 85.58 MB | 1 年前3
共 500 条
- 1
- 2
- 3
- 4
- 5
- 6
- 50