Apache Pulsar,云原生时代的消息平台 - 翟佳
Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者: • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar0 码力 | 39 页 | 12.71 MB | 6 月前0.0324-云原生中间件之道-高磊
这个例子,也给数据库云原生化上的技术架构演进提 供了一个范本,并不是原封不动的迁移就变成云原生 高级能力-云原生数据库-应用的基石-3-场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据,支持高吞吐量实时入库及数据实时查询,实现数据资源 智慧化运营。 优势 低成本存储: 物联网数据存储和查询 将车联网数据、设备监控数据、客流分析管控数据、交通数据、传感器数据实时 写入HBase中,分析结果输出到用户的监控前端系统展示,实现物联网数据的实时 监控分析。 优势 易接入: 轻松对接消息系统、流计算系统 高并发: 满足千万级并发访问 存算分离: 按需分别订购计算与存储,成本低、故障恢复快 利用HTAP模式,可以将查询和分析合并 起来,更加节约成本,并提高了性能 高级能力-云原生数据库-应用的基石-4-端到端安全 高级能力-云原生中间件-应用的基石-MQ为例 云原生消息服务是云原生的通信基础设施 消息中间件在云原生的应用场景,主要是为微服务和EDA架构提供核心的解耦、异步和削峰的能力,在云原生体系 架构中消息服务还发挥着数据通道、事件驱动、集成与被集成等重要作用。云原生倡导面向性能设计,基于消息队 列的异步调用能够显著降低前端业务的响应时间,提高吞吐量;基于消息队列还能实现削峰填谷,把慢服务分离到 后置链路,提升整个业务链路的性能。0 码力 | 22 页 | 4.39 MB | 6 月前31.3 MOSN 在云原生的探索及实践
2019年双11 2019年12月 2020年6月 2020年7月 2020年12月 2021年 MOSN 简介 — 开源社区 Committer 非蚂蚁 蚂蚁 定位:云原生网络代理平台 开源理念 社区是开源软件发展的动力 借力开源,反哺开源 持续向云原生演进 Star: 3100 Committer: 10 Contributor: 78 Corporate extension for Envoy Application Runtime — Layotto 背景 Service Mesh 解决了微服务治理的痛点,但在实际业务开发 中,缓存、数据库、消息队列、配置管理等, 我们仍然需 要维护一套重量级的 SDK 并且侵入应用代码。 方案 提供 API 抽象层,应用程序中只针对这套标准的 API 编程, 无需考虑实际运行时的后端服务形态。 优点 支持 L4 扩展后,可方便使得 Envoy 集成 Layotto 或 Dapr 能力,从而同时具备 service mesh 与 application runtime 能 力。 定位:云原生网络代理平台 理念:通用能力回馈社区,同社区共建标准 来吧,提个 PR 就是 gopher Q ? A : E MOSN 官网 http://mosn.io MOSN meetup https://github0 码力 | 36 页 | 35.61 MB | 1 年前322-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊
云原生实践。 与2019年全面云化相比,2020年全面云原生化革命性重构了双11“技术引擎”。从产品和技术两方面来看,产品侧,阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧,云原生四大核心技术实现规模和创新的双重突破,成为从技术能力向业务 由于历史遗留或者软件形态所限制,不可能所有的软件都可以被微服务化或被容器化,那么现在阶段来看,整个 数字化转型的一些困难就是处于在技术上的碎片化,为云原生彻底发挥对极端变化的适应性价值还有很多障碍。 在统一的K8s管理面下, 通过一种代理容器(内置 了管理虚拟机的逻辑) 来启动虚拟化Pod, 此时可以同时在统一的 容器云平台下运行微服 务化容器化或者未容器 化的传统软件了; 另一个方向是,将底层计 算、存储和网络进行超融 合,提供极其简单的底层 生命周期(Lifecycle) • 网络(Networking) • 状态(State) • 捆绑(Binding) 每种需求存在的问题和局限性,导致传统解决方案如企业服 务总线(ESB)及其变体(如消息中间件,轻量级的集成框架 等)不再适用。随着微服务的发展,以及容器和 Kubernetes 的普及和广泛使用,云原生开始影响这些需求的实现方式。 未来趋势是通过将所有传统的中间件功能移至其他运行时来0 码力 | 42 页 | 11.17 MB | 6 月前3consul 命令行
结合使用时,也可以在客户端代理上设置此选项。默认情况下,-adverti e通告地址。但是,在某些情况下,所有数据中心的所有成员都不能位于同一物理或虚拟网络上,尤 是混合云和私有数据中心的混合设置。此标志使服务器节点通过公共网络为WAN进行闲聊,同时使 专用VLAN互相闲聊及其客户端代理,并且如果远程数据中心是远程数据中心,则允许从远程数据中 访问此地址时访问客户端代理。配置了translate_wan_addrs。在Consul 原文链接:consul 命令行 ● data-dir:此标志为代理程序存储状态提供数据目录。这是所有代理商都需要的。该目录在重新启 后应该是持久的。这对于在服务器模式下运行的代理尤其重要,因为它们必须能够持久化群集状态。 外,该目录必须支持使用文件系统锁定,这意味着某些类型的已安装文件夹(例如VirtualBox共享文 夹)可能不适合。注意:服务器代理和非服务器代理都可以在此目录中的状态中存储ACL令牌,因此 访 户执行。在Windows上,您应确保该目录具有适当的权限,因为这些权限将被继承。 ● datacenter:此标志控制代理程序运行的数据中心。如果未提供,则默认为“dc1”。Consul拥有 多个数据中心的一流支持,但它依赖于正确的配置。同一数据中心中的节点应位于单个LAN上。 ● dev:启用开发服务器模式。这对于快速启动Consul代理并关闭所有持久性选项非常有用,可以启 内存服务器,该服务器可用于快速原型设计或针对API进行开发。在此模式下,0 码力 | 5 页 | 346.62 KB | 1 年前3云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)
云原生安全威胁分析与能力建设白皮书 41 图 14 k8s 权限提升攻击路径 3.3.2 攻击过程复现 攻击流程如下大致攻击流程如下: 1. 构造错误请求,建立经 k8s API Server 代理到 Kubelet 的高权限 websocket 连接。 2. 利用高权限 websocket 连接,向 Kubelet 发起/runningpods/请求,获 得当前活动 Pod 列表。 3 stdin、stout 和 tty 三个参数,该代码中构造的错误 请求/api/v1/namespaces/{namespace}/pods/{pod}/exec 未包含对应的参 数,由此利用系统漏洞代理到 Kubelet 的高权限 websocket 连接[28]。 3.4Istio 认证策略绕过攻击 3.4.1 攻击场景介绍 Istio 目前已作为微服务治理框架的代表,在 Istio 中 JWT SQL 注入、XSS 和 CSRF 攻击等。在 API 防护 过程中,WAF 可以提供实时监测和分析 API 的访问日志,并能够迅速发现异 常行为。WAF 可以记录所有请求数据,包括来源 IP、用户代理、参数等,并能 够根据事先设置的安全策略进行分析和识别。当异常行为被发现时,WAF 可以 立即采取行动,根据预设的安全策略阻止恶意请求,从而快速响应和快速阻止攻 击。 (3)API 网关 API0 码力 | 72 页 | 2.44 MB | 1 年前312-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫
是一个基础设施层,用于处理服务间通信。云原生应用有着复杂的服 务拓扑,Service Mesh 保证请求可以在这些拓扑中可靠地穿梭。在实际应用当中, Service Mesh 通常是由一系列轻量级的网络代理组成的,它们与应用程序部署在一 起,但应用程序不需要知道它们的存在。 -- Willian Morgan / Linkerd CEO 4.数据库网格 数据面板+数据能力 存储面板+存储能力0 码力 | 23 页 | 1.91 MB | 6 月前301. MOSN 高性能网络扩展实践 - 王发康
相关优化,如 cgocheck 调优、P 分组管理等 • 交互协议优化,如减少 CGO 交互次数等 MoE 社区共建 MoE Roadmap Q&A MoE Roadmap 定位:云原生网络代理平台 • 网关场景实践 MoE • 方案调研&设计 • 开源 MoE L7 扩展 • 支持使用 GoLang 扩 展 Envoy 能力 2021.6.18 2021.11.18 • 为0 码力 | 29 页 | 2.80 MB | 1 年前3云原生微服务最佳实践
库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS 服务注册发现 配置中心 RPC HTTP HTTP HTTP HTTP 调度分配 斯凯奇 云原生网关最佳实践0 码力 | 20 页 | 6.76 MB | 1 年前323-云原生观察性、自动化交付和 IaC 等之道-高磊
针对硬件特性的适配、还需要安装OS 等,最后还要在OS上安装应用,并且 还要保证应用软件依赖拓扑结构不会 出错。 3. 集成点:包括新环境的硬件、软件和 应用与遗留系统的集成,比如,监控、 服务注册中心、文件传输、消息集成、 ITSM等系统的部署集成。 4. 由于上层所依赖的底层环境在不同交 付环境中是不同的,而传统交付方式 缺乏脚本能“理解”的方式来表达这些 差异,此外由于事后更新OS、三方库 或者系统,这些变更又缺乏校验关系,0 码力 | 24 页 | 5.96 MB | 6 月前3
共 10 条
- 1