蚂蚁金服网络代理演进之路
蚂蚁金服网络代理演进之路 肖涵(涵畅) 蚂蚁金服高级技术专家 2019.10.26 Service Mesh Meetup #7 成都站网络代理是什么? 南北流量 东西流量 Server App 负载均衡器 NAT网关 防火墙 负载均衡器 NAT网关 防火墙 负载均衡器 负载均衡器 路由器 路由器 Internet网络代理有什么? Maglev Ipvs Katran 云原生 再启程 03前世 F5 BigIP Netscaler自研四层网络代理 2011 2014 2018 未来 Ø 全面使用DPDK技术重构 Ø EBPF,XDP Ø 可编程交换芯片(P4语言) Ø 四层负载均衡-IPVS Ø NAT网关蚂蚁七层网络代理 Google Spanner?蚂蚁七层网络接入代理 Spanner蚂蚁七层网络接入代理 AGNA (Ant Global Network Sidecar专注服务间通讯 混合在一个进程内, 应用既有业务逻辑, 也有各种功能 业务进程专注于业务逻辑Service Mesh 为什么蚂蚁需要Service Mesh • 拥抱微服务,云原生 • 异构语言体系融合 • 统一服务治理 • 运维体系有利支撑 • 全局流量管理,打通南北,东西 • 金融级网络安全为金融业务而生的SOFAMesh Pod Spring Cloud 应用 SOFAMosn0 码力 | 46 页 | 19.93 MB | 5 月前3SOFAMOSN持续演进路径及实践分享
SOFAMOSN 持续演进路径及实践案例 陈逸凡 wugou.cyf@antfin.com 2019.1.6 Service Mesh Meetup #5 广州站Agenda Ø 背景 & 概览 Ø 持续演进路径 & 技术案例 Ø 实践案例 Ø 规划 & 展望 Ø QA背景 & 概览数据平面概览 SOFAMOSN • C实现,支持多语言扩展 • 基于Nginx扩展 • 开发不活跃 开发活跃,最新版为0.4.0 • 蚂蚁+UC主导,重点搭载 SOFAMesh使用,目标服 务通用场景,金融场景SOFAMOSNSOFAMOSN内部模块设计SOFAMOSN数据流SOFAMOSN数据流持续演进路径 & 技术案例能力 0.1.0 0.2.0 0.3.0 0.4.0 Ø TCP代理/7层通用代理 Ø 简单匹配路由 Ø 集群管理 & 基本负载均衡(RR、 RANDOM) Ø SofaRpc及HTTP/1 2018.08版本 p 部署模式: Client <-> MOSN<-> Service p Client模拟方式:通过蚂蚁内部压测平台建立10w条SOFARPC链接 p 压测内容: 1K 请求/响应持续演进实践总结 ü 架构上,从一开始就遵循分层设计,模块解耦,统一编程模型接口,保证足够的架 构扩展性。 ü 性能上,针对IO、协议、内存、协程进行持续优化。相比最初版本,SOFARPC 协 议上对0 码力 | 29 页 | 7.03 MB | 5 月前3从Apache APISIX 来看API 网关的演进
从 Apache APISIX 来看 API 网关的演进 温铭 wenming@apache.org 关于我 • Apache APISIX PPMC • 深圳支流科技创始人 • 《OpenResty 从入门到实战》极客时间专栏作者 • 曾在奇虎 360 担任企业安全架构师,开源委员会发起人、委员 • 40 多项安全方面的专利 大纲 • Apache APISIX 是什么? 是什么? • Apache APISIX 能解决什么问题? • API 网关的演进 • 微服务是如何演进到 Service Mesh 的? • 下一代微服务架构是什么? Apache APISIX 是什么? • 云原生微服务 API 网关 • 基于 Nginx 和 etcd 实现 • 集成了控制面和数据面 • 提供灵活的插件机制 • 动态上游、动态路由、插件热加载 MQTT 插件作为 IoT 网关 • 借助 IdP 插件成为零信任网关 愿景:快速处理所有业务流量 微服务的演进史 1. 从单体到微服务 痛点:大量的重复开发 技术变革:容器 2. 微服务从类库到 proxy • Spring CLoud • Dubbo 痛点:语言绑定、升级难 3. 微服务从 proxy 到 sidecar • 技术变革:云原生 • proxy 的痛点:路由、上游、证书等不能动态0 码力 | 24 页 | 1.36 MB | 1 年前312-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫
从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫(kimmking) 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java Only(或其他)。 数据库框架使用的约束: 2.数据库中间件 2.数据库中间件 作为中间件,独立部署,对业 务端透明。 任何语言平台的系统都可以接 入,可以使用mysql命令或者 IDE操作。 对业务系统侵入性小。 透明化的引入中间件,像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题; 2、需要单独的资源部署,以及维护; JDBC、Proxy 和 Sidecar(规划中)这 3 款相互独立,却又能够 混合部署配合使用的产品组成。 它们均提供标准化的数据分片、分布式事务和 数据库治理功能,可适用于如 Java 同构、异构语言、云原生等各种多样化的 应用场景。 5.数据库解决方案 Level 3:Sharding-Proxy中间件(3.x+) Level 2:Sharding-JDBC框架(1.x+) Level0 码力 | 23 页 | 1.91 MB | 5 月前3机器学习课程-温州大学-12深度学习-自然语言处理和词嵌入
1 2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据(例如,所 有维基百科文章)。然后 2.我们有一个窗口(比如说三个单词) ,我们会对所有文本进行滑动。 3.滑动窗口为我们的模型生成训练样本 数据集中为每个训练样本做一次(很可能数千万次)。我们 需要做一些事情来提高效率。 一种方法是将目标分成两个步骤: 1.生成高质量的单词嵌入(不要担心下一个单词预测)。 2.使用这些高质量的嵌入来训练语言模型(进行下一个单词 预测)。 19 3.Word2Vec 负采样 并不是每次迭代都训练全部10,000个,我们只训练其中 的5个,我们要训练对应真正目标词那一个分类器,再训练 4个随机选取的负样本,这就是0 码力 | 44 页 | 2.36 MB | 1 年前3第29 期| 2023 年9 月- 技术雷达
Inc. All Rights Reserved. 2 关于技术雷达 3 雷达一览 4 贡献者 5 本期主题 6 本期雷达 8 技术 11 平台 19 工具 25 语言和框架 36 Thoughtworks 技术雷达 © Thoughtworks, Inc. All Rights Reserved. Thoughtworks 技术雷达 关于技术雷达 Thoughtworker 论结果,从首席技术官到开发人员,雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质,把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限,我们选择看起来最合适的 一个。我们还进一步将这些技术分为四个环以反映 我们目前对其的态度。 想要了解更多技术雷达相关信息,请点击: thoughtworks open-source LLMs for coding 在工具领域可能带来的变革,并且我们看到了在编码之外的辅助领域中工具和能力的爆炸式增 长,如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时,我们希望开发人员能够负责任 地使用所有这些工具,并且始终掌控主导权,比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效0 码力 | 43 页 | 2.76 MB | 1 年前3蚂蚁金服Service Mesh渐进式迁移方案
上海站 蚂蚁金服Service Mesh 渐进式迁移方案 2018.11.25 敖小剑 @ 蚂蚁金服 中间件 龙轼 @UC 基础研发部1 Service Mesh演进路线 1 2 实现平滑迁移的关键 3 DNS寻址方案的演进 4 5 总结 DNS寻址方案的后续规划ü 对未来长期目标的认可 • Service Mesh(带控制平面,如Istio) • Kubernetes • 微服务 接受范围内 • 每一步都简单方便,切实可行 可操纵性 • 操作层面上要有足够的弹性 • 每个步骤都是可分批进行 • 步步为营,扩大战果 • 杜绝一刀切k8s和Service Mesh落地方案演进路线 部署在 非k8s上 不是Service Mesh形态 部署在K8s上 非SM 部署在 非k8s上 Service Mesh (Sidecar模式) 部署在K8s上 Service Mesh 好处是第一步(非k8s上向Sidecar模式演进)非常自然 • 容易落地 • 快速达成短期目标 ü 缺点是再往后走 • 由于没有k8s的底层支持,就不得不做大量工作 • 尤其istio的非k8s支持,工作量很大 • 而这些投入,在最终迁移到k8s时,又被废弃 ü 结论: • 不符合蚂蚁的远期规划(k8s是我们的既定目标) • 会造成投资浪费(k8s铺开在即) 演进路线2分析 部署在 非k8s上0 码力 | 40 页 | 11.13 MB | 5 月前3陌陌Service Mesh架构实践
/02 /03 背景 问题 实践 微服务体系演进历程 架构痛点与解决思路 Service Mesh落地方案3/24 背景 /01 陌陌微服务体系演进历程4/24 单体应用到微服务 单体应用 微服务架构 应用拆分 加入PHP API层 PHP API层成为后续多语言服务治理的关键挑战5/24 微服务体系演进 MOA 1.0微服务体系演进历程 自研服务框架产品MOA(Momo service Architecture)于2013年初上线推广 微服务体系的其他产品也均为自研方案6/24 MOA 1.0微服务体系整体架构 注册中心 • Redis作为底层存储 • 跨语言地址发现服务Lookup • 中心化存活检测 多语言支持 • Java、PHP、Python、Go、NodeJs • Redis传输协议 / 复用Redis客户端 • 服务发布Proxy / 并行调用Proxy 服务治理 服务治理 • 服务治理平台、配置中心 • 监控、日志、分布式跟踪 • 异步调用、压测7/24 流量代理机制 PHP服务发布入流量代理 PHP并行调用出流量代理 16年起开始使用流量代理机制解决跨语言服务治理问题8/24 分享主题:字号 分享嘉宾 发布服务数 2000+ 注册实例数 2万+ 全天调用量 3500亿 微服务体系规模 服务量级的增长使得Java应用的服务治理问题0 码力 | 25 页 | 1.25 MB | 5 月前3云计算白皮书
年 1 月,工业和信息 化部等六部门出台《关于推动能源电子产业发展的指导意见》,明确 指出要加快云计算技术推广应用。2023 年 4 月,工业和信息化部等 八部门发布《关于推进 IPv6 技术演进和应用创新发展的实施意见》, 鼓励推动 IPv6 与云计算等技术的融合创新,促进云计算和网络协同 发展。 地方层面,各地结合上云用云现状,持续推动云计算与实体经 济融合走深。为推动实体经济数字化转型和创新发展,各省市根据 2022 年中国公有云 IaaS 厂商市场占比 (三)云计算技术不断推陈出新,满足多样性场景需求 助力产业升级 模式层面,应用现代化赋能全场景应用,加速产业数字化升级。 应用现代化是一个长期的、持续演进的,通过应用的现代化建设不 断贴近从而最终实现业务价值、达成企业战略目标的过程,涵盖旧 应用的现代化改造和新应用的现代化构建。云原生是云时代背景下 构建现代化应用的最典型技术方案,但应用现代化并非单纯依靠技 工程化运作成为平台产品,平台产品随着组织变化而演进,其各个 组件可根据实际使用情况来升级扩展。这类集成产品通常被称为内 部开发者平台,是工程团队已经部署的技术和工具之上的全新一层。 演进路线方面,容器云平台为开发者构建和运行分布式应用带来了 便利,但同时将复杂资源暴露给了开发者,知识门槛高,并且开发 者难以从众多资源中定位业务故障。而容器云平台及传统 PaaS 等经 过平台工程化,可演进为面向开发者的一站式平台,灵活组合0 码力 | 47 页 | 1.22 MB | 1 年前31.3 MOSN 在云原生的探索及实践
https://github.com/wangfakang MOSN 开源交流群2 目 录 MOSN 云原生演进历程 01 MOSN 网络层扩展思考和选型 02 对应解决方案和实践介绍 03 MOSN 开源进展同步 04 MOSN 云原生演进历程 MOSN 简介 — 演进历程 MOSN 从 Service Mesh 技术调研,到产品孵化,历经重重困难,最终通过双 11 规模化验证。借力开源、反哺开 MOSN 简介 — 开源社区 Committer 非蚂蚁 蚂蚁 定位:云原生网络代理平台 开源理念 社区是开源软件发展的动力 借力开源,反哺开源 持续向云原生演进 Star: 3100 Committer: 10 Contributor: 78 Corporate users: 20+ Commits: 4894 Release: 27 MOSN 简介 MOE = MOSN + Envoy 相互融合,各取所长 在 Service Mesh 领域,Envoy 和 MOSN 作为 其数据面 Sidecar 之一 ,用于解决传统服务治 理体系下的痛点如:多语言中间件组件开发适配 成本高、SDK 升级困难、技术复用度差、治理体 系不统一等。 MOE 背景介绍 — 为什么做 用户痛点 • east-west、north-south Gateway 技术栈不统一,0 码力 | 36 页 | 35.61 MB | 1 年前3
共 151 条
- 1
- 2
- 3
- 4
- 5
- 6
- 16