云原生开放智能网络代理 MOSN 金融级云原生架构助推器 肖涵（涵畅） 蚂蚁金服高级技术专家 SOFAMosn 项目负责人1/10 MOSN，云原生时代的安全网络代理 Service Mesh 控制面 Galley Pilot Pod SOFA 服务 MSON Kubernetes TLS，国密 服务鉴权 Mirror Ingress Controller Pod Msg 可运维  可扩展 • 多版本发布 • 压测引流 • 服务分组 • 加密链路 • 国密算法 • 服务鉴权 • TCP、Http、SOFA • 透明劫持 • 平滑升级 • 可观测性 • 网络包过滤器 • 协议包过滤器 • 协议扩展 • 可观测性扩展 • 路由扩展 • 集群管理扩展 模块化 安全 智能 高性能3/10 MOSN 助力业界最大规模之一的 Service Mesh

蚂蚁金服网络代理演进之路 肖涵（涵畅） 蚂蚁金服高级技术专家 2019.10.26 Service Mesh Meetup #7 成都站网络代理是什么？ 南北流量 东西流量 Server App 负载均衡器 NAT网关 防火墙 负载均衡器 NAT网关 防火墙 负载均衡器 负载均衡器 路由器 路由器 Internet网络代理有什么？ Maglev Ipvs Katran GFE BFE TGW Nginx Apache httpd SOFAMosn Envoy Linkerd网络的挑战网络的挑战 高效接入 访问加速 容量 稳定性 高可用 灵活弹性 安全合规 防攻击蚂蚁金服网络接入十年变迁 2010年前部署商用设备 前世 01 2010 开始网络代理白盒 化，定制业务逻辑，软 硬件一体解决方案 自研 02 2015 年无线通道协议，安 全升级， 再启程 03前世 F5 BigIP Netscaler自研四层网络代理 2011 2014 2018 未来 Ø 全面使用DPDK技术重构 Ø EBPF，XDP Ø 可编程交换芯片（P4语言） Ø 四层负载均衡-IPVS Ø NAT网关蚂蚁七层网络代理 Google Spanner?蚂蚁七层网络接入代理 Spanner蚂蚁七层网络接入代理 AGNA （Ant Global Network

CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。 前者适合快速反馈，处理即时任务；后者通过推理解决复杂问题。了解它们的差异有助于根据任务需求选择合 适的模型，实现最佳效果。 提示语策略差异 1 2 推理模型 通用模型 • 提示语更简洁，只需明确任务目标和 需求（因其已内化推理逻辑）。 • 无需逐步指导，模型自动生成结构化 推理过程（若强行拆解步骤，反而可 能限制其能力）。 避免误区 • 不要对推理模型使用“启发式”提示（如角色扮演），可能干扰其逻辑主线。 • 不要对通用模型“过度信任”（如直接询问复杂推理问题，需分步验证结果）。 从“下达指令”到“表达需求” 策略类型 定义与目标 适用场景 示例（推理模型适用） 优势与风险 指令驱动 直接给出明确步骤或 格式要求 简单任务、需快速执行 “用Python编写快速排序函 数，输出需包含注释。” ✅ 结果精准高效 探索性问题、需模型解 释逻辑 “为什么选择梯度下降法解 决此优化问题？请对比其他 算法。” ✅ 触发模型自解释能力 ❌ 可能偏离核心目标 任务需求与提示语策略 任务类型 适用模型 提示语侧重点 示例（有效提示） 需避免的提示策略 数学证明 推理模型 直接提问，无需分步引导 “证明勾股定理” 冗余拆解（如“先画图，再列公式”） 通用模型 显式要求分步思考，提供示例 “请分三步推导勾股定理，参考：

CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。 前者适合快速反馈，处理即时任务；后者通过推理解决复杂问题。了解它们的差异有助于根据任务需求选择合 适的模型，实现最佳效果。 提示语策略差异 1 2 推理模型 通用模型 • 提示语更简洁，只需明确任务目标和 需求（因其已内化推理逻辑）。 • 无需逐步指导，模型自动生成结构化 推理过程（若强行拆解步骤，反而可 能限制其能力）。 避免误区 • 不要对推理模型使用“启发式”提示（如角色扮演），可能干扰其逻辑主线。 • 不要对通用模型“过度信任”（如直接询问复杂推理问题，需分步验证结果）。 从“下达指令”到“表达需求” 策略类型 定义与目标 适用场景 示例（推理模型适用） 优势与风险 指令驱动 直接给出明确步骤或 格式要求 简单任务、需快速执行 “用Python编写快速排序函 数，输出需包含注释。” ✅ 结果精准高效 探索性问题、需模型解 释逻辑 “为什么选择梯度下降法解 决此优化问题？请对比其他 算法。” ✅ 触发模型自解释能力 ❌ 可能偏离核心目标 任务需求与提示语策略 任务类型 适用模型 提示语侧重点 示例（有效提示） 需避免的提示策略 数学证明 推理模型 直接提问，无需分步引导 “证明勾股定理” 冗余拆解（如“先画图，再列公式”） 通用模型 显式要求分步思考，提供示例 “请分三步推导勾股定理，参考：

Eureka，我们只能兼容，而且我们不出去，不成为默认标准，不知道未来还 要被迫兼容更多不如我们的产品，这对我们来说是⼀个灾难。因此我们决定开源。 迎面而来的是第二个问题，开源的定位和竞争力是什么？ 内部三个产品的开源策略是什么？ 由于当时 Spring-cloud 的崛起，微服务多个模块逐步被划分，包括注册中心、配置中心，如果从 产品定位上，期望定位简单清晰，利于传播，我们需要分别开源我们内部产品，这样又会分散我们 Distro 算法是集 Gossip 以及 Eureka 协议的优点并加以优化而出 来的，对于原生的 Gossip，由于随机选取发送消息的节点，也就不可避免的存在消息重复发送给同 ⼀节点的情况，增加了网络的传输的压力，也给消息节点带来额外的处理负载，而 Distro 算法引入 了权威 Server 的概念，每个节点负责⼀部分数据以及将自己的数据同步给其他节点，有效的降低 了消息冗余的问题。 早期的 的每台机器上都维护了当前的所有注册上来的非持久化实例数 据。 数据校验 在 Distro 集群启动之后，各台机器之间会定期的发送心跳。心跳信息主要为各个机器上的所有数据 的元信息（之所以使用元信息，是因为需要保证网络中数据传输的量级维持在⼀个较低水平）。这 种数据校验会以心跳的形式进行，即每台机器在固定时间间隔会向其他机器发起⼀次数据校验请求。 ⼀旦在数据校验过程中，某台机器发现其他机器上的数据与本地数据不⼀致，则会发起⼀次全量拉

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 527 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1799 12.5.6 PD 调度策略最佳实践 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2511 13.12.2 TiProxy 负载均衡策略 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 523 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1541 12.5.6 PD 调度策略最佳实践 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2493 13.13.2 TiProxy 负载均衡策略 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 455 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1474 12.5.6 PD 调度策略最佳实践 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2492 13.14.2 TiProxy 负载均衡策略 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

阿里巴巴国际的 Macro-o1、通义 千问团队的 QwQ、上海人工智能实验室的 LLaMA-O1 和清华大学的 Llama-3.2V-11B-cot。 这些模型不仅在技术上各具特色，还通过开源策略分享了大量研究细节，为整个开源社区提供了 23 / 111 丰富的资源，在这一过程中，小模型不仅在推理能力上有了显著提升，也推动了行业整体技术水 平的进步。 结合当前人工智能产业界的“人工智 文/顾钧 “开源”是指采用符合 OSI 官方认可的软件许可证进行软件发布的行为。目前大模型的“开 源”与传统的开源定义并不相同。我所说的开源策略是指以开源发布软件为起点，用户/开发者 运营为途径的软件产品推广策略。 我的观点是，开源策略是大模型最好的竞争策略。接下来让我们从头捋一捋推导过程。 我们先看大模型赛道的整体状况：  大模型是一项相对较新的技术。尽管 OpenAI 早在 2019 年就发布了第一个重要的 局都全了。 以上，大模型赛道的元素非常丰富，各种商业化方法的排列组合都不缺，为我们的分析与推 演提供了可贵的素材。对软件商业化问题感兴趣的朋友一定要长期关注这个赛道。只有这样的对 象才能更有力地说明开源策略的重要性。 其次，我们得明确一点——大模型竞争的赛点是什么？常用的判断依据包括：技术的先进性， C 端用户基数，依赖这个软件的生态系统大小等等。其中哪个更关键一点？ 技术先进是好事，但大模型领