蚂蚁金服ServiceMesh数据平面 SOFAMosn深层揭秘 奕杉Agenda Ø背景 Ø构架 Ø能力 Ø性能 ØRoadMap背景为什么蚂蚁需要ServiceMesh Ø拥抱微服务，云原生 • SOFA 5规划落地 • 兼容K8S的智能调度体系 Ø运维体系的有力支撑 • LDC • 弹性伸缩 • 蓝绿/容灾/.. Ø金融级网络安全 • 金融级鉴权体系 • 云原生zero trust网络安全趋势

1 2023年03月 深度学习-深层神经网络 黄海广 副教授 2 神经网络的概念 3 神经网络的概念 ? 1 = ?1 1 ?2 1 ?3 1 4 神经网络的概念 我们不将输入层 看作一个标准的 层。 ? 1 = ?1 1 ?2 1 ?3 1 5 ?1 1 ?2 1 ?3 1 ?4 1 = . . . ?1 ሾ1]?. . . 反向传播算法 总结 20 5.深层神经网络 a[1] 1 a[1] 2 a[1] 3 输入层 隐藏层 输出层 X = A[0] a[1] 4 a[2] A[1] A[2] X Ŷ 这是一个隐藏层的神经网络，当 我们算神经网络的层数时，我们 不算输入层，我们只算隐藏层和 输出层。 左边这个网络是两层神经网络。 21 5.深层神经网络 x[2] x[3]

本章目录 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 3 03 长短期记忆(LSTM) 04 双向循环神经网络 1.序列模型概述 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 4 1.序列模型概述 循环神经网络（RNN）之类的模型在语音识别、自然语言处理和 它是如何实现的？ 7 03 长短期记忆(LSTM) 04 双向循环神经网络 2.循环神经网络(RNN) 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 8 2.循环神经网络(RNN) ?<1> = ?1(????<0> + ????<1> + ??) ̰? <1> = ?2(????<1> + ??) ? = ?1( 10−10， 15 03 长短期记忆(LSTM) 04 双向循环神经网络 3.长短期记忆(LSTM) 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 16 3.长短期记忆(LSTM) L L L L L L L C C C C C C C FC SM L L L C C C 17 3.长短期记忆(LSTM) L

络。神经网络方向的研究经历了两起两落。从 2012 年开始，由于算法效果极为显著，深层 神经网络技术在计算机视觉、自然语言处理、机器人等领域取得了重大突破，部分任务上 甚至超越了人类智能水平，开启了以深层神经网络为代表的人工智能的第三次复兴。深层 神经网络也有了一个新名字，叫作深度学习。一般来讲，神经网络和深度学习的区别并不 大，深度学习特指基于深层神经网络实现的模型或算法。人工智能、机器学习、神经网络 和深度学习四者之间的关系如图 规模神经网络的训练成为可能。 2006 年，Geoffrey Hinton 首次提出深度学习的概念。2012 年，8 层的深层神经网络 AlexNet 发布，并在图片识别竞赛中取得了巨大的性能提升，此后几十层、数百层、甚至 上千层的神经网络模型相继提出，展现出深层神经网络强大的学习能力。业界一般将利用 深层神经网络实现的算法称作深度学习，本质上神经网络和深度学习可认为是相同的。 现在简单来比较一下深度学习算法与其它算法的特点。如图 是如何设计特征，以及特 征方法的优劣性非常的关键，同时也比较困难。神经网络的出现，使得人为设计特征这一 部分工作可以让机器自动完成学习，不需要人类干预。但是浅层的神经网络的特征提取能 力较为有限，而深层的神经网络擅长提取高层、抽象的特征，因此具有更好的性能表现。 针对特定任务 的检测逻辑 输出逻辑 人为设计的 特征检测方法 输出逻辑 特征提取网络 (浅层) 输出子网络 底层特征提取

如果计算一下的话，可得知数据量为12288 12 01 计算机视觉概述 02 卷积神经网络概述 03 卷积神经网络计算 04 卷积神经网络案例 本章目录 13 深层神经网络和卷积神经网络 Input Layer Hidden Layers Output Layer a[4] X Ŷ a[1] 1 a[1] 2 a[1] 3 a[1] n a[3] 1 a[3] 2 a[3] 3 a[3] n 进行卷积计算，处理大量特征 14 深层神经网络和卷积神经网络 15 卷积神经网络 深度学习=表示学习+浅层学习 16 多层卷积能抽取复杂特征 浅层学到的特征为简单的边缘、角 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等 17 边缘检测 神经网络的前几层是通常检测边缘 的，然后，后面的层有可能检测到

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 7.5.1 训练深层网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 7.5.2 批量规范化层 . 大学生看起来往往与老年人有很 大的不同。 在接下来的章节中，我们将讨论因违背独立同分布假设而引起的问题。目前，即使认为独立同分布假设是理 所当然的，理解泛化性也是一个困难的问题。此外，能够解释深层神经网络泛化性能的理论基础，也仍在继 续困扰着学习理论领域最伟大的学者们。 当我们训练模型时，我们试图找到一个能够尽可能拟合训练数据的函数。但是如果它执行地“太好了”，而不 能对看不见的数据做 更复杂的问题。例如，再生核希尔伯特空间（RKHS）65 允许在非线性环境中应用为线性函数引入的工具。不 幸的是，基于RKHS的算法往往难以应用到大型、高维的数据。在这本书中，我们将默认使用简单的启发式方 法，即在深层网络的所有层上应用权重衰减。 小结 • 正则化是处理过拟合的常用方法：在训练集的损失函数中加入惩罚项，以降低学习到的模型的复杂度。 • 保持模型简单的一个特别的选择是使用L2惩罚的权重衰减。这会导致学习算法更新步骤中的权重衰减。

限制模型自主优化空 间 需求导向 描述问题背景与目标， 由模型规划解决路径 复杂问题、需模型自主 推理 “我需要优化用户登录流程， 请分析当前瓶颈并提出3种方 案。” ✅ 激发模型深层推理 ❌ 需清晰定义需求边界 混合模式 结合需求描述与关键 约束条件 平衡灵活性与可控性 “设计一个杭州三日游计划， 要求包含西湖和灵隐寺，且 预算控制在2000元内。” ✅ 兼顾目标与细节 阐述品牌为目标受众提供的核心价值和独特利益。说明这些价值如何解决客户的具体 问题或满足其需求。 （6）情感连接点： 描述一个能与目标受众产生强烈情感共鸣的品牌元素或故事。解释这个元素如何与受 众的深层需求或价值观相连。 （7）定位声明： 综合以上要素，创作一个简洁有力的定位声明。这个声明应清晰传达品牌是什么、为 谁服务、提供什么独特价值。 （8）视觉识别： 提出2—3个能直观体现品牌定位的 （1）逻辑展开： - 论点之间：递进/并列/转折关系明确 - 论据支撑：多维度佐证，避免单一类型证据 （2）思维深度： - 表层：现象描述与问题呈现 - 中层：原因分析与逻辑推导 - 深层：本质洞察与规律总结 （3）风格把控： - 语言基调：专业中立 - 专业术语：核心术语解释到位 - 表达方式：逻辑严谨，生动易懂 注意事项： 1. 避免观点过于绝对 2. 确保数据来源可靠

限制模型自主优化空 间 需求导向 描述问题背景与目标， 由模型规划解决路径 复杂问题、需模型自主 推理 “我需要优化用户登录流程， 请分析当前瓶颈并提出3种方 案。” ✅ 激发模型深层推理 ❌ 需清晰定义需求边界 混合模式 结合需求描述与关键 约束条件 平衡灵活性与可控性 “设计一个杭州三日游计划， 要求包含西湖和灵隐寺，且 预算控制在2000元内。” ✅ 兼顾目标与细节 阐述品牌为目标受众提供的核心价值和独特利益。说明这些价值如何解决客户的具体 问题或满足其需求。 （6）情感连接点： 描述一个能与目标受众产生强烈情感共鸣的品牌元素或故事。解释这个元素如何与受 众的深层需求或价值观相连。 （7）定位声明： 综合以上要素，创作一个简洁有力的定位声明。这个声明应清晰传达品牌是什么、为 谁服务、提供什么独特价值。 （8）视觉识别： 提出2—3个能直观体现品牌定位的 （1）逻辑展开： - 论点之间：递进/并列/转折关系明确 - 论据支撑：多维度佐证，避免单一类型证据 （2）思维深度： - 表层：现象描述与问题呈现 - 中层：原因分析与逻辑推导 - 深层：本质洞察与规律总结 （3）风格把控： - 语言基调：专业中立 - 专业术语：核心术语解释到位 - 表达方式：逻辑严谨，生动易懂 注意事项： 1. 避免观点过于绝对 2. 确保数据来源可靠

析过程中，从多个维度（如时间、 语言、地区）深入挖掘数据意义和 关联性，进一步总结趋势结论并提 出相关建议。  Kimi k1.5该任务中表现最为出色，对特征进行精准分类，从多维度深入挖掘指定数据的深层内涵和关联性；  DeepSeek R1与Claude 3.5 sonnet同样能准确完成数据的分类任务，但数据之间的关联挖掘程度相对较浅；  Open AI o3mini受附件上传限制影响，由于数据集较大，暂不能完成该任务。 探索“舆论分析”概念的基础理论、哲学基础或科学原理等深层次原理，提出挑战这些基础的前所未有的突破性十个问题。 舆论分析这个概念在最前沿科技或理论中的潜在应用，列出十个充满想象力和震撼性，前所未有的应用。 如果要量化研究审美智能概念，请提出一个合理的，有效的，各指标不重叠的，你自己能提取数据的指数体系框架，不少于三十 个指数。 请大家研究任何问题，先用这四个提示词进行提问。一是跨学科融合，二是深层次原理，三是概念前沿应用，四是如何量化分析。

对整个搜索系统进行升级改造，并打造基于知识图谱的分层排序架构（详情可以参见 点评搜索智能中心在 2019 年初推出的实践文章《大众点评搜索基于知识图谱的深度 学习排序实践》）。这意味着：更多需要模型预估的文档，更多的特征，更深层次的模 型，更多的模型处理层级，以及更多的业务。在这样的需求背景下，老框架开始出现 了一些局限性，主要包括以下三个层面： 6 > 美团 2020 技术年货 ● 性能瓶颈：核心层的模型预估的 模型，Transformer 语义特征提取能力更强，具备长距离特征捕获能 力，且可以并行训练，在机器翻译等 NLP 任务上效果显著。Open AI 团队的 GPT[7] 使用 Transformer 替换 RNN 进行深层单向语言模型预训练，并通过在下游任务上 Fine-tuning 验证了 Pretrain-Finetune 范式的有效性。在此基础上，Google BERT 引 入 了 MLM（Masked Language 联合训练模型目前还在实验当中，离线实验已经取得了不错的效果，在验证集上 AUC 提升了 234BP。目前，场景切分依赖 Query 意图模块进行硬切分，后续自动 场景切分也值得进行探索。 应用实践 由于 BERT 的深层网络结构和庞大参数量，如果要部署上线，实时性上面临很大挑 战。在美团搜索场景下，我们对基于 MT-BERT Fine-tuning 好的相关性模型（12 层）进行了 50QPS 压测实验，在线服务的