阿里云上深度学习建模实践-程孟力
SDK/API 多语言、国际化 多种证件版式 准确率领先同类产品 集成方便 标准化: Standard Solutions 智能推荐解决方案: 推荐请求 PAI-Studio–建模平台 召 回 模 型 EasyRec GraphLearn Alink 排 序 模 型 模型训练评估 PAI-EAS – 模型推理 model1 model2 … PAI-ABTest 计算引擎(MaxCompute / EMR / Flink) 基础硬件(CPU/GPU/FPGA/NPU) 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版 • 所见即所得 交互式建模(DSW) • JupyterLab、WebIDE • 多框架兼容 • 可视化+tensorboard • 图像、视频、文本、 语音标注 • 多场景模板:物体检 测、语音识别 • 数据集管理 • 一键部署、弹性扩缩 • 多框架、多语言 • 推理优化Blade • 多维度监控+报警 • 自定义镜像 • 全托管+半托管 • 分布式训练优化 • 超大资源池 智能标注 可视化建模(Designer) 分布式训练(DLC) 在线服务(EAS) 生态市场 开发者工具 • CLI • PAIFlow • OpenAPI AI能力 体验中心 开源 PAI平台(Platform0 码力 | 40 页 | 8.51 MB | 1 年前3统一建模语言 UML 参考手册 - 基本概念
统一建模语言参考手册 统一建模语言参考手册 统一建模语言参考手册 统一建模语言参考手册� 基本概念 基本概念 基本概念 基本概念� � 翻译 Adams Wang ���� �������� ��������� ��������� ���������� ������� � James Rumbaugh Ivar Jacobson Grady Booch � 译者序 译者序 译者序 译者序 译者序� 统一建模语言 ��� 是一种直观化 明确化 构建和文档化软件系统产物的通用可视 化建模语言 ��� 由面向对象领域的三位大师 ������ ����� ���� �������� 和 ����� �������� 于 ���� 年发布 并提交给 ��� ��� 于 �� 月为 ��� 所采用 现已成为业界 标准 � 本文讲述了 ��� 基本概念 为 ��� 的深入理解提供一个起点 对 ��� 的视图 概念作了简单的介绍 然后 在后续的 章节中 静态视图 用例视图 状态机视图 活动视图 交互视图 物理视图 模型管理 视图 扩展机制 对各个视图进行详细的讨论 它们分别从静态建模机制 动态建模机制 模型管理机制以及扩展机制对 ��� 进行探讨 � ��� 标准元素讨论了一些与核心概念的区别较小或者重要性不足以被包括至 ��� 核心 概念的元素 原文中仅有标准元素表 为了便于大家的理解0 码力 | 123 页 | 2.61 MB | 1 年前3领域驱动设计&中台/领域建模的易与难
0 码力 | 27 页 | 2.85 MB | 1 年前3领域驱动设计&中台/基于DDD的领域建模中的模版和工具实践
0 码力 | 36 页 | 3.81 MB | 1 年前32020美团技术年货 算法篇
模型大放光彩,比如 BERT[2] 等等, 将 Transformer 结构应用于搜索推荐系统也成为业界的一个潮流。比如应用于对 CTR 预估模型进行特征组合的 AutoInt[3]、行为序列建模的 BST[4] 以及重排序模型 PRM[5],这些工作都证明了 Transformer 引入搜索推荐领域能取得不错的效果,所 以美团搜索核心排序也在 Transformer 上进行了相关的探索。 输入信号 的编码,得到信号的表示。 美团搜索排序 Transformer 实践经验 Transformer 在美团搜索排序上的实践主要分以下三个部分:第一部分是特征工程, 第二部分是行为序列建模,第三部分是重排序。下面会逐一进行详细介绍。 特征工程 在搜索排序系统中,特征工程的输入特征维度高但稀疏性很强,而准确的交叉特征对 模型的效果又至关重要。所以寻找一种高效的特征提取方式就变得十分重要,我们借 Embedding 大小对结果影响不大。 ● Transformer 和 MLP 融合的时候,最后结果融合和先 concat 再接一个全连 接层效果差不多。 28 > 美团 2020 技术年货 行为序列建模 理解用户是搜索排序中一个非常重要的问题。过去,我们对训练数据研究发现,在训 练数据量很大的情况下,item 的大部分信息都可以被 ID 的 Embedding 向量进行表 示,但是用户 ID0 码力 | 317 页 | 16.57 MB | 1 年前32022年美团技术年货 合辑
1161 数据 1193 Kafka 在美团数据平台的实践 1193 美团综合业务推荐系统的质量模型及实践 1218 业务数据治理体系化思考与实践 1233 数据治理一体化实践之体系化建模 1263 vi > 2022年美团技术年货 运维 / 安全 1277 数字化新业态下数据安全创新——Token 化 1277 Linux 中基于 eBPF 的恶意利用与检测机制 1293 并不会随着网络训练的过程而调整。 近年来,也出现不少基于动态标签分配的方法,此类方法会根据训练过程中的网络输 出来分配正样本,从而可以产生更多高质量的正样本,继而又促进网络的正向优化。 例如,OTA[7] 通过将样本匹配建模成最佳传输问题,求得全局信息下的最佳样本匹 配策略以提升精度,但 OTA 由于使用了 Sinkhorn-Knopp 算法导致训练时间加长, 而 SimOTA[4] 算法使用 Top-K 近似策略来得到样本最佳匹配,大大加快了训练速 赛中 发挥关键作用的 AutoML 技术框架,包括自动化特征工程,自动化模型优化,自动化 算法 < 39 模型融合等,以及如何通过该技术框架系统性建模不同的问题。最后再介绍以上比赛 形成的通用方法,即面对一个新问题,如何进行分析、理解、建模、与挑战解决、从 而实现问题的深度优化。 本文主要面向以下两类读者,其他感兴趣的同学也欢迎了解。 ● 算法比赛爱好者,希望理解国际数据挖掘顶级比赛冠军方案的方法与逻辑,取0 码力 | 1356 页 | 45.90 MB | 1 年前32.1.7 谈如何构建易于拆分的单体应用
谈如何构建易于拆分的单体应⽤ 郑渊 腾讯公司 ⾼级⼯程师 ⽬ 录 微服务架构的困境与突破 01 建模:通过表象看本质 02 基于go-kit构建易拆分的单体应⽤ 03 总结 04 微服务架构的困境与突破 第⼀部分 微服务架构的困境与突破 01 Monolith to Microservices To move from Monolithic to Microservices Microservice) 1. 建模⽅法不只有领取驱动设计-DDD,还有⽤例驱动 设计-UDD等; 2. 并不是开始进⾏微服务拆分的时候才⽤到对应的建 模⽅法,在设计单体架构下同样也需要; ➢ 合适的时机选择合适的架构,⼤多数情况下单体先⾏, 尤其是对于创业公司或者⼤公司内部的创业项⽬ or ⼩项 ⽬ ➢ 选择基础设施相对完善的云平台和合适的业务框架 03 突破 建模:通过表象看本质 第⼆部分 第⼆部分 建模:通过表象看本质 ➢ 软件开发过程:描述软件开发全过程、软件开发活动以及他们之间关系的结构框架。 。。。 常⻅的软件开发模型 RUP开发模型 业务建模 01 软件开发过程 建模:通过表象看本质 ➢ 建模:对现实世界特征的模拟和抽象,⽐如机械模型,汽⻋模型等。 02 何为建模 ➢ 不同的想法 1. 不⽤建模,搞出来的系统照样跑的好好 的; 2. ⼈⼒不⾜,先顶住再优化;0 码力 | 27 页 | 13.04 MB | 1 年前3Greenplum机器学习⼯具集和案例
- 在线注册 - ⽹网⻚页浏览历史 - 地理理信息数据 - 业务部⻔门信息 - ⽹网站⽤用户信息 • TB 级别数据 • 1000+ 特征 平台 建模⼯工具 PL/pgSQL 数据和技术预览 2017.thegiac.com 数据整理理 数据准备 信息价值和证据权 重 成对相关性 删除⾼高度相关变量量 逻辑回归 3.33x 信息价值 ● ~450 个变量量,~30分 钟计算结果并写⼊入 excel ● 在 GPDB 中花 58 秒计 算 ~200 个变量量的IV 13.7x/变量量 建模 ● < 50 个变量量,运⾏行行⼀一 次逻辑回归迭代需要 ~30 分钟 ● 376 个变量量,运⾏行行⼀一次 逻辑回归迭代需要 ~1.86 分钟 ~16x/迭代 ⼯工作流程优化 真正率 = 66% 该模型善于预测不不会点击邮件的⽤用户, 但是⽆无法预测会点击邮件的⽤用户 该模型更善于预测会点击邮件的用户, 这样是用户真正关心的,能为公司带来 价值的用户群体 建模结果 2017.thegiac.com 改良前 改良后 X 对数据集的探索有限 ✓ 在Greenplum里充分探索了数据集 X 对Pivotal产品线不不熟悉 ✓ 在Greenplum上充分利用了MADlib0 码力 | 58 页 | 1.97 MB | 1 年前3网易数帆 领先的数字化转型技术与服务提供商 2021
数据准备 大屏 自助取数 移动应用 数据填报 全渠道 数据融合 会员 标签管理 用户分群 营销 活动管理 投放数据 追踪 活动数据 分析 特征治理 模型管理 交互式建模 可视化建模 在线推理 图分析 标签管理 画像分析 群组管理 API管理 支持数据产品研发 无代码平台,与 BI 、数据填报、复杂报 表、智能决策深度融合。 开放与集成能力 以标准类接口开放所有资源,支持集 通过信通院“大数据产品能力评测”商务智能工具评测 产品荣誉 文件类(CSV/TXT) 关系型/分布式数据库 API 接口 填报数据 大数据平台 数据连接 数据接入 SQL语句数据建模 可视化数据建模 轻量化 ETL 建模 对接数据中台模型 数据建模 数据分析 报告 智能图表推荐 多种高级算法 自助式 拖拽分析 智能AI 辅助分析 数据大屏 复杂报表 数据展示 数据门户 智能决策 自助取数 基于逻辑数据湖构建物理分 散、逻辑统一的数据中台体 系 , 让数据中台与底层计算存 储解耦。 先设计 后开发 业内首个提出中台的模型设 计标准,遵循先设计后开发理 念,通过模型设计中心对逻辑 建模进行指导。 统一指标管理 基线智能预警 海量任务运维和管理,提供 异常基线报警处理,辅助任务 运维人员完成工作。 数据资产360 建立集安全、价值、成本、质 量、标准于一体的健康评估指 标体系和优化工具,打造360°0 码力 | 43 页 | 884.64 KB | 1 年前3机器学习课程-温州大学-机器学习项目流程
数据清洗 03 特征工程 04 数据建模 3 1.机器学习项目流程概述 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 4 机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 特征工程 数据建模 6 机器学习的一般步骤 数据搜集 数据清洗 特征工程 数据建模 • 基于性能指标比较几种机 器学习模型 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 • …… 7 2.数据清洗 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗? 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序,包 括检查数据一致性,处理无效值和缺失值等。与问卷审核不同,录入后 的数据清理一般是由计算机而不是人工完成。 探索性数据分析(EDA)是一个开放式流程,我们制作绘图并计算 统计数据,以便探索我们的数据。 •目的是找到异常,模式,趋势或关系。 这些可能是有趣的(例如, 找到两个变量之间的相关性),或者它们可用于建模决策,例如使 用哪些特征。 •简而言之,EDA的目标是确定我们的数据可以告诉我们什么! 探索性数据分析(EDA) 11 探索性数据分析(EDA) 单变量图显示此变量的分布 plt.hist()可以显示单变量图,也叫0 码力 | 26 页 | 1.53 MB | 1 年前3
共 330 条
- 1
- 2
- 3
- 4
- 5
- 6
- 33