构建基于富媒体大数据的弹性深度学习计算平台
构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they? 内容审核团队 运营分析团队 AI? Content 分类 检测 分割 跟踪 描述 搜索 分析 …0 码力 | 21 页 | 1.71 MB | 1 年前3Visdom可视化
Visdom可视化 主讲人:龙良曲 TensorBoard? TensorboardX ▪ pip install tensorboardX TensorboardX Visdom from Facebook Step 1. install Step2. run server damon Step2. run server damon install from source lines:0 码力 | 17 页 | 1.47 MB | 1 年前3动手学深度学习 v2.0
. . . . . . . . . . . . . . . . 71 2.5.3 分离计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 . . . . . . . . . . . . . . . . . . . . . . . 2 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 3.2.3 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.4 定义模型 . . . 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.3.4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 . .0 码力 | 797 页 | 29.45 MB | 1 年前3阿里云上深度学习建模实践-程孟力
阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景 OCR识别 人脸核身 智能风控 自动驾驶 语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战: 2.模型效果优 化困难 化困难 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 1.方案复杂 从FM到DeepFM rt 增 加了10倍怎么优化? 手里面只有5张图片, 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 多种模型 ✗ 海量参数 ✗ 海量数据 从FM到DeepFM rt 增 加了10倍怎么优化? 2.模型效果优 化困难 1.方案复杂 Data Model Compute Platform 要求: 准确: 低噪声 全面: 同分布 模型选型: 容量大 计算量小 训练推理: 高qps, 低rt 支持超大模型 性价比 流程长、环节多: 推荐场景: 召回0 码力 | 40 页 | 8.51 MB | 1 年前3房源质量打分中深度学习应用及算法优化-周玉驰
贝壳找房 - 数据智能中心 - 策略算法部 AI选房中深度学习的实践及优化 2019 KE.COM ALL COPYRIGHTS RESERVED 2 2019 KE.COM ALL COPYRIGHTS RESERVED 2 2019 KE.COM ALL COPYRIGHTS RESERVED 3 自我介绍 周玉驰 硕士毕业于中科院 先后就职于华为,百度和医渡云 目前就职于贝壳找房 需要强大的房源质量盘点工具 • 找到好房难度大,成本高 挑战 200万 贝壳全部房源 2019 KE.COM ALL COPYRIGHTS RESERVED 7 目标&价值 平台 提升去化率 经纪人 提升效率和业绩 客户 降低看房成本 业主 缩减销售时长 市场需求恒定,优先成交好房 核心思想 选出好房 核心问题 提升带看效率 加速成交 核心价值 KE.COM ALL COPYRIGHTS RESERVED 16 v1.0 - 初版模型系统概览 • 房源特征 静态特征 时序特征 • 特征处理 特征提取 特征组合 离散化 • 模型预测 XGBoost • 分数映射 房源质量分数 M 2019 KE.COM ALL COPYRIGHTS RESERVED 17 房源特征 6大方向设计了90维特征0 码力 | 48 页 | 3.75 MB | 1 年前3如何利用深度学习提高高精地图生产的自动化率-邹亮
0 码力 | 34 页 | 56.04 MB | 1 年前3QCon2018北京-基于深度学习的视频结构化实践-姚唐仁
《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师/姚唐仁� • 围绕海量数据提供创新的云服务,帮助客户缩短想法到产品的距离 • 创立6年,每年超过300%的业绩增长 • 已完成5轮融资,累计超过20亿 • 长期服务70多万企业用户和开发者 • 文件数超过2000亿,每日新增文件20亿 • 覆盖全球300个节点 • 覆盖金融、公安、广电媒体、互联网等行业 • 国内领先的云计算厂商 关于七牛云 智能多媒体服务 数据洞察 机器学习 内容生产者 内容消费者 内容采集 (上传加速) 内容分发 海量存储 海量富媒体数据的业务布局 视觉智能 Vision Intelligence 数据智能 Data Intelligence 海量存储 ���� ���� ���� 弹性计算 ��� ��� 视觉-最重要的信息感知 2017中国网络视频用户情况 ����2017������������� 传统视频摘要 vs AI视频结构化 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础 传统手工摘要 AI视频结构化 视频结构化场景 视频分解 基础模型要素 ��1�01:02:03-01:10:05� ��1����� �� ��0 码力 | 39 页 | 38.01 MB | 1 年前3【PyTorch深度学习-龙龙老师】-测试版202112
础要求较少的,读者在学习本书的过程中会自然而然地了解算法的相关背景知识,体会到知 识是为了解决问题而生的,避免陷入为了学习而学习的窘境。 尽管作者试图将读者的基础要求降到最低,但是人工智能不可避免地需要使用正式化的 数学符号推导,其中涉及到少量的概率与统计、线性代数、微积分等数学知识,一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础,读者需要有少量的编程经验,特 别是 Python 语言编程经 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch MNIST 测试实战 5.9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.40 码力 | 439 页 | 29.91 MB | 1 年前3华为云深度学习在文本分类中的实践-李明磊
华为云深度学习在文本分类中的实践 华为 Cloud&AI 李明磊 3 2 3 1 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 4 文本分类介绍 内容: 买没几天就降价一点都不开心,闪存跑分就五百多点点 --- 外观漂亮音质不错,现在电子产品基本上都是华为的了 --- 汽车不错,省油,性价比高 --- 这个政策好啊,利国利民 --- 85 0.9 0.95 人工标注 系统标注 效果:F1 未标注集合 ???????????? ???????????? 种子语料 机器学习模型 人工标注 15 华为云主动学习平台 16 华为云主动学习平台 17 1 2 4 3 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 18 情感分析 0.00% 20.00% 40.00% 60.00% 细粒度情感分析 0.75 0.8 0.85 0.9 0.95 1 动力 外观 内饰 空间 操控 油耗 舒适性 性价比 汽车细粒度情感分析各属性结果 Accuracy F 定制化Loss,单模型多输出 数据标注灵活 结合数据增强,针对不均衡数据做优化 评论 动力 外观 空间 油耗 2.0T涡轮增压发动机动力强,高速120超车没压力;外观是我和老婆都比较喜欢的 款;后排空间有点小;有点费油啊。0 码力 | 23 页 | 1.80 MB | 1 年前3微博在线机器学习和深度学习实践-黄波
推荐场景 • 推荐 • 在特定场景下,根据用户行为和特点,向用户推荐感兴趣的对象集 • 模型: • 趋势 • 实时化:在线机器学习 • 深度化:深度学习 • 平台化:机器学习平台 2 推荐 • 实时化 • 特征实时化:更及时反馈用户行为,更细粒度刻画用户 • 模型实时化:根据线上样本实时训练模型,及时地反映对象的线上变化 模型推理 预测服务 实时特征 实时数据 3 在线机器学习 堆积监控,实时报警 • 如何解决内存问题 • 调整内存参数 • 关闭多余的监控点 • 如何异常处理 • 自动化监控与修复系统 • Checkpoint 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练:Flink/Blink+WeiPS 样本生成和特征处理 1.配置化 2.多标签样本 3.支持高维HASH 训练预处理 1.标签选择 2.标签UDF 3.样本过滤 4.特征过滤 模型训练 1.支持回归和分类 2.支持LR、FM、 DeepFM等模型 3.支持SGD 、 FTRL 、 Adagrad等优化算法 模型评估 1.独立模型评估 2.配置化 3.UI展示 3 在线机器学习-实时模型训练 • 模型选择 • LR : 基础模型,对特征工程依赖较强 • FM:大规模稀疏数据下的特征组合问题 • DeepFM • 优化算法选择 •0 码力 | 36 页 | 16.69 MB | 1 年前3
共 77 条
- 1
- 2
- 3
- 4
- 5
- 6
- 8