微博在线机器学习和深度学习实践-黄波
规模 深度 1 平台背景 算法/模型 计算 数据/特征 存储 基础/IDE 业务 调度 集群 2 平台架构 计算 机器学习平台 Feed排序 推荐流 文本分类/检测 Hadoop/Spark 集群 数据仓库集群 高性能GPU集群 Hdfs/Odps TensorFlow /Caffe 图像/视频分类 阿里云计算集群 实时计算集群 业务 Storm/Flink 模型开发 特征工程 建设 平台 接入平台(业务B) 接入 平台 业务开发 模型开发 特征工程 3 平台效果 总结篇 SUMMARY 微博技术里程碑和业务生态 13 2008年 Hadoop 2009年 微博Feed 2011年 开放平台 2013年 大数据 2015年 机器学习 2016年 机器学习平台 2017年 大规模机器学习 深度学习平台 2018年 在线机器学习0 码力 | 36 页 | 16.69 MB | 1 年前3TensorFlow on Yarn:深度学习遇上大数据
设备亲和性影响较小 设备亲和性影响较大 TensorFlow on Yarn技术细节揭秘 Yarn支持GPU调度ResourceManager端实现:� 扩展org.apache.hadoop.yarn.api.records.Resource抽象类及其实现,增加:� � public abstract int getGpuCores();� � public abstract void0 码力 | 32 页 | 4.06 MB | 1 年前3
共 2 条
- 1