2020美团技术年货 算法篇
比赛冠军技术方案及在美团的实践 113 ICRA 2020 轨迹预测竞赛冠军的方法总结 132 KDD Cup 2020 AutoGraph 比赛冠军技术方案及在美团的实践 141 KDD Cup 2020 多模态召回比赛亚军方案与搜索业务应用 161 CIKM 2020 | 一文详解美团 6 篇精选论文 179 MT-BERT 在文本检索任务中的实践 192 美团无人车引擎在仿真中的实践 204 CenterMask 解读 215 WSDM Cup 2020 检索排序评测任务第一名经验总结 225 美团内部讲座|清华大学莫一林:信息物理系统中的安全控制算法 235 KDD Cup 2020 多模态召回比赛季军方案与搜索业务应用 252 对话任务中的“语言 - 视觉”信息融合研究 267 ICDM 论文:探索跨会话信息感知的推荐模型 278 自然场景人脸检测技术实践 289 技术解析 ),训练模型是找出最合适的参数 abc。所谓特征,是其中的自变量 x1 与 x2,而模型预估,就是将给定的自变量 x1 与 x2 代入公式,求得一个解而已。(当然 实际模型输出的结果可能会更加复杂,包括输出矩阵、向量等等,这里只是简单的举 例说明。) 所以在实际业务场景中,一个模型预估的过程可以分为两个简单的步骤:第一步,特 征抽取(找出 x1 与 x2);第二步,模型预估(执行公式 f,获得最终的结果)。0 码力 | 317 页 | 16.57 MB | 1 年前32022年美团技术年货 合辑
次 KDD Cup&Kaggle 冠军的经验分享:从多领域优化到 AutoML 框架 37 图神经网络训练框架的实践和探索 66 图技术在美团外卖下的场景化应用及探索 83 大规模异构图召回在美团到店推荐广告的应用 102 美团搜索粗排优化的探索与实践 116 美团外卖推荐情境化智能流量分发的实践与探索 129 大众点评搜索相关性技术探索与实践 152 美团 SemEval2022 度、中心点距离、纵横比等因素来衡量 两者之间的差距,从而指导网络最小化损失以提升回归精度,但是这些方法都没有考 虑到预测框与目标框之间方向的匹配性。SIoU 损失函数通过引入了所需回归之间的 向量角度,重新定义了距离损失,有效降低了回归的自由度,加快网络收敛,进一步 提升了回归精度。通过在 YOLOv6s 上采用 SIoU loss 进行实验,对比 CIoU loss, 平均检测精度提升 中,还可以用图表示 实体与实体间多样的关系。另一方面,深度学习技术在计算机视觉、自然语言处理、 语音处理等领域均已取得了巨大的成功。深度学习技术将图像、文本、语音等多种多 样的数据转化为稠密的向量表示,提供了表示数据的另一种方式。借助于硬件日益强 大的计算能力,深度学习可以从海量数据中学习到数据之间复杂多样的相关性。 这会让人不禁思考,深度学习能否应用到更广阔的领域,比如——图?事实上,早0 码力 | 1356 页 | 45.90 MB | 1 年前32.游戏战中陪伴助手微服务架构设计与应用
推荐系统接入——系统架构 推荐系统: 向量化 方案探索——资源点推荐 针对具体场景开发 - 专利:《一种在游戏中离线挖掘、实时推荐资源点的方案》 - 大数据挖掘资源出现位置 - 左:配置文件 - 右:大数据挖掘 - 不足: - 太 bug 了,限制使用 方案探索——聚类统计 模仿大多数玩家的选择 - 实现方法: - 为玩家生成 [0, 1] 特征向量 - 聚类统计,存入 Faiss Faiss 匹配召回 - 问题: - 特征过多(600多维),无法分析 - 聚类结果趋同 方案探索——关键帧 / 路径推荐 模仿某一个玩家的选择 - 专利:《一种在实时游戏对局中,模仿历史胜利玩家打法,并对当前玩家进行打法推荐的方案》 - 发明点:序列截断、偏移算法、帧前进、…… - 思考: - 学习/模仿历史已吃鸡玩家的走位 - 历史玩家的状态,也可作为策略 - 通过特征向量匹配历史玩家 - 运营可闭环策略设计,开发无需介入 方案详述——完整架构 先对整个架构有一个大概的认识 - 消息队列消费:解耦 MQ - Token 清洗:事件翻译和 token 计算 - 推荐系统:策略召回和推荐 - 数据分析:离线策略挖掘和模型训练 - 管理平台:开发、运营、运维辅助 实现方案——Token 清洗 Token 清洗服务完整流程 - 挑战:150+类 token,如何高内聚,降低0 码力 | 47 页 | 11.10 MB | 1 年前3Python的智能问答之路 张晓庆
gensim:训练word2vec • jieba:切词,统计生成PMI/TM词典 • difflib:调用SequenceMatcher生成edit-distance • fasttext:对词向量进行fine-tune,计算fasttext label • numpy:计算w2v cosine/fasttext cosine • wmd:计算wmd特征 • esim:计算lstm-esim特征 learn:调用LR训练模型 各个击破-评估 • 评估数据 Ø 领域均衡:6个领域,每个领域50个知识点 Ø 评估数据对标训练数据:每个知识点12个相似问用于训练,3个相似问用于评估 • 评估指标 Ø 准确率/召回率/F1值 婴儿咳嗽怎么食疗 新生儿黄疸吃什么药 没有快递取货码怎么办 宝宝流鼻水咳嗽可以喝什么么 新生儿黄疸可以服用的药物 取货吗被我不小心删了怎么办 宝宝咳嗽吃什么食疗好阿 什么药能治疗黄疸 宝宝有点咳嗽怎么食疗 退黄疸用什么药 怎么能知道取货码 各个击破-迭代 • badcase分析 • 设计有效特征 Ø IDF加权 • 强化特征语义表示能力 Ø 词袋模型语义表示能力弱 Ø 预训练词向量能提升模型的语义表示能力 Ø 深度学习网络让句子产生交互,能进一步提升语义表 示能力 Ø 领域内数据fine-tune是有效的 • 拥抱业界新兴模型 Ø bert+MTL 方法 领域1 领域20 码力 | 28 页 | 2.60 MB | 1 年前3美团点评旅游推荐系统的演进
•参与数据平台搭建 •负责全平台数据仓库和数据产品建设 •2011年 百度电子商务事业部 •有啊商城的开发 •2010年毕业于中科院计算所 Outline •美团点评酒旅业务简介 •基于用户画像的召回策略演进 •基于L2R的排序策略优化 •从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 •推荐在美团点评酒旅的应用实践 人工智能应用 Critical Physical World ,不适合按POI样式展现 季节性明显 冬季温泉订单占比超过20%, 而夏季不到7% 需求个性化 用户人群 时间地域场景 内容形态 基于用户画像的召回策略演进 热销策略 基于Deal所在城市统计分城市热销 分类 场景 召回策略 本地需求 常驻城市=浏览城市 (北京人浏览北京) 当地用户购买的热销POI 异地需求 常驻城市!=浏览城市 (重庆人浏览北京) 异地用户购买的热销POI •模糊匹配:基于标签计算用户和POI相似度 古北水镇 白领 User 情侣 有车 九华山庄 南山滑雪场 标签在用户维度的分布 标签在POI维度的分布 用户标签偏好*标签权重*POI标签偏好*POI销量 召回策略演进过程 基于L2R的排序策略优化 机器学习流程 问题建模 推荐 推荐 访消率 •访购率为目标 •只看点击率没有反映出交易属性 •看最终收入 •消费受购买限制、退款条件等影响0 码力 | 49 页 | 5.97 MB | 1 年前3美团点评2018技术年货
规模计算引擎的开发和性能优化经验。 LruCache在美团DSP系统中的应用演进 - 美团技术团队 霜霜,2015年6月加入美团,任职美团高级工程师,美团DSP系统后端基础架构与机器学习架构负责人,全面负责 DSP业务广告召回和排序服务的架构设计与优化。 招聘 招聘 美团在线营销DSP团队诚招工程、算法、数据等各方向精英,发送简历至cuitao@meituan.com,共同支 持百亿级流量的高可靠系统研发与优化。 设计阶段可分解为以下子需求。 实时索引 实时索引 广告场景的更新流,涉及索引字段和各类属性的实时更新。特别是与上下线状态相关的属性字段,需要在 若干毫秒内完成更新,对实时性有较高要求。 用于召回条件的索引字段,其更新可以滞后一些,如在几秒钟之内完成更新。采用分而治之的策略,可极 大降低系统复杂度。 属性字段的更新:直接修改正排表的字段值,可以保证毫秒级完成。 索引字段的更新:涉及更新 详细的过滤语法如下: 美团广告实时索引的设计与实现 - 美团技术团队 过滤语法格式 此外,由index_filter参数定义的索引过滤将直接操作倒排链。由于构造检索数据结构比正排过滤更复 杂,此参数仅适用于召回的docList特别长但通过索引过滤的docList很短的场景。 结果集 结果集 结果集ResultSet的实现,参考了java.sql.ResultSet接口。通过cursor遍历结果集,采用inline函数频繁调0 码力 | 229 页 | 61.61 MB | 1 年前3基于静态分析的Rust内存安全缺陷检测研究
大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 实验效果 ❑ 基于已知CVE评 估检测能力 ❑ 基于GitHub上其 它开源Rust项目 的实验 高召回率 低误报率 double free和悬空指 针问题比较多 案例分析 Panic将导致双重释放 提前 性能:SafeDrop vs 原始Rust编译器 总结和思考 ❑ 问题根源是Rust的自动析构机制0 码力 | 28 页 | 1.55 MB | 1 年前3RISC-V 手册 v2(一本开源指令集的指南)
......................................................................................... 71 第八章 向量 .................................................................................................. ................. 75 8.2 向量计算指令 ............................................................................................................................... 76 8.3 向量寄存器和动态类型 .................. ....................... 76 8.4 向量的 Load 和 Store 操作 ...................................................................................................... 78 8.5 向量操作期间的并行性 ........................0 码力 | 164 页 | 8.85 MB | 1 年前3RISC-V 开放架构设计之道 1.0.0
RVC指令都映射到已有的32位RISC-V指令。 类别 名称 类型 RV32M (乘除法) 名称 类型 RV32V/R64V 乘 乘 R MUL rd,rs1,rs2 设置向量长度 R SETVL rd,rs1 高位乘 R MULH rd,rs1,rs2 高位乘 R VMULH rd,rs1,rs2 高位有符号-无符号乘 R MULHSU FCLASS.{S|D} rd,rs1 f28-31 ft8-11 调用者 分类 R VCLASS rd,rs1 配置 读状态寄存器 R FRCSR rd zero 硬连线为0 设置向量寄存器类型 R VSETDCFG rd,rs1 读舍入模式 R FRRM rd ra 返回地址 抽取 R VEXTRACT rd,rs1,rs2 读异常标志 R FRFLAGS s0-11,fs0-11 保存寄存器 a0-7,fa0-7 函数参数 开源 参考卡 ② 可选乘除指令扩展:RVM 可选向量扩展:RVV +RV64M MULW rd,rs1,rs2 DIVW rd,rs1,rs2 DIVUW rd,rs1,rs2 REMW0 码力 | 223 页 | 15.31 MB | 1 年前3PyConChina2022-杭州-ARM芯片的Python+AI算力优化-朱宏林
5700万) • GEMM 通过优化内存局部性和向量指令,比朴素实现快 10 倍以上 GEMM • 优化 GEMM • 内存布局:矩阵分块;重排 • 向量化指令:AVX、NEON V0 V1 ✕ ✕ ✕ ✕ V2 GEMM 例子 • 优化 GEMM • 内存布局:矩阵分块;重排 • 向量化指令:AVX、NEON 原始算法 展开4x1 向量化 GEMM 例子 • 优化 GEMM GEMM • 内存布局:矩阵分块;重排 • 向量化指令:AVX、NEON 原始算法 展开4x1 向量化 GEMM • 优化 GEMM • 内存布局:矩阵分块;重排 • 向量化指令:AVX、NEON • 硬件加速 • Nvidia Volta 架构引入 tensor core • Intel AMX, Advanced Matrix Extension • ARM SME, Scalable 硬件指令支持 ARMv8.6 bf16 扩展 • bf16 扩展 • ARMv8.6 • 矩阵乘法指令 BFMMLA • 类型转换指令 BFCVT • BFMMLA • 128 bit 向量寄存器 • 单指令完成 (2x4) * (4x2) • 16 mul + 16 add 深度学习推理加速 • BF16 gemm 实现 • ARM Compute Library • OpenBLAS0 码力 | 24 页 | 4.00 MB | 1 年前3
共 106 条
- 1
- 2
- 3
- 4
- 5
- 6
- 11