绝赞招聘中 TVM CAFFE 前端 2019·11·16绝赞招聘中 TVM 在平头哥 • 工具链产品 平头哥芯片平台发布的配套软件中， TVM 是工具链产品的重要组成部分： 负责将预训练好的 caffe 或者 tensorflow 的模型，转换到 LLVM IR，最后生成可以在无剑 SoC 平台上 执行的二进制。绝赞招聘中 为何添加 caffe 前端？ 客户需求 评估 评估阶段：客户用于评估芯片的网络，caffe 模型占很大比重。 竞品已支持 caffe 前端 当前各大芯片厂商的部署工具大多数都支持，支持 caffe 前端有利于提高竞争力。 开源社区 存量的开源 caffe 网络模型众多，TVM 直接支持 caffe 让大家更方便尝试 caffe 资源。绝赞招聘中 当前进度 无 caffe 依赖 from_caffe 直接导入 caffe 模型文件，不需要预先安装 caffe 。 net

8060839373400 2661 7240 8 ant-design/pro-components 1876 698 169 640 9 apache/tvm 2795.6354982857400 2232 7060 9 apache/tvm 386 1893 8712 1655 10 apache/shardingsphere 2726.6591767756100 3334 8224 10 8060839373400 2661 7240 8 ant-design/pro-components 1876 698 169 640 9 apache/tvm 2795.6354982857400 2232 7060 9 apache/tvm 386 1893 8712 1655 10 apache/shardingsphere 2726.6591767756100 3334 8224 10

使用加速库（TVM、OpenVINO）。 1. 指令集优化：如果使用 TensorFlow 模型，在编译 TensorFlow 框架代码时， 直接在编译选项里加入指令集优化项即可。实践证明引入 AVX2、AVX512 指令集优化效果明显，在线推理服务吞吐提升 30%+。 2. 加速库优化：加速库通过对网络模型结构进行优化融合，以达到推理加速效 果。业界常用的加速库有 TVM、OpenVINO TVM、OpenVINO 等，其中 TVM 支持跨平台， 通用性较好。OpenVINO 面向 Intel 厂商硬件进行针对性优化，通用性一般， 但加速效果较好。 下面，将会重点介绍我们使用 OpenVINO 进行 CPU 加速的一些实践经验。Open- VINO 是 Intel 推出的一套基于深度学习的计算加速优化框架，支持机器学习模型的 压缩优化、加速计算等功能。OpenVINO 的加速原理简单概括为两部分：线性算子 时延与吞吐；③ 扩展性与性能优化的 Trade Off；④ GPU Utilization 。 ● 推 理 引 擎 的 选 择： 业 界 常 用 推 理 加 速 引 擎 有 TensorRT、TVM、XLA、 ONNXRuntime 等，由于 TensorRT 在算子优化相比其他引擎更加深入，同 时可以通过自定义 plugin 的方式实现任意算子，具有很强的扩展性。而且 TensorRT

排序模型服务 多媒体分析服务 自然语言分析服务 集群调度层 核心架构层 算法模型层 4 深度学习-分布式模型推理 • 推理性能优化 • 减少计算量： operator fusion/XLA/TVM/prune/float16/quantization • 加快计算速度： batching/TensorRT/MPS/SSE/AVX/Neon • operator fusion • 针对特定场景重写耗时算子

态上更开放⼀些。不过这其中也有⼀点需要引起注意，上榜的前端项⽬组件库居多，但是缺少 核⼼项⽬。 属于⼈⼯智能领域的项⽬ PaddlePaddle/Paddle、apache/incubator-tvm、 Tencent/ncnn、alibaba/MNN 均在中国 Top50 项⽬列表中占据⼀席之地，这说明了国内各 ⼤公司都在⼤⼒发展⼈⼯智能领域。 2.3 中国开源企业情况分析 各⼤开源项

098359530620 4507 5132 8 ant-design/pro-components 2927.8060839373400 2661 7240 9 apache/tvm 2795.6354982857400 2232 7060 10 apache/shardingsphere 2726.6591767756100 3334 8224 11

[Waterman and Asanović 2017] 的表 3.6。） 103 XLEN-1 XLEN-2 23 22 21 20 19 18 17 SD Reserved TSR TW TVM MXR SUM MPRV 1 XLEN-24 1 1 1 1 1 1 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 XS FS MPP Res. SPP MPIE