使用加速库（TVM、OpenVINO）。 1. 指令集优化：如果使用 TensorFlow 模型，在编译 TensorFlow 框架代码时， 直接在编译选项里加入指令集优化项即可。实践证明引入 AVX2、AVX512 指令集优化效果明显，在线推理服务吞吐提升 30%+。 2. 加速库优化：加速库通过对网络模型结构进行优化融合，以达到推理加速效 果。业界常用的加速库有 TVM、OpenVINO TVM、OpenVINO 等，其中 TVM 支持跨平台， 通用性较好。OpenVINO 面向 Intel 厂商硬件进行针对性优化，通用性一般， 但加速效果较好。 下面，将会重点介绍我们使用 OpenVINO 进行 CPU 加速的一些实践经验。Open- VINO 是 Intel 推出的一套基于深度学习的计算加速优化框架，支持机器学习模型的 压缩优化、加速计算等功能。OpenVINO 的加速原理简单概括为两部分：线性算子 时延与吞吐；③ 扩展性与性能优化的 Trade Off；④ GPU Utilization 。 ● 推 理 引 擎 的 选 择： 业 界 常 用 推 理 加 速 引 擎 有 TensorRT、TVM、XLA、 ONNXRuntime 等，由于 TensorRT 在算子优化相比其他引擎更加深入，同 时可以通过自定义 plugin 的方式实现任意算子，具有很强的扩展性。而且 TensorRT

Poligeist SYCL MLIR Bisheng C++ Celerity SYCL MPI Vulkan Sylkan Nvidia HPC SDK MotorSYCL TVM/AKG Ascend AI Chipsets DPC++ fork PIM SDK Samsung PIM-HBM2 PIM emulator DPC++ fork SYCLops NewSYCL

[Waterman and Asanović 2017] 的表 3.6。） 103 XLEN-1 XLEN-2 23 22 21 20 19 18 17 SD Reserved TSR TW TVM MXR SUM MPRV 1 XLEN-24 1 1 1 1 1 1 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 XS FS MPP Res. SPP MPIE

CAPÍTULO 10. ARQUITECTURA PRIVILEGIADA RV32/64 XLEN-1 XLEN-2 23 22 21 20 19 18 17 SD Reservado TSR TW TVM MXR SUM MPRV 1 XLEN-24 1 1 1 1 1 1 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 XS FS MPP Res. SPP MPIE

CAPÍTULO 10. ARQUITETURA PRIVILEGIADA RV32/64 XLEN-1 XLEN-2 23 22 21 20 19 18 17 SD Reserved TSR TW TVM MXR SUM MPRV 1 XLEN-24 1 1 1 1 1 1 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 XS FS MPP Res. SPP MPIE

이에 대해서는 다음 절에 설명한다. 110 10. RV32/64 특권 구조 XLEN-1 XLEN-2 23 22 21 20 19 18 17 SD Reserved TSR TW TVM MXR SUM MPRV 1 XLEN-24 1 1 1 1 1 1 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0 XS FS MPP Res. SPP MPIE