从稀疏数据结构到量化数据类型 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 本课涵盖：稀疏矩阵、 unordered_map 、空间稀 疏网格、位运算、浮点的二进制格式、内存带宽优 化 面向人群：图形学、 ，反之则是未激活 (inactive) 。 这就是稀疏的好处，按需分配，自动扩容。 分块则是利用了我们存储的数据常常有着空间局域性的特点，减轻哈希表的压 力，同时在每个块内部也可以快乐地 SIMD 矢量化， CPU 自动预取之类的。 第 2 章：位运算 稀疏的好处：坐标可以是负数 这样即使坐标为负数，或者可以是任意大的坐标，都不会产生越界错误。 但是分块存储时负数却导致出错了 为什么 segf collapse(2) 遍历二维区间。 把 func 捕获为 firstprivate ，从而支持用 lambda 捕获的访问者模式。 实现访问者模式 • 额，总之就是每一层都有一个缓存。 第 5 章：量化整型 使用 int ：每个占据 4 字节 • 记得我第七课说过，一个简单的循环体往 往会导致内存成为瓶颈（ memory- bound ）。 • 右边就是一个很好的例子。 使用 int64_t

Qwen 成为可能。该库是 一个纯 C/C++ 实现，不依赖任何外部库，并且针对 x86 架构提供了 AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生 色扮演的乐趣，并使用不同类型的量化模型。您可 以训练诸如 LoRA 这样的算法，并将 Stable Diffusion 和 Whisper 等扩展功能纳入其中。赶快去探索更多高级 用法，并将它们应用于 Qwen 模型中吧！ 1.7 AWQ 对于量化模型，我们推荐使用 AWQ 结合 AutoAWQ 。AWQ 即激活感知权重量化，是一种针对 LLM 的低比 特权重量化的硬件友好方法。而 AutoAWQ 是一个易于使用的工具包，专门用于 4 比特量化模型。相较于 FP16，AutoAWQ 能够将模型的运行速度提升 3 倍，并将内存需求降低至原来的 1/3。AutoAWQ 实现了激活 感知权重量化（AWQ）算法，可用于 LLM 的量化处理。在本文档中，我们将向您展示如何在 Transformers 框 架下使用量化模型，以及如何对您自己的模型进行量化。 1.7.1 如何在 Transformers 中使用 AWQ 量化模型 现在，Transformers

• addps ：四个 float 加法。 • addpd ：两个 double 加法。 省流助手： 如果你看到编译器生成的汇编里，有大量 ss 结尾 的指令则说明矢量化失败；如果看到大多数都是 ps 结尾则说明矢量化成功。 xmm0 xmm1 xmm0 addss %xmm1, %xmm0 addps %xmm1, %xmm0 xmm0 xmm1 xmm0 为什么需要 SIMD 语言。 编译器优化：合并写入 将两个 int32 的写入合 并为一个 int64 的写入 。 合并写入：不能跳跃 但如果访问的两个元素地 址间有跳跃，就不能合并 了。 第 4 章：矢量化 更宽的合并写入：矢量化指令（ SIMD ） 两个 int32 可以合并为一个 int64 四个 int32 可以合并为一个 __m128 xmm0 由 SSE 引入，是个 128 位寄存 器 他可以一次存储 看不懂？很简单，假设 n = 1023 ： 先对前 1020 个元素用 SIMD 指令填入，每次处理 4 个 剩下 3 个元素用传统的标量方式填入，每次处理 1 个 思想：对边界特殊处理，而对大部分数据能够矢量化 编译器做优化时会自动处理边界特 判。如果你是自己手写 SIMD 指令 的话就要考虑一下这个。 n 总是 4 的倍数？避免边界特判 如果你能保证 n 总是 4 的倍数，也可以这样写： 编译器会发现

论文，并有10多项相关领域的专利。  业余爱好： 骑行 个人简介 电子邮箱： jim.cheng@ususing.com 5 议程 • 深度学习与商品搜索  矢量化搜索技术简介  基于词语聚类的矢量化  基于用户会话的矢量化  原型评测结果及效果示例 • 深度学习与聊天机器人  聊天机器人简介  聊天机器人主要模块及架构  深度学习探索  聊天机器人评测结果 6 • 语义词汇差异 尚未进入生产线。 8 • 搜索数值矢量化  传统搜索基于文字匹配， 商品包含搜索词或者不包含搜索词  利用深度学习技术， 将搜索词和商品全部数值矢量化， 将文字匹配转化为数值矢量计算  词语矢量化是进一步进行各种深度学习的基础。 • 矢量化模型介绍  Mikolov(Google员工)等人2013发表了两篇关于Word2Vec的文章， 成为词语矢量化表示的基础  Word2vec的优点： vec(中国) ）  矢量化模型的现况  词语的矢量化模型已经有开源实现方案  句子和文档的矢量化还在摸索阶段，尚不成熟  已经有一些在词语相似度，舆情分析等方面的应用 矢量化搜索模型 9 词语矢量化模型 CBOW: 通过上下文词语 来预测词语本身出现的概 率 Skip-gram: 通过词语本身 来预测上下文词语出现的 概率 10 基于词语聚类的矢量化模型 • Word2vec等工具可以有效地将词语转化为向量

深度学习-神经网络的编程基础 黄海广 副教授 2 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 3 1.二分类与逻辑回归 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 4 符号定义 ?：表示一个??维数据，为输入数 据，维度为(??, 1)； ?：表示输出结果，取值为(0,1)； (?( (1−?) (1−?)) ⋅ ?(1 − ?) = ? − ? ?=??? + ? 9 2.梯度下降 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 10 梯度下降 ? 学习率 步长 11 梯度下降的三种形式 批量梯度下降（Batch Gradient Descent,BGD） 梯度下降的每一步中，都用到了所有的训练样本 随机梯度下降（Stochastic − ?(?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 17 3.计算图 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 18 3.计算图 ? = ?? ? = 3? ? = ? + ? ? ?, ?, ? = 3(? + ??), ? = 5, ? = 3, ? = 2 ? = 5 ? = 3 ? =

序 算法 1 YOLOv6：又快又准的目标检测框架开源啦 1 目标检测开源框架 YOLOv6 全面升级，更快更准的 2.0 版本来啦 13 通用目标检测开源框架 YOLOv6 在美团的量化部署实战 17 7 次 KDD Cup&Kaggle 冠军的经验分享：从多领域优化到 AutoML 框架 37 图神经网络训练框架的实践和探索 66 图技术在美团外卖下的场景化应用及探索 未来我们会持续建设和完善 YOLOv6 生态，主要工作包括以下几个方面： 1) 完善 YOLOv6 全系列模型，持续提升检测性能。 2) 在多种硬件平台上，设计硬 件友好的模型。 3) 支持 ARM 平台部署以及量化蒸馏等全链条适配。 4) 横向拓展和 引入关联技术，如半监督、自监督学习等等。 5) 探索 YOLOv6 在更多的未知业务场 景上的泛化性能。 12 > 2022年美团技术年货 同时也欢迎社 目标检测开源框架 YOLOv6 全面升级， 更快更准的 2.0 版本来啦 作者：楚怡 红亮 梦婕等 9 月 5 日，美团视觉智能部发布了 YOLOv6 2.0 版本，本次更新对轻量级网络进 行了全面升级，量化版模型 YOLOv6-S 达到了 869 FPS，同时，还推出了综 合性能优异的中大型网络（YOLOv6-M/L），丰富了 YOLOv6 网络系列。其中， YOLOv6-M/L 在 COCO 上检测精度（AP）分别达到

override (output,per-stream) :在特定时间范围内的间隔覆盖 率， override 的格式是”int\int\int”。其中前两个数字是开始帧和结束帧，最后一个数字如 果为正则是量化模式，如果为负则是品质因素。 -ilme ：支持交错编码（仅MPEG-2和MPEG-4）。如果你的输入是交错的，而且你想保持交错格 式，又想减少质量损失，则选此项。另一种方法是采用 -deinterlace (input/output,per-stream) :设置音频采样率。默认是输出同于输入。 对于输入进行设置，仅仅通道是真实的设备或者raw数据分离出并映射的通道才有效。对于输出 则可以强制设置音频量化的采用率。 -aq q (output) ：设置音频品质(编码指定为VBR)，它是 -q:a 的别名。 -ac[:stream_specifier] channels (input/output 不描绘边缘 36. ‘psnr’ 37. 38. 在设置了错误变量时仍然继续编码 39. ‘truncated’ 40. ‘naq’ 41. 42. 规范的自适应量化 43. ‘ildct’ 44. 45. 使用交错DCT. 46. ‘low_delay’ 47. 48. 强制减少延迟 49. ‘global_header’

openEuler 适应云原生发展趋势，推出容器化操作系统 KubeOS，实现云原生集群 OS 的统一容器化管理，具备如下特点： 1. OS 容器化管理、对接 K8S，原子化的生命周期管理； 2. OS 轻量化裁剪，减少不必要的冗余包，可实现快速升级、替换等。 容器和容器混部 进程和容器混部 Linux Kernel cgroup 容器和虚机混部 虚机和虚机混部 CPU 调度 内存管理 Cache 功能描述 1. 全局管理器 OS-Controller，监控所有节点上的 OS 实例，收集所有节点 OS 信息，实现全局 OS 的生命周期管理， 包括升级、重启、配置，以及关机时驱逐 Pod。OS 轻量化裁剪，减少不必要的冗余包，可实现快速升级、替换等。 2. 节点代理 OS-proxy，部署和运行在工作节点上，监控单节点的 OS 实例，收集单节点 OS 信息，并上报到 OS-agent。 轻量低噪：采用极简设备模型时，启动时间小于 50ms，内存底噪小于 4M。 3. 软硬协同：支持 x86 的 VT，支持鲲鹏的 Kunpeng-V。 4. 极速伸缩：毫秒级设备扩缩能力，为轻量化负载提供灵活的资源伸缩能力。 5. 多场景支持：实现一套架构支持 serverless、安全容器、标准虚拟机等多种应用场景。 容器引擎 iSulad： 1. 轻量引擎：C/C++ 编程语

PowerPC、RISC-V 等芯片架构，增加确定性时延、工业中间件、仿真系统等能力，打造嵌入式领域操作系统解 决方案。 功能描述 版本功能如下： 1. 轻量化能力：开放 yocto 小型化构建裁剪框架，支撑 OS 镜像轻量化定制，提供 OS 镜像 <5M，以及 <5S 快速启动 等能力。 2. 多硬件支持：新增支持树莓派作为嵌入式场景通用硬件。 3. 软实时内核：基于 Linux 5 criticality system） 嵌入式硬件支持 Linux 软实时 qemu Raspberry Pi Others 编译器 统一建构 仿真 实时内核混合部署 嵌入式弹性底座 轻量化 快速启动/低底噪 安全 安全配置规范 集成开发 环境 openEuler 22.03-LTS 技术白皮书 15 openEuler 22.03-LTS 技术白皮书 14 openEuler openEuler 适应云原生发展趋势，推出容器化操作系统 KubeOS，实现云原生集群 OS 的统一容器化管理，具备如下 特点： 1. OS 容器化管理、对接 K8s，原子化的生命周期管理。 2. OS 轻量化裁剪，减少不必要的冗余包，可实现快速升级、替换等。 功能描述 1. 全局管理器 OS-Controller，监控所有节点上的 OS 实例，收集所有节点 OS 信息，实现全局 OS 的生命周期管理，