从稀疏数据结构到量化数据类型 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 本课涵盖：稀疏矩阵、 unordered_map 、空间稀 疏网格、位运算、浮点的二进制格式、内存带宽优 化 面向人群：图形学、 要把浮点数转换成定点数，只需乘以 100 ，然后转换成 int 即可。 • 要从定点数中获取原来的浮点数，只需把定点数除以 100 即可。 • 注意：定点数的表示范围比较小，比如 0 到 99999 ，但精度均匀。 • 而浮点数表示范围很大，如 1e-9 到 1e9 ，但精度在数字大时变低。 图片解释定点数与浮点数的精度差别 浮点 定点 0 0.1 1 int8_t 表示 • 发现结果不对了……说明 int8_t 太小了（可以容纳 - 128 到 127 ），容纳不下 97*100 这么大的数，发生 了溢出导致结果错误。 试图解决：用 uint8_t 表示，定点数系数调小到 2 • 注意到我们的值始终是正数，因此可以用无符号的 uint8_t （可以容纳 0 到 255 ），然后把刚刚的系数 100 改小到 2 ，成功算对结果了，代价是精度损失了

价值链平台 产 业 数 字 化 核 心 资 产 是 软 件 和 数 据 ： 传 统 软 件 / 配 置 / 数 据 迭 代 方 式 已 经 无 法 适 应 ， 软 件 工 程 化 时 代 已 然 到 来 。 Z a d i g 软 件 工 程 平 台 是 国 内 落 地 程 度 最 深 、 使 用 范 围 最 广 （ 近 千 家 企 业 ） 的 云 原 生 D e v O p s 平 台 节 Zadig 设计思路：通过「平台工程」解决流程挑战，通过「技术升级」提升组织效能 01 04 02 03 工程化协同：“人、技术、流 程、工具” 四维协同基线，沉 淀全流程数据，从感知到赋 能，服务于工程师 释放云基建能力：链接任何云 及自建资源（容器、主机、车 机、端等），释放云原生价值 和企业创新力 生态开放：广泛开放系统 模块和 OpenAPI ，链接 一切流程、服务、工具和 无法支持敏捷交付模式 支持从需求到发布全流程敏捷交付。尤其面向 多服务并行部署发布，云原生构建环境和运行 环境，基础设施对接及企业级 SSO/ 权限管理 等 运维管理类平台 蓝鲸 Rainbond KubeSphere KubeVela 面向资源管理的运维工具集 面向开发者，需结合 CI/CD 工具额外 搭建全流程能力 专门面向开发者的生产力平台，涵盖需求到开 发，测试，运维的云原生一体化技术底座支撑

工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效 / 低质量 / 低效率 / 高成 本： 人淹没在系统的海洋里，无数平台手工切换 高人效 / 高质量 / 高效率 / 低成 本： 人在系统之外 / 上，复杂性下沉到单一平台 希望 业务负责人 研发不透明，规划凭感觉： • 发版时间靠运气 • 团队熬夜冲进度 研发透明化：不同项目清晰可见的效率、质量、进度 进度管理：根据团队客观数据，预测和确定项目规划 迭代进度一目了然 项目从无到有可核算 管理有数据科学依据 解放管理，更多时间花在 业务创新 平台运维 业务压力大，能力建设缓慢： • 大量工作花在工具链维护 • 项目间依赖复杂，环境管理难 • 交付版本依赖工单，发布风险高 低效率 / 高成本 • 人淹没在系统的海洋里 • 无数平台手工切换 靠系统和技术，能力长在平台上 • 高人效 / 高质量 / 高效率 / 低成本 • 人在系统之上 / 高效交互 • 复杂性下沉到单一平台 整体人效提升 1-5 倍 解除组织 / 流程 / 系统 孤岛，打造成长型组织 企业收益分析 现存方案 典型代表 方案特点分析 Zadig 方案优势 传统 Jenkins 方案 GitLab

这个 需求。 • 不过必须指定 --expt-relaxed-constexpr 这个选项才能 用这个特性，我们可以用 CMake 的生成器表达式来实 现只对 .cu 文件开启此选项（不然给到 gcc 就出错 了）。 • 当然， constexpr 里没办法调用 printf ，也不能用 __syncthreads 之类的 GPU 特有的函数，因此也不能 完全替代 __host__ <<>> 的简写而已。 图片解释三维的板块和线程 • 之所以会把 blockDim 和 gridDim 分三维主要是因为 GPU 的业务常常涉及到三维图形学和二维图像，觉得 这样很方便，并不一定 GPU 硬件上是三维这样排列 的。 • 三维情况下同样可以获取总的线程编号（扁平化）。 • 如需总的线程数量： blockDim * gridDim 里的板块数和线程数可以动态指定，无需 先传回到 CPU 再进行调用，这是 CUDA 特有的能力。 常用于这种情况：需要从 GPU 端动态计算出 blockDim 和 gridDim ，而又不希望导回数据到 CPU 导致强制同步影响性能。 这种模式被称为动态并行（ dynamic parallelism ）， OpenGL 有一 个 glDispatchComputeIndirect 的 API 和这个很像，但毕竟没有

GPU 的三 维数组和 CPU 的三维数组之间拷贝数据。 CUDA 表面对象：封装 • 要访问一个多维数组，必须先创建一个表面对象 （ cudaSurfaceObject_t ）。 • 考虑到多维数组始终是需要通过表面对象来访问的，这 里我们让表面对象继承自多维数组。 • 在核函数中可以用 surf3Dread 和 surf3Dwrite 来读写 表面对象中的元素， x,y,z 参数指定要访问元素的坐标 cudaBoundaryModeTrap ：一旦越界就奔溃。 • cudaBoundaryModeClamp ：越界则把 xyz 坐标钳 制（ clamp ）到原本的数组大小范围内，比如把 - 100 钳制到 0 ， n+100 钳制到 n-1 。 • cudaBoundaryModeZero ：对于读来说越界会读取到 0 ；对于写来说越界会放弃写入，不修改数组中的任 何值。 • 表面 然后，在 SmokeSim::advection 中调用 advect_kernel 和 resample_kernel 。 • 首先通过 advect_kernel 算出对流后要采样的位置，写入到 loc 。然后再对 clr 和 vel 分别从 loc 算出的位置重 新采样。核函数的 gridDim 通过上整除技巧保证每个元素都能访问到， blockDim 为 8x8x8=512 。 • 如果在

当情况不明时，抱着一个纯粹的目标干事就行了，其他 的留给时间检验。不懂就学，技术写作更像一种共创， 要反复总结和修改 ( 费曼学习法 ) 。 写作本书给我的启示 基础、排序、查找、树、图 代码框、颜色、图片绘制均由 Latex 完成 可参考点 为什么 为什么讲这个话题？ 为什么要讲数据结构和算法两部分？ 算法相关知识 算法相关知识 • 抽象数据类型 • 时空复杂度 • 复杂度计算

2667*16*2=42672 MB/s • 那么，频率相同的情况下，可以考虑插两块 8GB 的内存， 比插一块 16GB 的内存更快，不过价格可能还是翻倍的。 • 系统会自动在两者之间均匀分配内存，保证读写均匀分配 到两个内存上，实现内存的并行读写，这和磁盘 RAID 有 一定相似之处。 验证一下刚刚的 parallel_add 是不是用足了全部带宽 • 刚刚 a 数组的大小是 1024 MB 。 • 因为不光读取了 内部引入了一片极小的存储 器——虽然小，但是读写速度却特别快。这片小而快的 存储器称为缓存（ cache ）。 • 当 CPU 访问某个地址时，会先查找缓存中是否有对应的 数据。如果没有，则从内存中读取，并存储到缓存中； 如果有，则直接使用缓存中的数据。 • 这样一来，访问的数据量比较小时，就可以自动预先加 载到这个更高效的缓存里，然后再开始做运算，从而避 免从外部内存读写的超高延迟。 缓存的分级结构 • 当访问 0x0048~0x0050 这 4 个字节时，实际会导致 0x0040~0x0080 的 64 字节数据整个被读取到缓存中。 • 这就是为什么我们喜欢把数据结构的起始地址和大小对齐到 64 字节，为的是不要浪费缓存行的存储空间。 缓存的工作机制：写 • 缓存中存储的数据结构： • struct CacheEntry { • bool valid, dirty;

的空间称为一个位（ bit ），一位可以存储 0 或 1 两个可能的值。 • 现在的计算机都会把 8 个位打包成一个字节（ byte ），也就是说： 1 字节 = 8 位。 • 一字节可以表示 0 到 255 区间中所有的值，表示方式如下： • 00000000 表示 0 00000001 表示 1 00000010 表示 2 00000011 表示 3 • 00000100 表示 4 00000101 11111111 表示 255 • 字节实际上就是 C 语言中的 unsigned char 类型。 表示更大范围的整数：字（ word ） • 但是单单一个字节表示的范围还是太有限了，只能表示 0 到 255 的值。 • 如何扩大表示范围？简单，用两个字节合在一起即可，例如： • 00000000-00000000 表示 0 00000000-00000001 表示 1 • 00000000-00000010 位长的整数能表示的范围是 0 到 2^8-1 ，也就是 0 到 255 。 • 16 位长的整数能表示的范围是 0 到 2^16-1 ，也就是 0 到 65535 。 • 32 位长的整数能表示的范围是 0 到 2^32-1 ，也就是 0 到 4294967295 。 • 64 位长的整数能表示的范围是 0 到 2^64-1 ，也就是 0 到 [ 数据删除 ] 。 • 这就是为什么现在的计算机都升级到 64 位了，因为能表示更大范围的

是否越界，如果他 发现索引 i >= a.size() 则会抛出异常 std::out_of_range 让程序提前终止（或者被 try-catch 捕获），配合任意一款调试器，就可 以很快速地定位到出错点。 • 不过 at 需要额外检测下标是否越界，虽然更安 全方便调试，但和 [] 相比有一定性能损失。 • int &at(size_t i); • int const &at(size_t vector 容器： resize 到更大尺寸会导致 data 失效 • 当 resize 的目标长度大于原有的容量时， 就需要重新分配一段更大的连续内存，并 把原数组长度的部分移动过去，多出来的 部分则用 0 来填充。这就导致元素的地址 会有所改变，从而过去 data 返回的指针 以及所有的迭代器对象，都会失效。 vector 容器： resize 到更小尺寸不会导致 data 失效 只是会把数组的长度标记为新长度，后面 空闲出来那一段内存不会释放掉，继续留 在那里，直到 vector 对象被解构。 vector 容器：重新 resize 到原来尺寸也不会导致 data 失效 • 调用了 a.resize(2) 之后，数组的容量仍 然是 5 ，因此重新扩容到 5 是不需要重 新分配内存的，也就不会移动元素导致指 针失效。 vector 容器： capacity 函数查询实际的最大容量 •

效）。 C 语言转义符 • 常见的转义符： • ‘\n’ 换行符：另起一行（光标移到下一行行首） • ‘\r’ 回车符：光标移到行首（覆盖原来的字符） • ‘\t’ 缩进符：光标横坐标对齐到 8 的整数倍 • ‘\b’ 退格符：光标左移，删除上个字符 • ‘\\’ 反斜杠：表示这个是真的 \ ，不是转义符 • ‘\”’ 双引号：在字符串常量中使用，防止歧义 • ‘\’’ 单引号：在字符常量中使用，防止歧义 0 。 C 语言转义符 • 常见的转义符： • ‘\n’ 换行符：另起一行（光标移到下一行行首） • ‘\r’ 回车符：光标移到行首（覆盖原来的字符） • ‘\t’ 缩进符：光标横坐标对齐到 8 的整数倍 • ‘\b’ 退格符：光标左移，删除上个字符 • ‘\\’ 反斜杠：表示这个是真的 \ ，不是转义符 • ‘\”’ 双引号：在字符串常量中使用，防止歧义 • ‘\’’ 单引号：在字符常量中使用，防止歧义 0 。 C 语言转义符 • 常见的转义符： • ‘\n’ 换行符：另起一行（光标移到下一行行首） • ‘\r’ 回车符：光标移到行首（覆盖原来的字符） • ‘\t’ 缩进符：光标横坐标对齐到 8 的整数倍 • ‘\b’ 退格符：光标左移，删除上个字符 • ‘\\’ 反斜杠：表示这个是真的 \ ，不是转义符 • ‘\”’ 双引号：在字符串常量中使用，防止歧义 • ‘\’’ 单引号：在字符常量中使用，防止歧义