Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 • 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存如何保证更新，如何与数据库同步 同步、更新  被动方式  缓存过期  定期同步  主动方式  监听数据变化 数据加载，更新 热数据的交换 冷 热 新 系 统 历 史 数 据 冷数据、数据量多 缓存成本大、命中低、收益小 热 数 据 当前系统中的热点数据 命中率高 系 统 新 增 数 据 近期新增数据，较大概率命中 存储空间 缓存性能 冷热可交换，引擎可扩展 06. 冷热数据交换，通过栈式缓存结构，实现多级缓存策略 语言的局限性 07. 基于golang语言，内存对象超过百万量级后出现的GC耗时问题

LOGO p2p缓存系统 基于Golang的Aop设计模式 龚浩华 QQ 29185807 月牙寂 背景 v Web缓存（类似CDN技术） § 网页、图片 § 普通下载 § 普通视频 v P2P缓存 § 下载（bt等） § 视频（qvod、百度影音等） 背景 v P2P缓存好处 § 一次获取，多次利用 § 减少局域网出网流量 减少局域网出网流量 § 提升用户体验 背景 v P2P缓存服务器（基于c++开发） § 代码量大 § 协议数量多 § 耦合性高 § 潜在bug多 重构 or 重新推倒？ 背景 现实世界是怎么样的 分布式、并发 职能化、松散化 自组织、智能化 程序框架是否也可以这样？ OOP v C++对象代码运行 仍然存在不确定性 现实世界的设计模式直接可以拿来借鉴 P2P缓存框架 P2P缓存框架 1、入口监听模块 常驻 功能监听识别连接 2、任务管理模块 常驻 管理任务、分流client P2P缓存框架 3、任务模块 文件缓存度：是否需要下载 文件热点程度：是否热点

，我们调用了一个函数Printf，这个函数来自于fmt包，所以我们在第三行中导入了 系统级别的fmt包：import "fmt"。 包的概念和Python中的package类似，它们都有一些特别的好处：模块化（能够把你的程序分成多个模块)和可重用性 （每个模块都能被其它应用程序反复使用）。我们在这里只是先了解一下包的概念，后面我们将会编写自己的包。 在第五行中，我们通过关键字func定义了一个main函数，函数体被放在{}（大括号）中，就像我们平时写C、C++或 最后大家可以看到我们输出的内容里面包含了很多非ASCII码字符。实际上，Go是天生支持UTF-8的，任何字符都可以 直接输出，你甚至可以用UTF-8中的任何字符作为标识符。 结论 结论 Go使用package（和Python的模块类似）来组织代码。main.main()函数(这个函数主要位于主包）是每一个独立 的可运行程序的入口点。Go使用UTF-8字符串和标识符(因为UTF-8的发明者也就是Go的发明者)，所以它天生就具有多 上面这个fmt是Go语言的标准库，其实是去goroot下去加载该模块，当然Go的import还支持如下两种方式来加载自己 写的模块： 60 1. 相对路径 import “./model” //当前文件同一目录的model目录，但是不建议这种方式来import 2. 绝对路径 import “shorturl/model” //加载gopath/src/shorturl/model模块 上面展示了一些impor

用来导入包文件，经常看到的方式参考如下： 然后代码里面可以通过如下的方式调用 上面这个fmt是Go语言的标准库，其实是去 GOROOT 环境变量指定目录下去加载该模块，当然Go的 import还支持如下两种方式来加载自己写的模块： 1、相对路径 func throwsPanic(f func()) (b bool) { defer func() { if x 代表一个人的实体。这个实体拥有属性：姓名和年龄。这样的类型称 之 struct 。如下代码所示: import "shorturl/model" //加载gopath/src/shorturl/model模块 import( . "fmt" ) import( f "fmt" ) import ( "database/sql" _ "github 被阻塞，直到有数据接收。其次，任何发送（ ch<-5 ）将会被阻塞，直到数据被读出。无缓冲 channel 是在多个 goroutine 之间同步很棒的工具。 Buffered Channels 上面介绍了默认的非缓存类型的channel，不过Go也允许指定channel的缓冲大小，很简单，就是 channel可以存储多少元素。 ch:= make(chan bool , 4)，创建了可以存储4个元素的bool

（JSON-RPC层） 核⼼模块 （共识、执⾏等） 节点出⼝ 交易拦截 消息分发 带宽限流 客户端 其他节点 节点间⽹络通信 （传递共识消息等） 系统外部 系统内部 交易拦截器限流 在系统最外层及早对交易进⾏拦截，阻⽌交易渗透 到主流程花费不必要的系统开销 消息分发器限流 P2P⽹络层通过消息分发器将消息带权分发给对应 模块处理，降低各模块由于处理能⼒差异⽽相互⼲ 扰，保证核⼼模块正常运⾏ 扰，保证核⼼模块正常运⾏ ⽹络带宽限流 限制节点最⼤出⼝带宽流量，适⽤于对⽹络带宽 有限制需求的场景 功能简介 22 趣链科技 版权所有 ©2016-2021 22 趣链科技 版权所有 ©2016-2021 22 趣链科技 版权所有 ©2016-2021 22 log-Segment-001 log-Segment-002 log-Segment-00N ... ... index-001 index-001 index-002 index-00N 读缓存组件 数据部分 句柄管理组件 ... ... Filelog存储引擎 持久化层 Multicache存储引擎 内存层 memory-table write-ahead log ... ... 异步写入 0802 0803 0804 leveldb leveldb leveldb 只读 读写 元数据 索引数据

mod 和 此文件的checksum。 MVS MVS Minimal Version Selection by Russ Cox 构建main module时每个依赖的版本选择算法。 go生成模块依赖图，遍历找到每个module最大的版本，这些版本的module就是满足所有需求的最小module版本 • A 1.2 • B 1.2 • C 1.4 • D 1.2 MVS with replace get可以使用non-canonical version go mod xxx 命令 功能 go mod download [-x] [-json] [modules] 下载module到本地缓存 go mod edit [editing flags] [go.mod] 编辑go.mod文件 go mod graph 打印出module requirement graph go mod [-e] [-v] 修改go.mod和go.sum以匹配实际依赖 go mod vendor [-e] [-v] 增加build&test依赖到vendor文件夹下 go mod verify 校验本地缓存的文件自下载后未曾被修改 go mod why [-m] [-vendor] packages... package或者module为什么被依赖，在哪里依赖 module-aware commands

Sedna斩获中国信通院云边协 同应用创新大赛最佳创新奖 ✓ 数据集管理 ✓ 模型管理 ✓ …… 基础框架 ✓ 协同推理 ✓ 增量学习 ✓ 联邦学习 ✓ 终身学习 训练推理框架 ✓ 主流AI框架 ✓ 模块算法 ✓ 可扩展算法接口 ✓ …… 兼容性 项目地址：https://github.com/kubeedge/sedna 开源分布式协同AI框架KubeEdge-Sedna 1. GlobalCoordinator 生成informer，提供事件机制 (AddFunc,UpdateFunc,DeleteFunc)来响应 kubernetes的event lister-gen: 为get和list方法提供只读缓存层 https://github.com/kubernetes/code-generator 根据定义的结构，利用code-generator生成对应 的operator代码 CR & CRD 未知任务训练提升E1-1F昏暗桥底corner case的mIoU指标达1.78倍； • 启用未知任务训练帮助配送时间从27min38s减少到19min53s，节省幅度 达28%； • 未知任务识别模块上传未知样本，帮助减少253张训练样本打标量，节省幅 度达26%。 Summary • 了解Edge AI相关现状和趋势。 • 了解边云协同AI框架的特性和功能。 • 了解边云协同AI框架

HAProxy，Nginx，Envoy，Traefik， BFE，… BFE为什么基于Go语言 • 研发效率 • 远高于C语言 • 稳定性 • 内存方面错误降低 • 可以捕捉异常 • 安全性 • 缓存区溢出风险降低 • 代码可维护性 • 可读性好 • 易于编写高并发逻辑 • 网络协议栈支持 BFE的短板 • 没有在内存拷贝上做极致优化 • 使用Go系统协议栈 • 无法利用CPU亲和性（CPU RUnlock() rules, ok := productRules[product] return rules, ok } BFE的代码组织 BFE的协程使用 BFE的回调点设置 BFE扩展模块的编写 • 配置加载 • 静态：mod_block.conf • 动态：block_rules.data， ip_blocklist.data • 回调函数编写和注册

长度不可变 长度可变 内存使用率 占用内存少、缓存局部性好 占用内存多 优势操作 随机访问 插入、删除 � 缓存局部性的简单解释 在计算机中，数据读写速度排序是“硬盘 < 内存 < CPU 缓存”。当我们访问数组元素时，计算 机不仅会加载它，还会缓存其周围的其它数据，从而借助高速缓存来提升后续操作的执行速度。 链表则不然，计算机只能挨个地缓存各个结点，这样的多次“搬运”降低了整体效率。 两种实现都支持栈定义中的各项操作，数组实现额外支持随机访问，但这已经超出栈的定义范畴，一般不会用 到。 时间效率 在数组（列表）实现中，入栈与出栈操作都是在预先分配好的连续内存中操作，具有很好的缓存本地性，效率 很好。然而，如果入栈时超出数组容量，则会触发扩容机制，那么该次入栈操作的时间复杂度为 ?(?) 。 在链表实现中，链表的扩容非常灵活，不存在上述数组扩容时变慢的问题。然而，入栈操作需要初始化结点对 效率更高，这是因为： ‧ 出现最差情况的概率很低：虽然快速排序的最差时间复杂度为 ?(?2) ，不如归并排序，但绝大部分情况 下，快速排序可以达到 ?(? log ?) 的复杂度。 ‧ 缓存使用效率高：哨兵划分操作时，将整个子数组加载入缓存中，访问元素效率很高。而诸如「堆排序」 需要跳跃式访问元素，因此不具有此特性。 ‧ 复杂度的常数系数低：在提及的三种算法中，快速排序的 比较、赋值、交换 三种操作的总体数量最少