Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 支持灵活的信息过滤条件 内存不够用怎么办？ 03. 冷热可交换、策略可定制、内存可扩展，多种冷数据淘汰组件，自由组合 存储扩展，冷热数据交换 可自定义冷热数据交换策略 还能提供什么帮助？ 04. 降低硬件成本，降低依赖，保证稳定性 同样的性能，需要更少的硬件资源，降低成本 01 核心数据在本地，依赖少，更稳定 02 • 千万级内存对象，GC严重耗时，如何解决？ • 复杂的查询场景，内存数据如何高效组织？ 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存如何保证更新，如何与数据库同步 同步、更新  被动方式  缓存过期  定期同步  主动方式  监听数据变化 数据加载，更新 02. 全量数据加载，增量数据监听

第21章：通道 - Go特色的并发同步方式 第22章：方法 第23章：接口 - 通过包裹不同具体类型的非接口值来实现反射和多态 第24章：类型内嵌 - 不同于继承的类型扩展方式 第25章：非类型安全指针 第26章：泛型 - 如何使用和解读组合类型 第27章：反射 - reflect标准库包中提供的反射支持 一些专题 第28章：代码断行规则 第29章：更多关于延迟函数调用的知识点 第30章：一些恐慌/恢复用例 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 一些总结 第46章：一些简单的总结 第47章：关于Go中的nil 第48章：类型转换、赋值和值比较规则大全 第49章：Go中的一些语法/语义例外 一个持有积 极的学习态度的Go新手程序员可以在一年内精通Go编程。 那你觉得Go的卖点是什么呢？ 我个人的观点是，做为一门静态语言，Go却和很多动态脚本语言一样得灵活是Go的 主要卖点。 节省内存、程序启动快、代码执行速度快和编译速度快合在一块儿是Go的另一个主 要卖点。 虽然这三项是C家族语言的共同特征，但是在Web开发领域，很少有语言同 时拥有这四个特征。 事实上，这就是我当初从Java转到Go进行Web开发的原因。

第21章：通道 - Go特色的并发同步方式 第22章：方法 第23章：接口 - 通过包裹不同具体类型的非接口值来实现反射和多态 第24章：类型内嵌 - 不同于继承的类型扩展方式 第25章：非类型安全指针 第26章：泛型 - 如何使用和解读组合类型 第27章：反射 - reflect标准库包中提供的反射支持 一些专题 第28章：代码断行规则 第29章：更多关于延迟函数调用的知识点 第30章：一些恐慌/恢复用例 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 一些总结 第46章：一些简单的总结 第47章：关于Go中的nil 第48章：类型转换、赋值和值比较规则大全 第49章：Go中的一些语法/语义例外 言。 一个持有积极的学习态度的Go新手程序员可以在一年内精通Go编程。 那你觉得Go的卖点是什么呢？ 我个人的观点是，做为一门静态语言，Go却和很多动态脚本语言一样得灵活 是Go的主要卖点。 节省内存、程序启动快、代码执行速度快和编译速度快合在一块儿是Go的另 一个主要卖点。 虽然这三项是C家族语言的共同特征，但是在Web开发领域， 很少有语言同时拥有这四个特征。 事实上，这就是我当初从Java转到Go进行

函数类型和函数值，以及变长参数个数函数 第21章：通道 - Go特色的并发同步方式 第22章：方法 第23章：接口 - 通过包裹不同具体类型的非接口值来实现反射和多态 第24章：类型内嵌 - 不同于继承的类型扩展方式 第25章：非类型安全指针 第26章：泛型 - 如何使用和解读组合类型 第27章：反射 - reflect标准库包中提供的反射支持 一些专题 第28章：代码断行规则 第29章：更多关于延迟函数调用的知识点 第30章：一些恐慌/恢复用例 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 一些总结 第46章：一些简单的总结 第47章：关于Go中的nil 第48章：类型转换、赋值和值比较规则大全 第49章：Go中的一些语法/语义例外 一个持有积极的学习态度的Go新手程序员可以在一年内精通Go编程。 那你觉得Go的卖点是什么呢？ 我个人的观点是，做为一门静态语言，Go却和很多动态脚本语言一样得灵活是 Go的主要卖点。 节省内存、程序启动快、代码执行速度快和编译速度快合在一块儿是Go的另一 个主要卖点。 虽然这三项是C家族语言的共同特征，但是在Web开发领域，很 少有语言同时拥有这四个特征。 事实上，这就是我当初从Java转到Go进行Web

(bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 RDB+AOF 混合） 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） 主多从，内建⾼高可⽤用） 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合）

开发出的软件能够很好地在网络环境下工作 使人们能够享受软件开发的过程 Go 语言就在这样的环境下诞生了，它让人感觉像是 Python 或 Ruby 这样的动态语言，但却又拥有像 C 或者 Java 这类语言的高性能和安全性。 Go 语言出现的目的是希望在编程领域创造最实用的方式来进行软件开发。它并不是要用奇怪的语法和晦 涩难懂的概念来从根本上推翻已有的编程语言，而是建立并改善了 C、Java、C# 中的许多语法风格。它提 本书将会从最基础的概念讲起，同时也会讨论一些类似在应用 goroutine 和 channel 时有多少种不同的模 Go入门指南 - 1 - 本文档使用 看云 构建 式，如何在 Go 语言中使用谷歌 API，如何操作内存，如何在 Go 语言中进行程序测试和如何使用模板来 开发 Web 应用这些高级概念和技巧。 在本书的第一部分，我们将会讨论 Go 语言的起源（第 1 章），以及如何安装 Go 语言（第 2 章）和开发 捷编程的 KISS 秘诀：短小精悍！ Go 语言通过改善或去除在 C、C++ 或 Java 中的一些所谓“开放”特性来让开发者们的工作更加便利。 这里只举例其中的几个，比如对于变量的默认初始化，内存分配与自动回收，以及更简洁却不失健壮的控 制结构。同时我们也会发现 Go 语言旨在减少不必要的编码工作，这使得 Go 语言的代码更加简洁，从而 比传统的面向对象语言更容易阅读和理解。 与 C++

7.4 模板处理 7.5 文件操作 7.6 字符串处理 7.7 小结 8.Web服务 8.1 Socket编程 8.2 WebSocket 8.3 REST 8.4 RPC 8.5 小结 9.安全与加密 9.1 预防CSRF攻击 9.2 确保输入过滤 9.3 避免XSS攻击 9.4 避免SQL注入 9.5 存储密码 9.6 加密和解密数据 9.7 小结 10.国际化和本地化 10.1 Go完全是垃圾回收型的语言，并为并发执行与通信提供了基本的支持。 按照其设计，Go打算为多核机器上系统软件的构造提供一种方法。 Go是一种编译型语言，它结合了解释型语言的游刃有余，动态类型语言的开发效率，以及静态类型的安全性。它也打 算成为现代的，支持网络与多核计算的语言。要满足这些目标，需要解决一些语言上的问题：一个富有表达能力但轻 量级的类型系统，并发与垃圾回收机制，严格的依赖规范等等。这些无法通过库或工具解决好，因此Go也就应运而生 现在m["hello"]的值已经是Salut了 make、new操作 make、new操作 make用于内建类型（map、slice 和channel）的内存分配。new用于各种类型的内存分配。 内建函数new本质上说跟其它语言中的同名函数功能一样：new(T)分配了零值填充的T类型的内存空间，并且返回其 地址，即一个*T类型的值。用Go的术语说，它返回了一个指针，指向新分配的类型T的零值。有一点非常重要： new返回指针。

和追踪 6.5 内置函数 6.6 递归函数 6.7 将函数作为参数 6.8 闭包 6.9 应用闭包：将函数作为返回值 6.10 使用闭包调试 6.11 计算函数执行时间 6.12 通过内存缓存来提升性能 第7章：数组与切片 7.1 声明和初始化 7.2 切片 7.3 For-range 结构 7.4 切片重组（reslice） 7.5 切片的复制与追加 7.6 字符串、数组和切片的应用 开发出的软件能够很好地在网络环境下工作 使人们能够享受软件开发的过程 Go 语言就在这样的环境下诞生了，它让人感觉像是 Python 或 Ruby 这样的动态语言，但却又拥有像 C 或者 Java 这类语言的高性能和安全性。 Go 语言出现的目的是希望在编程领域创造最实用的方式来进行软件开发。它并不是要用奇怪的语法和晦涩难懂的概念 来从根本上推翻已有的编程语言，而是建立并改善了 C、Java、C# 中的许多语法风格。它提倡通过接口来针对面向 “OO” 来表示面向对象）。 本书将会从最基础的概念讲起，同时也会讨论一些类似在应用 goroutine 和 channel 时有多少种不同的模式， 如何在 Go 语言中使用谷歌 API，如何操作内存，如何在 Go 语言中进行程序测试和如何使用模板来开发 Web 应 用这些高级概念和技巧。 在本书的第一部分，我们将会讨论 Go 语言的起源（第 1 章），以及如何安装 Go 语言（第 2 章）和开发环境

4.3 列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.4 内存与缓存 * . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.5 小结 . . . 到了可行的找零方 案。从数据结构与算法的角度看，这种方法本质上是“贪心”算法。 小到烹饪一道菜，大到星际航行，几乎所有问题的解决都离不开算法。计算机的出现使得我们能够通过编程 将数据结构存储在内存中，同时编写代码调用 CPU 和 GPU 执行算法。这样一来，我们就能把生活中的问题 转移到计算机上，以更高效的方式解决各种复杂问题。 Tip 如果你对数据结构、算法、数组和二分查找等概念仍感 问题是明确的，包含清晰的输入和输出定义。 ‧ 具有可行性，能够在有限步骤、时间和内存空间下完成。 ‧ 各步骤都有确定的含义，在相同的输入和运行条件下，输出始终相同。 1.2.2 数据结构定义 数据结构（data structure）是计算机中组织和存储数据的方式，具有以下设计目标。 ‧ 空间占用尽量少，以节省计算机内存。 第 1 章 初识算法 hello‑algo.com 14 ‧ 数据操

4.3 列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.4 内存与缓存 * . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.5 小结 . . . 到了可行的找零方 案。从数据结构与算法的角度看，这种方法本质上是“贪心”算法。 小到烹饪一道菜，大到星际航行，几乎所有问题的解决都离不开算法。计算机的出现使得我们能够通过编程 将数据结构存储在内存中，同时编写代码调用 CPU 和 GPU 执行算法。这样一来，我们就能把生活中的问题 转移到计算机上，以更高效的方式解决各种复杂问题。 � 如果你对数据结构、算法、数组和二分查找等概念仍感到一知半解，请继续往下阅读，本书将 问题是明确的，包含清晰的输入和输出定义。 ‧ 具有可行性，能够在有限步骤、时间和内存空间下完成。 ‧ 各步骤都有确定的含义，在相同的输入和运行条件下，输出始终相同。 1.2.2 数据结构定义 「数据结构 data structure」是计算机中组织和存储数据的方式，具有以下设计目标。 ‧ 空间占用尽量少，以节省计算机内存。 第 1 章 初识算法 hello‑algo.com 14 ‧ 数据操