Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL

Leither OS 动态管理众多在线⺴⽹网民的⺴⽹网络资源、存储资源、运算资源 现有互联⺴⽹网的⼤大部分服务形态，都可以在Leither上快速构造出来。 可以构造视频⺴⽹网站、微博、微信、IM。。。。。 所有这些应⽤用，⽤用户体验基本不变的情况下 不需要中⼼心服务器存在 Leither是什么? 数 据 层 底 层 ⺴⽹网 络 层 应 ⽤用 层 数 据 ⽤用 层 消息通讯 索引 数据 应⽤用发布 应⽤用安装 应⽤用管理 Swarms 查 找 维 护 MVC 架构 MVC 架构 同 步 同 步 Leither的技术架构 ü 它是⼀一个⽣生态 ü 它有⾃自⼰己的⽣生态成员 应⽤用开发、内容维护、服务提供、系统⽀支撑、传递者、消费者 ü 它有⾃自⼰己的⾦金融体系 ） 构建同⾏行规模（⺴⽹网络，存储）⼤大约只需要数千万⼈人民币 类⽐比： ⼀一个是现有的中国电⼒力系统（电⼚厂+电⺴⽹网） ⼀一个是成本低于电费的个⼈人太阳能加⾃自动组⺴⽹网技术 效率：降低基础设施成本 l 可以⽀支持各种开发语⾔言 php golang java c# js python html5 ⺫⽬目前优先⽀支持html5架构

下一节: 验证表单的输入 103 4.2 验证表单的输入 4.2 验证表单的输入 开发Web的一个原则就是，不能信任用户输入的任何信息，所以验证和过滤用户的输入信息就变得非常重要，我们经 常会在微博、新闻中听到某某网站被入侵了，存在什么漏洞，这些大多是是因为网站对于用户输入的信息没有做严格 的验证引起的，所以为了编写出安全可靠的Web程序，验证表单输入的意义重大。 我们平常编写Web应用主 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符 串)、list(链表)、set(集合)和zset(有序集合)。 目前应用redis最广泛的应该是新浪微博平台，其次还有Facebook收购的图片社交网站instagram。以及其他一些有名 的互联网企业 Go目前支持redis的驱动有如下 - https://github.com/alphazero/Go-Redis 如何抓取一个访问受限的网页？如新浪微博好友的主页，个人微博页面等。 显然，通过浏览器，我们可以手动输入用户名和密码来访问页面，而所谓的“抓取”，其实就是使用程序来模拟完成 同样的工作，因此我们需要了解“登陆”过程中到底发生了什么。 当用户来到微博登陆页面，输入用户名和密码之后点击“登录”后浏览器将认证信息POST给远端的服务器，服务器执 行验证逻辑，如果验证通过，则浏览器会跳转到登录用户的微博首页，在登录成功后，服务器如何验证我们对其他受

。当然，堆排序一 般无需弹出元素，仅需每轮将堆顶元素交换至数组尾部并减小堆的长度即可。 ‧ 获取最大的 ? 个元素。这既是一道经典算法题目，也是一种常见应用，例如选取热度前 10 的新闻作为 微博热搜，选取前 10 销量的商品等。 8.2. 建堆操作 * 如果我们想要根据输入列表来生成一个堆，这样的操作被称为「建堆」。 8. 堆 hello‑algo.com 135 8.2.1. 两种建堆方法 Undirected Graph」和「有向图 Directed Graph」。 ‧ 在无向图中，边表示两顶点之间“双向”的连接关系，例如微信或 QQ 中的“好友关系”； ‧ 在有向图中，边是有方向的，即 ? → ? 和 ? ← ? 两个方向的边是相互独立的，例如微博或抖音上的 “关注”与“被关注”关系； 9. 图 hello‑algo.com 139 Figure 9‑2. 有向图与无向图 的相对位置，从而实现“稳定排序”；其实正序遍历 nums 也可以得到正确的排序结果，但结果“非稳定”。 11.7.4. 局限性 看到这里，你也许会觉得计数排序太妙了，咔咔一通操作，时间复杂度就下来了。然而，使用技术排序的前置 条件比较苛刻。 计数排序只适用于非负整数。若想要用在其他类型数据上，则要求该数据必须可以被转化为非负整数，并且不 能改变各个元素之间的相对大小关系。例如，对于包含负数的整数数组，可以先给所有数字加上一个常数，将

第32章：代码块和标识符作用域 第33章：表达式估值顺序规则 第34章：值复制成本 第35章：边界检查消除 并发编程 第36章：并发同步概述 第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第52章：Go技巧101 第53章：更多关于Go的知识 本书由老貘 历时三年写成。目前本书仍在不断改进和增容中。你的赞赏是本 书和Go101.org网站不断增容和维护的动力。 （请搜索关注微信公众号“Go 101”或者访问github.com/golang101/golang101 获 取本书最新版） 关于《Go语言101》 我觉得很难用通常的描述方式来描述本文中的内容。 所以本文将采用采访的形 类型参数类型被特意忽略掉了。 也就是说，本书不考虑自定义泛型中的情形。 本书由老貘 历时三年写成。目前本书仍在不断改进和增容中。你的赞赏是本 书和Go101.org网站不断增容和维护的动力。 （请搜索关注微信公众号“Go 101”或者访问github.com/golang101/golang101 获 取本书最新版） 致谢 首先，感谢整个Go社区。 如果没有一个活跃和交流顺畅的社区，本书很难完 成。

个汉字。在 GBK 的编码方案中，ASCII 字符使用一个字节表示，汉字使用两个字节表示。 第 3 章 数据结构 hello‑algo.com 61 3.4.3 Unicode 字符集 随着计算机技术的蓬勃发展，字符集与编码标准百花齐放，而这带来了许多问题。一方面，这些字符集一般 只定义了特定语言的字符，无法在多语言环境下正常工作。另一方面，同一种语言存在多种字符集标准，如 果两台计算机使用 还处于发展早期，那时候使用 16 位的编码就足以表示所有的 Unicode 字符了。 ‧ C# 使用 UTF‑16 编码，主要是因为.NET 平台是由 Microsoft 设计的，而 Microsoft 的很多技术（包 括 Windows 操作系统）都广泛使用 UTF‑16 编码。 由于以上编程语言对字符数量的低估，它们不得不采取“代理对”的方式来表示超过 16 位长度的 Unicode 字符。这是一个 场普及。 ‧ 缓存的大容量和高速度难以兼得。随着 L1、L2、L3 缓存的容量逐步增大，其物理尺寸会变大，与 CPU 核心之间的物理距离会变远，从而导致数据传输时间增加，元素访问延迟变高。在当前技术下，多层级 的缓存结构是容量、速度和成本之间的最佳平衡点。 图 4‑9 计算机存储系统 Note 计算机的存储层次结构体现了速度、容量和成本三者之间的精妙平衡。实际上，这种权衡普遍存在于

个汉字。在 GBK 的编码方案中，ASCII 字符使用一个字节表示，汉字使用两个字节表示。 第 3 章 数据结构 hello‑algo.com 61 3.4.3 Unicode 字符集 随着计算机技术的蓬勃发展，字符集与编码标准百花齐放，而这带来了许多问题。一方面，这些字符集一般 只定义了特定语言的字符，无法在多语言环境下正常工作。另一方面，同一种语言存在多种字符集标准，如 果两台计算机使用 还处于发展早期，那时候使用 16 位的编码就足以表示所有的 Unicode 字符了。 ‧ C# 使用 UTF‑16 编码，主要是因为.NET 平台是由 Microsoft 设计的，而 Microsoft 的很多技术（包 括 Windows 操作系统）都广泛使用 UTF‑16 编码。 由于以上编程语言对字符数量的低估，它们不得不采取“代理对”的方式来表示超过 16 位长度的 Unicode 字符。这是一个 场普及。 ‧ 缓存的大容量和高速度难以兼得。随着 L1、L2、L3 缓存的容量逐步增大，其物理尺寸会变大，与 CPU 核心之间的物理距离会变远，从而导致数据传输时间增加，元素访问延迟变高。在当前技术下，多层级 的缓存结构是容量、速度和成本之间的最佳平衡点。 图 4‑9 计算机存储系统 � 计算机的存储层次结构体现了速度、容量和成本三者之间的精妙平衡。实际上，这种权衡普遍 存在于所有工

GBK 的编码方案中，ASCII 字符使用一个字节表示，汉字使用两个字节表示。 第 3 章 数据结构 www.hello‑algo.com 61 3.4.3 Unicode 字符集 随着计算机技术的蓬勃发展，字符集与编码标准百花齐放，而这带来了许多问题。一方面，这些字符集一般 只定义了特定语言的字符，无法在多语言环境下正常工作。另一方面，同一种语言存在多种字符集标准，如 果两台计算机使用 还处于发展早期，那时候使用 16 位的编码就足以表示所有的 Unicode 字符了。 ‧ C# 使用 UTF‑16 编码，主要是因为.NET 平台是由 Microsoft 设计的，而 Microsoft 的很多技术（包 括 Windows 操作系统）都广泛使用 UTF‑16 编码。 由于以上编程语言对字符数量的低估，它们不得不采取“代理对”的方式来表示超过 16 位长度的 Unicode 字符。这是一个 市场普及。 ‧ 缓存的大容量和高速度难以兼得。随着 L1、L2、L3 缓存的容量逐步增大，其物理尺寸会变大，与 CPU 核心之间的物理距离会变远，从而导致数据传输时间增加，元素访问延迟变高。在当前技术下，多层级 的缓存结构是容量、速度和成本之间的最佳平衡点。 图 4‑9 计算机存储系统 Tip 计算机的存储层次结构体现了速度、容量和成本三者之间的精妙平衡。实际上，这种权衡普遍存在于 所有

还处于相对早期的阶段，那时候使用 16 位的编码就足够表 示所有的 Unicode 字符了。 ‧ C# 使用 UTF‑16 编码，主要因为.NET 平台是由 Microsoft 设计的，而 Microsoft 的很多技术，包括 Windows 操作系统，都广泛地使用 UTF‑16 编码。 由于以上编程语言对字符数量的低估，它们不得不采取“代理对”的方式来表示超过 16 位长度的 Unicode 字符。这是一个 有序数 据。然而，我们通常会使用一种更优雅的方式实现堆排序，详见后续的堆排序章节。 ‧ 获取最大的 ? 个元素：这是一个经典的算法问题，同时也是一种典型应用，例如选择热度前 10 的新闻 作为微博热搜，选取销量前 10 的商品等。 8.2. 建堆操作 如果我们想要根据输入列表生成一个堆，这个过程被称为「建堆」。 8.2.1. 借助入堆方法实现 最直接的方法是借助“元素入堆操作”实现， Undirected Graph」和「有向图 Directed Graph」。 ‧ 在无向图中，边表示两顶点之间的“双向”连接关系，例如微信或 QQ 中的“好友关系”。 ‧ 在有向图中，边具有方向性，即 ? → ? 和 ? ← ? 两个方向的边是相互独立的，例如微博或抖音上 的“关注”与“被关注”关系。 9. 图 hello‑algo.com 165 Figure 9‑2. 有向图与无向图

写在前面 hello‑algo.com 2 Figure 0‑1. Hello 算法内容结构 0.1.3. 致谢 本书的成书过程中，我获得了许多人的帮助，包括但不限于： ‧ 感谢我的导师李博，在小酌畅谈时您告诉我“觉得应该做就去做”，坚定了我写这本书的决心。 ‧ 感谢我的女朋友泡泡担任本书的首位读者，从算法小白的视角提出了许多建议，使这本书更加适合初学 者来阅读。 ‧ 感谢腾宝、琦 。当然，堆排序一 般无需弹出元素，仅需每轮将堆顶元素交换至数组尾部并减小堆的长度即可。 ‧ 获取最大的 ? 个元素。这既是一道经典算法题目，也是一种常见应用，例如选取热度前 10 的新闻作为 微博热搜，选取前 10 销量的商品等。 8.2. 建堆操作 * 如果我们想要根据输入列表来生成一个堆，这样的操作被称为「建堆」。 8. 堆 hello‑algo.com 132 8.2.1. 两种建堆方法 Undirected Graph」和「有向图 Directed Graph」。 ‧ 在无向图中，边表示两顶点之间“双向”的连接关系，例如微信或 QQ 中的“好友关系”； ‧ 在有向图中，边是有方向的，即 ? → ? 和 ? ← ? 两个方向的边是相互独立的，例如微博或抖音上的 “关注”与“被关注”关系； 9. 图 hello‑algo.com 136 Figure 9‑2. 有向图与无向图