efficiently ○ copy files efficiently ● Part 2: ○ psutil ● 第1部分 ○基础的 Unix 概念 ○基础的 Socket 操作 ○高效的传输文件 ○高效的复制文件 ● 第2部分 ○ psutil UNIX concepts (oversimplified) [简单聊聊 Unix 的相关概念] System call / 系统调用 ● A way 系统调用 I/O ● open() ● read() ● write() Processes / 进程 ● fork() ● kill() ● wait() Filesystem / 文件系统 ● chmod() ● mkdir() ● getcwd() Communication / 通信 ● pipe() ● splice() ● mmap() Kernel / 内核 sys 0m1,099s File descriptors 文件描述符 File descriptors / 文件描述符 ● it's a reference to "something" (usually a file) ● it can be mixed with system calls ● 是对文件/套接字等资源的引用 ● 可以和系统调用连用 Print >>> import

© XXX Page 1 of 24 Curve文件系统元数据管理（已实现）© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点： 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义： 4.2 dentry的定义： 4.3 内存组织 5 元数据分片 照parentid分片 5.1.1 场景分析 查找：查找/A/C。 创建：/A/C不在，创建/A/C 删除文件：删除/A/C 删除目录：删除/A rename：rename /A/C到/B/E symbolic link： hardlink：生成一个hardlink /B/E，指向文件/A/C list：遍历/A目录 5.1.2 好处 5.1.2 问题 5.2 分片方式二：Inode按照i hardlink：生成一个hardlink /B/E，指向文件/A/C 6、curve文件系统的多文件系统的设计 1、设计一个分布式文件系统需要考虑的点： 文件系统的元数据是否全缓存？ 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ inode+dentry方式？当前curve块存储的kv方式？ 是否有单独的元数据管理服务器？ 2、其他文件系统的调研总结 fs 中心化元数据 内存namespace元数据

11 Curve文件系统空间分配方案（基于块的方案，已实现）© XXX Page 2 of 11 背景 本地文件系统空间分配相关特性 局部性 延迟分配/Allocate-on-flush Inline file/data 空间分配 整体设计 空间分配流程 特殊情况 空间回收 小文件处理 并发问题 文件系统扩容 接口设计 RPC接口 空间分配器接口 背景 根据 ，文件系统基于当前的 ，文件系统基于当前的块进行实现，所以需要设计基于块的空间分配器，用于分配并存储文件数据。 CurveFS方案设计（总体设计，只实现了部分） 本地文件系统空间分配相关特性 局部性 尽量分配连续的磁盘空间，存储文件的数据。这一特性主要是针对HDD进行的优化，降低磁盘寻道时间。 延迟分配/Allocate-on-flush 在sync/flush之前，尽可能多的积累更多的文件数据块才进行空间分配，一方面可以提高局部性，另一方面可以降低磁盘碎片。 file/data 几百字节的小文件不单独分配磁盘空间，直接把数据存放到文件的元数据中。 针对上述的本地文件系统特性，Curve文件系统分配需要着重考虑 。 局部性 虽然Curve是一个分布式文件系统，但是单个文件系统的容量可能会比较大，如果在空间分配时，不考虑局部性，inode中记录的extent数量很多，导致文件系统元数据量很大。© XXX Page 3 of 11 假如文件系统大小为1PiB，

© XXX Page 1 of 15 curvefs client 删除文件和目录功能设计© XXX Page 2 of 15 背景 相关调研 moosefs chubaofs 方案设计思考 1.Trash机制是实现1个(类似chubaofs)，还是2个（类似moosefs）？ 2. Trash放在哪里？ 3. 是否需要做session机制（在metaserver打开），来维护inode的打开情况？ ret; } 存在两个问题: 一是删除时nlink字段未考虑： 文件的nlink用于实现hard link。 hard link使用nlink字段表示文件的link的引用计数，第一次创建文件是nlink字段为1。每创建一个新的指向该文件的hard link时,nlink字段+1， 每删除一个hard link或指向的原文件时，nlink字段-1。© XXX Page 4 of 15 当nl 删除inode。 目录的nlink字段与文件的nlink字段不同， ， 并且在目录下， ， 删除目录nlink相应的减1。 目录的nlink字段初始值为2 每创建一个新目录，nlink字段也会+1 目录不支持硬链接。 二是删除时lookup count未考虑： lookup count 指的是文件的访问计数。当文件/目录被打开时， ，该文件/目录仍然可以被打开的进程访问，不会造成崩溃或报错，我们的curvefs也需要实现

XXX Page 1 of 15 curve文件系统元数据proto（代码接口定义，已实现）© XXX Page 2 of 15 1、代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块，在当前curve项目的目录下，增加一个一级目录curvefs，curvefs下有自己独立的proto\src\test。 2、文件系统proto定义 2.1 mds.proto

© XXX Page 1 of 12 元数据持久化© XXX Page 2 of 12 前言 Raft Log Raft Snapshot 持久化文件 key_value_pairs 其他说明 实现 1、inode、entry 的编码 2、KVStore Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案？ redis + muliraft 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： Raft Log：记录 operator log Raft Snapshot：将内存中的数据结构以特定格式 dump 到文件进行持久化© XXX Page 3 of 12 Raft Log +------+------------+-----+----------------+---------+----------+ ---+----------------+---------+ 持久化文件 字段 字节数 说明 CURVEFS 7 magic number（常量字符 "CURVEFS"），用于标识该文件为 curvefs 元数据持久化文件 version 4 文件版本号（当文件格式变化时，可以 100% 向后兼容加载旧版持久化文件） size 8 键值对数量 key_value_pairs / 键值对（当

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 制造输出和绘制 钻孔文件 元件放置文件 额外的制造产出 打印 正在导出文件 封装和封装库 管理封装库 创建和编辑封装 高级主题 配置和自定义 自定义设计规则 脚本 Working With IDF Component Outlines org/help/report-an-issue/ 2 Pcbnew 简介 初始配置 当 Pcbnew 第一次运行时，如果在 KiCad 配置文件夹中没有找到全局封装表文件 fp-lib-table ，那么 Pcbnew 将 询问如何创建这个文件： The first option is recommended (Copy default global footprint library table management is described in more detail later. 3 Pcbnew 用户界面 主 Pcbnew 用户界面如上所示，其中指出了一些关键元素： 1. 顶部工具栏 (文件管理、缩放工具、编辑工具) 2. 左侧工具栏 （显示选项） 3. 消息面板和状态栏 4. 右侧工具栏 (绘图和设计工具) 5. 外观面板 6. 选择过滤器面板 导航编辑画布 编辑画布是

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 制造输出和绘制 钻孔文件 元件放置文件 额外的制造产出 打印 正在导出文件 封装和封装库 管理封装库 创建和编辑封装 高级主题 配置和自定义 Text variables 自定义设计规则 脚本 使用 IDF 元件边框的工作 org/help/report-an-issue/ 的说明 2 KiCad PCB 编辑器简介 初始配置 当 PCB 编辑器第一次运行时，如果在 KiCad 配置文件夹中没有找到全局引脚表文件 fp-lib-table ，那么 KiCad 将 询问如何创建这个文件： 第一个选项是推荐的（复制默认的全局封装库表（推荐））。默认的封装库表包括所有作为 KiCad 的一部分安装的标 准封装库。 如果该选项被禁用，KiCad 如果你已经安装了标准的 KiCad 封装库并想使用它们，但第一个选项被禁用，选择第二个选项并浏览到安装 KiCad 库的目录中的 fp-lib-table 文件。 如果你已经有了一个你想使用的自定义封装库表，选择第二个选项并浏览到你的 fp-lib-table 文件。 如果你想从头开始构建一个新的封装库表，选择第三个选项。 Footprint library management is described

. 测量工具 设计规则检查 Board Statistics 查找工具 搜索面板 3D 查看器 网络检查 生成输出 制造输出和绘图 钻孔文件 IPC-2581 files 元件拾放文件 其它制造输出 打印 导出文件 封装和封装库 管理封装库 创建和编辑封装 Browsing footprint libraries 高级主题 配置和自定义 文本变量 自定义设计规则 org/help/report-an-issue/ 2 KiCad PCB 编辑器简介 初始配置 当 PCB 编辑器第一次运行时，如果在 KiCad 配置文件夹中没有找到全局封装表文件 fp-lib-table ，那么 KiCad 将 询问如何创建这个文件： 第一个选项是推荐的（复制默认的全局封装库表）。默认的封装库表包括所有作为 KiCad 的一部分安装的标准封装 库。 如果该选项被禁用，KiCad fp-lib-table 文件。 如果你已经有了一个你想使用的自定义封装库表，选择第二个选项并浏览到你的 fp-lib-table 文件。 如果你想从头开始构建一个新的封装库表，选择第三个选项。 封装库的管理 之后 有更详细的描述。 3 PCB 编辑器的用户界面 PCB 编辑器的主要用户界面如上图所示，并标明了一些关键元素： 1. 顶部工具栏 (文件管理、缩放工具、编辑工具) 2

. . . . . . . Gerber Viewer Table of Contents Gerber 浏览器介绍 界面 主窗口 顶部工具栏 左方工具栏 层管理器 菜单栏命令 文件菜单 工具菜单 打印 2 2 2 3 4 5 6 6 7 7 参考手册 版权 This document is Copyright © 2010-2021 by its Gerber 浏览器是一个 Gerber 文件（RS-274X 格式）与 Excellon 钻孔文件的查看器，其最多可以一次性显示32个文 件。 关于 Gerber 文件的更多信息，可以阅读 Gerber文件格式规范 文档。关于钻孔文件格式的信息，可以阅读 http://web.archive.org/web/20071030075236/ Excellon格式描述 文档。 界面 主窗口 3 3 顶部工具栏 清除所有图层 加载 Gerber 文件 加载 Excellon 钻孔文件 设置页面尺寸 打印 重绘视图 放大或缩小 自动缩放（缩放适合） 缩放至选择 选择活动图层 显示有关活动图层的信息 高亮显示属于所选元件的项目（Gerber X2） 高亮显示属于所选网络的项目（Gerber X2） 高亮显示具有所选属性的项目（Gerber X2） 高亮显示活动图层上所选