3 使用Python加速文件传输和文件复制 Giampaolo Rodola
efficiently ○ copy files efficiently ● Part 2: ○ psutil ● 第1部分 ○基础的 Unix 概念 ○基础的 Socket 操作 ○高效的传输文件 ○高效的复制文件 ● 第2部分 ○ psutil UNIX concepts (oversimplified) [简单聊聊 Unix 的相关概念] System call / 系统调用 ● A way 系统调用 I/O ● open() ● read() ● write() Processes / 进程 ● fork() ● kill() ● wait() Filesystem / 文件系统 ● chmod() ● mkdir() ● getcwd() Communication / 通信 ● pipe() ● splice() ● mmap() Kernel / 内核 sys 0m1,099s File descriptors 文件描述符 File descriptors / 文件描述符 ● it's a reference to "something" (usually a file) ● it can be mixed with system calls ● 是对文件/套接字等资源的引用 ● 可以和系统调用连用 Print >>> import0 码力 | 78 页 | 654.51 KB | 1 年前3从百度文件系统看大型分布式系统设计中的定式与创新
搜索基础架构 从百度文件系统 看大型分布式系统设计 自我介绍 • 颜世光, 专注于大规模分布式系统 • 代表作品 - 百度第三代Spider系统 - 百度文件系统BFS - 万亿量级实时数据库Tera - 集群调度系统Galaxy • 个人主页&Blog - https://github.com/bluebore - http://bluebore.cn 提纲 • 百度文件系统简介 • 分布式系统设计实践 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统(Galaxy)、分布式协 调服务(Nexus)是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus lock service 分布式软件栈中的BFS The Baidu Stack 网络通信框架Sofa-pbrpc 分布式文件系统 BFS 集群调度系统 Galaxy 数据中心操作系统(DCOS) • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • …0 码力 | 24 页 | 937.45 KB | 1 年前3跟我一起写 Makefile (PDF 重制版)
里有什么? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.9 Makefile 的文件名 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.10 包含其它 Makefile 3.3 在规则中使用通配符 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3.4 文件搜寻 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.5 firstword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 7.3 文件名操作函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 7.3.1 dir0 码力 | 81 页 | 628.51 KB | 1 年前3基于 Java EE 的企业应用系统设计 - Spring MVC 03
大纲 Spring 文件上传 Spring 文件下载 Spring 用户登录 监听器 基于 Java EE 的企业应用系统设计 Spring MVC 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 June 14, 2017 大纲 Spring 文件上传 Spring 文件下载 Spring 用户登录 监听器 References 1. Spring MVC: 9781771970310) 大纲 Spring 文件上传 Spring 文件下载 Spring 用户登录 监听器 大纲 Spring 文件上传 示例:Apache Commons FileUpload 上传文件 Spring 文件下载 示例:隐藏资源 示例: 防止交叉引用 Spring 用户登录 监听器 大纲 Spring 文件上传 Spring 文件下载 Spring 用户登录 监听器 ���� ���� Spring 文件上传 示例:Apache Commons FileUpload 上传文件 Spring 文件下载 示例:隐藏资源 示例: 防止交叉引用 Spring 用户登录 监听器 大纲 Spring 文件上传 Spring 文件下载 Spring 用户登录 监听器 文件上传 O Spring MVC 中处理文件上传有两种方法 1. 使用 Apache Commons0 码力 | 40 页 | 651.07 KB | 1 年前3ThinkJS 2.2 中文文档
等常见的数据库,并且封装了很多操作数据库的接口, 无需手动拼接 SQL 语句,还可以自动防止 SQL 注入等安全漏洞。同时支持事务、关联模型等高级 功能。 代码自动更新 ThinkJS 内置了一套代码自动更新的机制,文件修改后立即生效,不用重启 Node.js 服务,也不用 借助第三方模块。 自动创建 REST 接口 使用 thinkjs 命令可以自动创建 REST 接口,不用写任何的代码即可完成 REST API js 注 :指定不同的模式创建的项目目录机构可能有细微的差别,但总体是类似的。 nginx.conf nginx 的配置文件,建议线上使用 nginx 做反向代理。 src 源代码目录,使用 ES6 模式创建项目才有该目录。项目启动时会自动将 src 目录下的文件编译 到 app 目录下。 如果没有使用 ES6 特性创建项目,则直接有 app/ 目录。 src/common 通用模块目录,项目目录都是按模块来划分的, common 模块下存放一些通用的处理逻辑。 src/common/bootstrap 项目启动目录,该目录下的文件会自动加载,无需手动 require 。 可以在这个目录下文件里定义一些全局函数、注册中间件等常用的功能。 定义全局函数 // src/common/bootstrap/fn.js global.formatDate = obj0 码力 | 277 页 | 3.61 MB | 1 年前3Python 标准库参考指南 3.10.15
GNU readline 接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 6.7.1 初始化文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 6.7.2 行缓冲区 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 6.7.3 历史文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 6.7.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397 11 文件和目录访问 399 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399 11.1.1 基础使用0 码力 | 2207 页 | 10.45 MB | 9 月前3Python 标准库参考指南 3.8.20
标准运算符替代函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359 11 文件和目录访问 367 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 11.2 os.path . . . . . . . . . . . 391 11.5 filecmp --- 文件及目录的比较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396 11.6 tempfile --- 生成临时文件和目录 . . . . . . . . . . . . . . . . . . . . . 风格路径名模式扩展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402 11.8 fnmatch --- Unix 文件名模式匹配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403 11.9 linecache --- 随机读写文本行0 码力 | 2052 页 | 9.74 MB | 9 月前3Python 标准库参考指南 3.10.15
--- GNU readline 接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 6.7.1 初始化文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 6.7.2 行缓冲区 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 6.7.3 历史文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 6.7.4 历史列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 11 文件和目录访问 373 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373 11.1.1 基础使用 .0 码力 | 2072 页 | 10.39 MB | 9 月前3Python 标准库参考指南 3.8.20
标准运算符替代函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336 11 文件和目录访问 343 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343 11.2 os.path . . . . . . . . . . . . 365 11.5 filecmp --- 文件及目录的比较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369 11.6 tempfile --- 生成临时文件和目录 . . . . . . . . . . . . . . . . . . . . . . 风格路径名模式扩展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375 11.8 fnmatch --- Unix 文件名模式匹配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376 11.9 linecache --- 随机读写文本行0 码力 | 1927 页 | 9.69 MB | 9 月前3Python 标准库参考指南 3.8.20
标准运算符替代函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336 11 文件和目录访问 343 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343 11.2 os.path . . . . . . . . . . . . 365 11.5 filecmp --- 文件及目录的比较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369 11.6 tempfile --- 生成临时文件和目录 . . . . . . . . . . . . . . . . . . . . . . 风格路径名模式扩展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375 11.8 fnmatch --- Unix 文件名模式匹配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376 11.9 linecache --- 随机读写文本行0 码力 | 1927 页 | 9.69 MB | 9 月前3
共 447 条
- 1
- 2
- 3
- 4
- 5
- 6
- 45