CurveFS ChunkID持久化
chunkid 持久化© XXX Page 2 of 3 1. 2. 3. 1. 2. 3. 4. 5. 6. 1. 2. 3. 4. 1. 1. 1. 2. 1. 2. 3. 4. 3. 2. 背景 将原有的获取chunkid的方法从space迁入mds中,并持久化写入etcd中; 只考虑单 ChunkIDGenerator 类对象,方法 AllocateS3Chunk 调用 ChunkIDGenerator对象的GenChunkID方法; ChunkIDGenerator 类 构造函数 初始化 init 函数:用于初始化或者更改 ChunkIdAllocatorImpl 的一些配置。但是这些配置不会立即生效,而是等到当前 chunkId池枯竭时才会生效。 析构函数 GenChunkID 申请的chunkID池是否枯竭?0 码力 | 3 页 | 79.38 KB | 5 月前34 【王琼】容器监控架构演进 王琼 YY直播
0 码力 | 23 页 | 2.17 MB | 1 年前3多云管下的自动化运维架构-刘宇
多云管下的自动化运维架构 刘宇 Bespin 高级研发总监 自我介绍 自我介绍 • DevOps专家 • 曾任职于新浪、百度、金山 • 《Puppet实战作者》 《Puppet实战手册》 《Python进阶》 • QCon金牌讲师,QCon优秀出品人 目录 ① 行业趋势分析 ② 多云下运维的挑战 ③ 多云平台架构如何设计? ④ 困难以及挑战 资源统一管理 监控 —〉 账单难处理 。。。 多云下运维的挑战 Gartner:云管理平台需要具备多云管理、自服务、计量计费、资源弹性及服务编排, 能够自动化部署和配置相关资源,可以与企业现有IT管理系统集成的服务化能力 云管平台架构设计 私有云 公有云 虚拟化 接⼝口适配 多云统⼀一编排 ⾃自助服务 多云管理理 资源优化 云管平台架构设计 Performance Monitoring ITSM Redis MySQL Aliyun AWS Huawei Other • 通用的参数在拦截器获取实 现,并注入到log4j的MDC • 使用时没有侵入,自动将通 用参数写入日志 • 标准化:统一日志规范和记 录日志方式 资源统一管理:日志 Log interceptor Controller Cloud Service Inject basic info HttpRequest0 码力 | 32 页 | 6.05 MB | 1 年前3Curve文件系统元数据持久化方案设计
© XXX Page 1 of 12 元数据持久化© XXX Page 2 of 12 前言 Raft Log Raft Snapshot 持久化文件 key_value_pairs 其他说明 实现 1、inode、entry 的编码 2、KVStore Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案? redis + muliraft redis 中哈希表实现的优点? 参考 前言 根据之前讨论的结果,元数据节点的架构如下图所示,这里涉及到两部分需要持久化/编码的内容: Raft Log:记录 operator log Raft Snapshot:将内存中的数据结构以特定格式 dump 到文件进行持久化© XXX Page 3 of 12 Raft Log +------+------------+-----+----- -----+----------------+---------+ 持久化文件 字段 字节数 说明 CURVEFS 7 magic number(常量字符 "CURVEFS"),用于标识该文件为 curvefs 元数据持久化文件 version 4 文件版本号(当文件格式变化时,可以 100% 向后兼容加载旧版持久化文件) size 8 键值对数量 key_value_pairs / 键值对(当0 码力 | 12 页 | 384.47 KB | 5 月前3openEuler 23.09 技术白皮书
月 30 日,全新 openEuler 21.09 创新版如期而至,这是欧拉全新发布后的第一个社区版本,实现了全场景 支持。增强服务器和云计算的特性,发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术; 同时发布边缘和嵌入式版本。 2022 年 3 月 30 日,基于统一的 5.10 内核,发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 长生命周 期版本采用 6.x 内核提前进行技术探索,方便开发者进行硬件适配、基础技术创新及上层应用创新。 2023 年 6 月 30 日,发布 openEuler 22.03 LTS SP2 版本,场景化竞争力特性增强,性能持续领先。 2023 年 9 月 30 日,发布 openEuler 23.09 创新版本,是基于 6.4 内核的创新版本(参见版本生命周期),提供更多 新特性和功能,给开发者 持续完善多样性算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建,推动 openEuler 应用边界从最初的服务器场景,逐步拓展到云计算、边 缘计算、嵌入式等更多场景。openEuler 正成为覆盖数字基础设施全场景的操作系统。 openEuler 希望与广大生态伙伴、用户、开发者一起,通过联合创新、社区共建,不断增强场景化能力,最终实现统 一操作系统支持多设备,应用一次开发覆盖全场景。0 码力 | 52 页 | 5.25 MB | 1 年前3openEuler 21.09 技术白皮书
运行环境 08 著作权说明 32 内核创新 10 商标 32 云化基座 14 附录 32 CONTENTS 目录 openEuler 21.09 技术白皮书 01 场景创新 18 概述 02 增强特性 21 平台架构 05 社区治理 25 运行环境 08 著作权说明 32 内核创新 10 商标 32 云化基座 14 附录 32 01/ 概述 openEuler 21.09 9 月 30 日,全新openEuler 21.09创新版如期而至,这是欧拉全新发布后的第一个社区版本,实现了全场景支持。 增强服务器和云计算的特性,发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术;同时发布 边缘和嵌入式版本。 openEuler 作为一个操作系统发行版平台,每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的 操作系统。 覆盖全场景的创新平台 openEuler 已支持 X86、Arm、RISC-V 多处理器架构,未来还会扩展 PowerPC、SW64 等更多芯片架构支持,持续 完善多样化算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建,推动 openEuler 应用边界从最初的服务器场景,逐步拓展到云计算、 边缘计算、嵌入式等更多场景。openEuler 正成为覆盖全场景的操作系统,将发布面向边缘计算的版本0 码力 | 35 页 | 3.72 MB | 1 年前3openEuler 24.03 LTS 技术白皮书
技术白皮书 openEuler 24.03 LTS CONTENTS 场景创新 运行环境 特性增强 云化基座 内核创新 平台架构 商标 附录 著作权说明 概述 01 41 42 43 15 18 20 04 07 10 01 openEuler 24.03 LTS 技术白皮书 概述 概述 02 openEuler 24.03 LTS 技术白皮书 概述 OpenAtom 日,全新openEuler 21.09创新版如期而至,这是openEuler全新发布后的第一个社区版本,实现了全场景支持。 增强服务器和云计算的特性,发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术;同时发布边缘和 嵌入式版本。 2022 年 3 月 30 日,基于统一的 5.10 内核,发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 长生命周期版本 采用 6.x 内核提前进行技术探索,方便开发者进行硬件适配、基础技术创新及上层应用创新。 2023 年 6 月 30 日,发布 openEuler 22.03 LTS SP2 版本,场景化竞争力特性增强,性能持续提升。 2023 年 9 月 30 日,发布 openEuler 23.09 创新版本,是基于 6.4 内核的创新版本(参见版本生命周期),提供更多新特性和功能, 给开发者0 码力 | 45 页 | 6.18 MB | 1 年前3openEuler 22.03-LTS 技术白皮书
03-LTS 技术白皮书 1 openEuler 22.03 LTS 技术白皮书 openEuler 22.03-LTS 技术白皮书 01 openEuler 22.03-LTS 技术白皮书 3 云化基座 18 概述 02 平台架构 05 运行环境 09 场景创新 11 特性增强 23 著作权说明 30 商标 30 附录 30 内核创新 14 CONTENTS 01/ 概述 目录 覆盖全场景的创新平台 openEuler 已支持 x86、ARM、SW64、RISC-V 多处理器架构,未来还会扩展 PowerPC 等更多芯片架构支持,持续 完善多样化算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建,推动 openEuler 应用边界从最初的服务器场景,逐步拓展到云计算、边 缘计算、嵌入式等更多场景。openEuler 正成为覆盖全场景的操作系统,新增发布面向边缘计算的版本 03 LTS Edge、面向嵌入式的版本 openEuler 22.03 LTS Embedded。 openEuler 希望与广大生态伙伴、用户、开发者一起,通过联合创新、社区共建,不断增强场景化能力,最终实现统 一操作系统支持多设备,应用一次开发覆盖全场景。 openEuler 对 Linux Kernel 的持续贡献 openEuler 内核研发团队持续贡献 Linux Kernel0 码力 | 17 页 | 6.52 MB | 1 年前3openEuler 22.03 LTS SP2 技术白皮书
技术白皮书 openEuler 22.03 LTS SP2 目 录 CONTENTS 附录 45 特性增强 20 商标 44 云化基座 17 著作权说明 43 内核创新 12 概述 01 平台架构 04 运行环境 07 场景创新 09 01 openEuler 22.03 LTS SP2 技术白皮书 概述 概述 02 openEuler 22 日,全新 openEuler 21.09 创新版如期而至,这是 openEuler 全新发布后的第一个社区版本,实现了 全场景支持。增强服务器和云计算的特性,发布面向云原生的业务混部CPU调度算法、容器化操作系统KubeOS等关键技术; 同时发布边缘和嵌入式版本。 2022 年 3 月 30 日,基于统一的 5.10 内核,发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 22 长生命周 期版本采用 6.x 内核提前进行技术探索,方便开发者进行硬件适配、基础技术创新及上层应用创新。 2023 年 6 月 30 日,发布 openEuler 22.03 LTS SP2 版本,场景化竞争力特性增强,性能持续提升。 openEuler 版本管理 长生命周期版本 openEuler 20.03 LTS openEuler 22.03 LTS 创新版本 openEuler 220 码力 | 48 页 | 5.62 MB | 1 年前3高效智能运维[云+社区技术沙龙第29期] - 蓝鲸研发运维技术PaaS体系实践-张敏
构建企业研发运营一体化体系的PaaS开发框架,提供了aPaaS(DevOps流水线、运行环境托管、前后台框架)和 iPaaS(持续集成、CMDB、作业平台、容器管理、数据平台、AI等原子平台)等模块,帮助企业技术人员快速构建基 础运营PaaS。 腾讯蓝鲸智云秉承开放共赢的理念,以改变中国运维行业为起点,致力于推动国内企业借助研发运营一体化,低成本 实现企业IT经营管理模式升级和自主化。 承载数百款 工具驱动运维:采用运维 开发的模式,实现所有运维任 务自动化、工具化、可视化。 数据驱动运维:基于大数据 的接入、存储、分析技术,对运 维数据进行全面挖掘和分析,实 现数据驱动自动化运维。 机器驱动运维:基于智能算法 的机器自我学习,训练机器智能运 维模型,实现无人值守和智能的运 维与运营。 数据化 2015--2017 智能化 2017—现在 蓝鲸目前在腾讯应用情况及发展方向 发布变更、故障处理等运维操作场景和操作流程是没有直 观规律的。 服务器数量,也就是操作单元,有二十余万。 随着容器技术的普及,操作单元的数量还会暴涨。 所有业务之间无关联 业务操作单元暴涨 运维转型,困难重重 蓝鲸进化第1步:抽象原子平台 蓝鲸配置平台 获取资源 新建大区 主机注册 创建DB 初始化数 据 拉起业务 进程 布署监控 开新区 部署程序 测试验证 清理脏数 据 对外开放0 码力 | 26 页 | 8.25 MB | 1 年前3
共 130 条
- 1
- 2
- 3
- 4
- 5
- 6
- 13