Curve质量监控与运维 - 网易数帆
✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 (易部署、易升级、自治) ✓ 运维工具(部署工具、管理工具) 4/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系软件质量 软件质量的定义是:软件与明确地和隐含地定义的需求相一致的程度。 为了确保最终交付的软件满足需求,必须将质量控制贯穿于设计、开发到测试的整个流程中。 Curve团队采用敏捷开发模式,负责人在制定迭代计划时,确认哪些任务需要设计 文档: 小需求(改动小)将实现思路记录到任务管理系统中(JIRA),即可进行开发; 大需求(新模块、复杂功能)需要输出独立设计文档,并进行评审;对于功能或 性能影响较大的功能,还需要进行POC验证;评审和验证通过后才能启动开发 工作。 小需求 实现思路 开发 大需求 设计文档 POC 开发 7/33设计文档规范 设计文档需要具备以下内容: Daily reporter——python脚本,定时从 Grafana获取指定集群的图表,生成集群监控 日报,并通过邮件发送。 Grafana——开源的度量分析和可视化工具, curve利用它进行数据可视化展示。 20/33监控指标(metric)的生成 Curve使用brpc内置的bvar计数器类库,来生成监控指标,其特点是: thread local存储,减少了cache0 码力 | 33 页 | 2.64 MB | 5 月前3TiDB中文技术文档
历史数据回溯 垃圾回收 (GC) TiDB Ansible 常见运维操作 TiDB 运维文档 Try TiDB - 3 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 运维文档 软硬件环境需求 部署集群 Ansible 部署方案(强烈推荐) 离线 Ansible 部署方案 Docker 部署方案 Docker Compose 部署方案 跨机房部署方案 配置集群 参数解释 TiDB 配置项解释 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制 高级功能 历史数据回溯 垃圾回收 (GC) TiDB 运维文档 软硬件环境需求 部署集群 Ansible 部署方案(强烈推荐) 离线 Ansible 部署方案 Docker 部署方案 Docker Compose 部署方案 跨机房部署方案 配置集群 参数解释 README - 节点之间以 Region 为单位做调度,将部分数据迁移到新加的节点上。所以在业务的早期,可以只部署少量的服务实 例(推荐至少部署 3 个 TiKV, 3 个 PD,2 个 TiDB),随着业务量的增长,按照需求添加 TiKV 或者 TiDB 实例。 高可用是 TiDB 的另一大特点,TiDB/TiKV/PD 这三个组件都能容忍部分实例失效,不影响整个集群的可用性。下 面分别说明这三个组件的可用性、单个实例失效后的后果以及如何恢复。0 码力 | 444 页 | 4.89 MB | 5 月前3新一代云原生分布式存储
write(offset, len) •服务质量要求:数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求,并且有持续监控、错误检测、容错与自动恢复的能力 以达到高可靠、高可用、高可扩分布式存储的要素 要 素 拆 解 数据分布 —— 无中心节点/中心节点 均 衡 副本数异常 Quorum一致性协议 • 大多数副本写完成返回客户端 • 延迟取决于所有副本中最快的大多数主要亮点 高性能 更稳定 跟各 更稳定 具备可视化的开发页面, 直观查看任务运行情况, 数据开发方便,系统运 维方便 易运维 具备可视化的开发页面, 直观查看任务运行情况, 数据开发方便,系统运 维方便 高质量 基于在架构上的选择和优秀的工程实践,Curve 在性能、运维、稳定性、工程实践质量上都优于Ceph主要亮点0 码力 | 29 页 | 2.46 MB | 5 月前323-云原生观察性、自动化交付和 IaC 等之道-高磊
根据运维场景和关注点的不同,以不同图表或者曲 线图来表示整体分布式应用的各维度情况,使得开 发人员可以清晰的观测到整体分布式应用的详细运 行情况,为高精度运维提供可视化支撑 人工发展阶段:符合人分析问题的习惯 宏观->微观 精细化发展阶段:依靠数据赋能,加强可视化能力,进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 观察性 Prometheus 是自己的业务,所以更多 购买了不同厂家的云计算 平台,以便减少费用和投 入,所以云原生平台本身 就能够纳管多云环境,由 于OAM的存在向上统一化 了抽象的规则,对下隔离 了多云的差异,可以很好 的满足企业的需求 标准化能力-微服务PAAS-OAM交付流程模式-场景流程 • 典型的ISV交付场景,目前 大部分业务企业不具备或 者不擅长软件研发和交付 的工作,一般都委托给第 三方ISV来完成客户交付。 •0 码力 | 24 页 | 5.96 MB | 6 月前3【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502
“星际之门”计划 中国DeepSeek-R1的创新突破,诞生推理型Scaling Law,改 写AI发展方向 30政企、创业者必读 DeepSeek在用户体验上实现了三件事 更加理解用户需求,降低Prompt要求 直接呈现思维过程,展现像真人一样思考的能力 可实时联网,把搜索能力与推理能力结合 DeepSeek颠覆式创新——用户体验 具备强大推理能力,思维过程更加缜密,智能性提升 DeepSeek颠覆式创新——成本暴跌 35政企、创业者必读 惠及全球人民,科技平权,技术平民化 运营商、云服务可免费用,降低云服务成本 大型企业可使用多个DeepSeek,解决不同场景需求 中小企业免费部署,消除数字鸿沟 个人可以拥有自己的DeepSeek ,可以成为超级个体 对于创业者得到世界最先进大模型,如虎添翼,和巨头站在 同一起跑线上 很多发展中国家都能成为大模型玩家,实现人类命运共同体 41政企、创业者必读 DeepSeek六大应用方向之四 未来产业:变不可能为可能 42 DeepSeek的技术为机器人、智能网联车、无人机、机器狗 等带来巨大改进,降低成本和算力要求 低成本低算力需求使得模型更容易被部署到机器人等智能设 备上,解决物理现实世界的认知、决策和行动问题政企、创业者必读 赋予自动驾驶复杂物理世界理解能力 从规则驱动到学习驱动 43政企、创业者必读 人工智0 码力 | 76 页 | 5.02 MB | 5 月前3网易云Service Mesh的产品架构与实现
service-fabric-ben-spencer/ Kaola163yun.com 开发独立: 代码耦合度比较高,修改代码通常会对多个模块产生影响,操控难度大,风险高 上线独立: 单次上线需求列表多,上线时间长,影响面大 简化扩容: 由于业务多,每一次扩容需要增加的配置比较杂。一些不起眼的小业务虽然不是扩容的主要目 的,也需要慎重考虑 容灾降级:核心业务与非核心业务耦合,在关键时候互相影响 设计思路 Agent热加载 兼容SpringCloud,Dubbo框架 控制面租户隔离 适配VPC网络 同IaaS或者Kubernetes解耦 Restful API 高可用 横向扩展 可视化163yun.com 网易微服务框架www.163yun.com 网易微服务框架www.163yun.com 新一代微服务治理平台 服务A jar envoy 服务B jar envoy0 码力 | 35 页 | 6.33 MB | 5 月前3Rust 程序设计语言 简体中文版 1.85.0
程序设计语言 简体中文版.pdf) 本书也有由 No Starch Press 出版的纸质版和电子版。 🚨 想要具有互动性的学习体验吗?试试 Rust Book 的另一个版本,其中包括测验、 高亮、可视化等功能:https://rust-book.cs.brown.edu 5/562Rust 程序设计语言 简体中文版 前言 Rust 程序设计语言的本质实际在于 赋能(empowerment):无论你现在编写的是何种代码, 文档中的代码示例。这个功能帮助我们使文档和代 码保持同步!在第十四章的 “文档注释作为测试” 部分会讲到如何编写文档测试。现在我们将 忽略 Doc-tests 部分的输出。 让我们开始自定义测试来满足我们的需求。首先给 it_works 函数起个不同的名字,比如 exploration,像这样: 文件名:src/lib.rs 221/562Rust 程序设计语言 简体中文版 pub fn add(left: = greeting("Carol"); assert!(result.contains("Carol")); } } 这个程序的需求还没有被确定,因此问候文本开头的 Hello 文本很可能会改变。然而我们并不 想在需求改变时不得不更新测试,所以相比检查 greeting 函数返回的确切值,我们将仅仅断 言输出的文本中包含输入参数。 让我们通过将 greeting 改为不包含0 码力 | 562 页 | 3.23 MB | 10 天前3Curve设计要点
Client处理 • 升级只需重启Server 秒级影响易运维 • 丰富的metric体系 • prometheus + grafana 可视化 • 每日报表 • 丰富的数据定位问题易运维 • 丰富的metric体系 • prometheus + grafana 可视化 • 每日报表 • 丰富的数据定位问题 • 集群状态查询工具 • curve_ops_tool • 自动化部署工具 •0 码力 | 35 页 | 2.03 MB | 5 月前324-云原生中间件之道-高磊
高级能力-云原生存储-应用的基石-1-云原生化需求(从应用角 度) 我们从云原生数据库那里基本可以嗅出云原生对四大件的诉求性质了,所以这里我直接给出对云原生存储的要求 1. 敏捷化需求 • 云原生应用场景对服务的敏捷度、灵活性要求非常高,很多场景期望容器的快速启动、灵活的调度,这样即需要存储卷也能敏捷的根据 Pod 的变化而调整。 需求表现在: • 云盘挂载、卸载效率提高:可以灵活 监控能力需求 • 多数存储服务在底层文件系统级别已经提供了监控能力,然后从云原生数据卷角度的监控能力仍需要加强,目前提供的PV监控数据维度较 少、监控力度较低; 具体需求: • 提供更细力度(目录)的监控能力; • 提供更多维度的监控指标:读写时延、读写频率、IO 分布等指标; 3. 性能要求 • 在大数据计算场景同时大量应用访问存储的需求很高,这样对存储服务带来的性能需求成为应用运行效率的关键瓶颈 具体需求: • 底层存储服务提供更加优异的存储性能服务,优化 CPFS、GPFS 等高性能存储服务满足业务需求; • 容器编排层面:优化存储调度能力,实现存储就近访问、数据分散存储等方式降低单个存储卷的访问压力。 4. 共享存储的隔离性 • 共享存储提供了多个 Pod 共享数据的能力,方便了不同应用对数据的统一管理、访问,但在多租的场景中,不同租户对存储的隔离性需求 成为一个需要解决的问题。0 码力 | 22 页 | 4.39 MB | 6 月前3深入 Kubernetes 的无人区-蚂蚁金服双十一的调度系统
1:蚂蚁金服的Kubernetes现状 非云 资源 云化 资源 基础 服务 蚂蚁 k8s 核心 CRI Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化 服务 Cluster Control Panel 在线应用 计算型混部任务 CSI CNI Device Plugin runc nanovisor 日志服务 云盘 本地多盘 弹性网卡0 码力 | 19 页 | 2.18 MB | 5 月前3
共 46 条
- 1
- 2
- 3
- 4
- 5