Raft在Curve存储中的工程实践
0 码力 | 29 页 | 2.20 MB | 5 月前3PingCAP TiDB&TiKV Introduction OLTP
Go 语言 社区知名技术领袖之一 黄东旭 | CTO Co-Founder 前微软亚洲研究院 / 网易有道 / 豌豆荚 全栈工程师,架构师, Codis 共同作者, Open Source Hacker,业界知名程序员 崔秋 | Co-Founder 前搜狗 / 豌豆荚资深后端工程师 王鉴 (John Wang) 前 LinkedIn 搜索架构师 / Twitter 早期 员工, Tech Lead,分布式搜索数据库 以此为基础打造了Hadoop F1 Data Flow Spanner Colossus Google 内部新一代分布式处理框架,于12/13年发表 相关论文,奠定下一代分布式 NewSQL的理论和工程 实践基石。PingCAP以此为基础打造了TiDB & TiKV HBase Map Reduce HDFS TiDB TiKV NewSQL | TiDB Google Spanner / F1 DB Sharding vs NewSQL DB Sharding NewSQL | TiDB 工作内容 工作量 工作内容 工作量 项目设计 阶段 分库分表设计 数据库中间件路由配置 数据库主从备份设计 月级别 类似单机数据库,不需要做任 何设计、修改 0 项目开发 阶段 事务处理机制 - 由应用保证 跨库、跨表查询 - 由应用保证 月级别 类似单机数据库,事务由底层 数据库提供,支持透明分布式0 码力 | 21 页 | 613.54 KB | 5 月前3新一代云原生分布式存储
d等 • 强一致性协议对异常的容忍较差 使用WARO一致性协议 • 所有副本写完成返回客户端 • 延迟取决于所有副本中最慢的那一个块存储场景 为云主机提供云盘,云盘提供随机读写、快照(数据备份,灾备使用)、镜像(模板,自定义)功能。块存储场景 为物理机提供块设备 Linux IO栈 应用程序 -> 文件系统 -> 块设备层 -> 不同协议/驱动使用中的问题 • io抖动(一致性协议): 直观查看任务运行情况, 数据开发方便,系统运 维方便 易运维 具备可视化的开发页面, 直观查看任务运行情况, 数据开发方便,系统运 维方便 高质量 基于在架构上的选择和优秀的工程实践,Curve 在性能、运维、稳定性、工程实践质量上都优于Ceph主要亮点 — 高性能 测试环境:3台服务器*8块NVME, Intel(R) Xeon(R) Gold 5318Y CPU @ 2.10GHz ,256G,3副本,使用自带fio0 码力 | 29 页 | 2.46 MB | 5 月前324-云原生中间件之道-高磊
考和指引,助力夯实产业互联网的安全底座。 《趋势》认为,2021年将进一步完善个人信息保护体系,企业对个人信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 应将安全作为“一把手工程”,在部署数字化转型的同时,推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时,不仅带来了全新的安全场景,也成为网络安全攻防 当中的利器;202 峰填谷,把慢服务分离到 后置链路,提升整个业务链路的性能。 高SLA 云原生应用将对消息这种云原生BaaS服务有更高的SLA要求,应用将假设其依赖的云原生服务具备跟云一样的可用性,从而不需要去建设备份链 路来提高应用的可用性,降低架构的复杂度。只有做到与云一样的可用性,云在服务就在,才能称为真正的云原生服务。 低成本 (Serverless化) 在过去,每家公司自建消息中间件集群,或是自研的、或 复杂,因为业务上极其重要的地位,发出现先发 的优势,但是带来了后发的劣势: • 大数据平台为业务的营销、决策等活动进行 数字化支撑,这是新时代数字化的核心平台, 唯有数据才是企业的资产。 • 大数据平台大体分成两层:数据应用和数据 工程化引擎 • 在云原生场景下,希望应用能够适应敏态化 的业务场景,数据应用也不例外,目前都在 进行服务化改造和云原生改造 • 大数据引擎早就上云了(IaaS),但是并未云原 生化。 • 但是大数据引擎平台,架构思路过时、组件0 码力 | 22 页 | 4.39 MB | 5 月前3人工智能安全治理框架 1.0
导致工作秘密、商业秘密、敏感业务数据泄露。 (d)滥用于网络攻击的风险。人工智能可被用于实施自动化网络攻击或- 6 - 人工智能安全治理框架 提高攻击效率,包括挖掘利用漏洞、破解密码、生成恶意代码、发送钓鱼邮件、 网络扫描、社会工程学攻击等,降低网络攻击门槛,增大安全防护难度。 (e)模型复用的缺陷传导风险。依托基础模型进行二次开发或微调,是 常见的人工智能应用模式,如果基础模型存在安全缺陷,将导致风险传导至下 游模型。 (e)重点领域使用者应增强网络安全、供应链安全等方面的能力,降低 人工智能系统被攻击、重要数据被窃取或泄露的风险,保障业务不中断。 (f) 重点领域使用者应合理限制人工智能系统对数据的访问权限,制定 数据备份和恢复计划,定期对数据处理流程进行检查。 (g)重点领域使用者应确保操作符合保密规定,在处理敏感数据时使用 加密技术等保护措施。 (h)重点领域使用者应对人工智能行为和影响进行有效监督,确保人工0 码力 | 20 页 | 3.79 MB | 28 天前3分布式NewSQL数据库TiDB
UCloud 优刻得 3/120 38 39 40 40 41 41 43 43 43 46 49 49 52 53 55 57 57 58 58 59 60 备份恢复 备份恢复 设置备份策略 调整⾃动备份策略 ⼿动备份 删除备份数据 备份恢复 Dashboard/监控访问 监控访问 代理节点 配置访问代理 访问 实例 实例 创建TiDB Serverless实例 查看TiDB实例列表 查看TiDB实例详情 Binlog GC 关闭 Binlog 如何使⽤ 如何使⽤TiFlash 简介 步骤⼀ 开启TiFlash 步骤⼆ 按表构建TiFlash副本 步骤三 使⽤TiFlash 备份恢复 备份恢复 设置备份策略 调整⾃动备份策略 ⼿动备份 备份恢复 参数配置 参数配置 进⼊管理⻚⾯ 查看 修改 ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 5/120 概览 概览 产品简介 什么是TiDB 产品优势 适⽤场景 整体架构 实例类型 计费说明 计费指南 回收 操作指南 TiDB 实例 ⽤⼾ 备份恢复 Dashboard/监控访问 TiDB Serverless 实例 ⽤⼾ Binlog同步 TiFlash管理 备份恢复 参数配置调整 告警通知 证书管理 数据库审计 安全组 数据迁移 性能数据 概览 分布式NewSQL数据库 TiDB Copyright0 码力 | 120 页 | 7.42 MB | 5 月前3TiDB中文技术文档
监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 数据迁移 故障诊断 TiDB 周边工具 Syncer Loader TiDB-Binlog PD Control TiKV Control TiDB Controller 监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 全量导入 增量导入 故障诊断 TiDB 周边工具 Syncer Loader TiDB-Binlog PD Control TiKV Control TiDB Controller 文件 默认: “” 如果没设置这个参数,log 会默认输出到 “stderr”,如果设置了, log 就会输出到对应的文件里面,在每 天凌晨,log 会自动轮转使用一个新的文件,并且将以前的文件改名备份 Prometheus Push Gateway 地址 默认: “” 如果为空,TiDB 不会将统计信息推送给 Push Gateway ,参数格式 如 --metrics- addr=192.1680 码力 | 444 页 | 4.89 MB | 5 月前3Service Mesh的实践分享
Mesh雏形 • 物理机、sidecar • Local & Remote,主与备 • 轻量级客户端、本地调用 • Local Proxy负责服务治理与 远程通信 • Remote Proxy负责备份和非 主流流量 JavaApp Local Proxy OSP Server Service Registry Service Config Center Remote Proxy Cluster EnvoyClient端不基于IPTable劫持 • Istio的设计很美好,但现实总是很残酷 • IPTable性能不总是足够好 • 任何组件都有不可用的时候。客户端无论如何都要有自切换的能力和可 用的备份 • 尽量减少外部组件依赖。业务/运维总会有各种特殊的需求,依赖外部组 件会给自定义需求带来障碍。 • 保持客户端选择proxy的自由度和灵活性,在我们的实践中好处大 于坏处胖客户端 vs. 应对客户端增多的情况。容量超标则临时转移 到remote proxyRemote Proxy的价值 • 主要职责:备份流量、临时流量、非主要流量 • 高可用架构上的补充:sidecar是很美好,但总有一些时候,你的 sidecar挂掉时,你的客户端是不想/不能跟sidecar一起死的。此时 唯一能救火的,就是客户端能够自动切换(sdk自带),并且有 备份(remote proxy)可用 • 运维的便利性,如 • 升级Local0 码力 | 30 页 | 4.80 MB | 5 月前309-harbor助你玩转云原生-邹佳
Steven Zou (邹佳), VMware主任工程师/Harbor 核心维护者和架构师 Harbor-助你玩转云原生 关于我 Steven(佳) Zou(邹),VMware中国研发中心主任工程师, Harbor开源项目架构师及核心维护者,拥有十多年软件研发及 架构经验,获得PMP资格认证及多项技术专利授权。曾在HPE、 IBM等多家企业担任资深软件工程师和架构师,专注于云计算及 云原生等相关领域0 码力 | 32 页 | 17.15 MB | 5 月前3【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502
反哺开源产品,形成正循环政企、创业者必读 DeepSeek出现之前的十大预判 之十 中美差距快速缩小 美国预训练堆算力的路线不可持续,有待发现新范式“换道超车” 软件和算法差距并不大,主要差距在工程、硬件等方面 23政企、创业者必读 DeepSeek的出现验证了我们的预判 而DeepSeek的创新更具颠覆性 24政企、创业者必读 DeepSeek是完美的颠覆式创新 技术创新——让过去做不到的事情可以做到 Law转变为强化学习Scaling Law 大数据+大参数+大算力的 预训练Scaling Law的边际效应递减 • 人类构造的训练数据已达上限 • 万亿参数规模之后,继续增大参数规 模难以带来质的提升 • 训练算力成本和工程化难度大幅上升 强化学习Scaling Law • 利用合成数据解决数据用尽问题 • 利用self-play强化学习,在不增大参 数规模前提下,大幅提升复杂推理能力 • 通过后训练算力和推理算力,在不增加 年,周鸿祎带领360确定“安全+AI”双主线发展战略,自研认 知型通用大模型“360智脑”,攻克AI大模型安全的世界前沿 课题,进一步服务政府、城市、企业智能化升级。 周鸿祎荣获全国劳动模范、国家百千万人才工程有突出贡献 中青年专家、2023年度“北京学者“等荣誉称号。 74 政企、创业者必读政企、创业者必读 • 国家级网络攻击的发现、捕获、抵御能力全球领先 • 安全大数据 (攻击样本库、病毒基因库、安全知识库0 码力 | 76 页 | 5.02 MB | 5 月前3
共 30 条
- 1
- 2
- 3