23-云原生观察性、自动化交付和 IaC 等之道-高磊
应用 软件环境 硬件环境 遗留系统 安装配置点 安装配置点 安装配置点 集成点 集成点 集成点 1. 交付人员学习手册文档,需要在客户 环境做“安装配置”和“与遗留系统集成” 两方面工作。 2. 安装配置:在硬件上安装软件,不乏 针对硬件特性的适配、还需要安装OS 等,最后还要在OS上安装应用,并且 还要保证应用软件依赖拓扑结构不会 出错。 3. 集成点:包括新环境的硬件、软件和 应用与遗留系统的集成,比如,监控、 背后的原因在于特定环境依赖或者运维规范问题渗透到了PaaS本身, 或者大家常说的定制化场景,如果不进行解耦就会有长期存在的矛盾。 • 为了应付定制化,客户需要等待平台研发的排期,因为平台研发需要定制 化处理定制化场景下的软件、运维工具或者规范等等,并需要不断的测试。 • 为了应付各类的环境的问题,势必要求交付人员的能力非常强,也是成本 居高不下的原因之一。 在K8s这种环境中,存在两种定制化的手段:其一是Deployment 期的构建各种特征的Paas。业务应用由于不依 赖于运维特性,也实现了标准化,也可以加入 组件市场,此时开放PaaS+开放应用市场可以 构建对应各种环境的应用了。 • 云原生蓬勃而多样的生态成了这种Paas的基础。 • 编排不在以服务为单位,而是以应用为单位, 再也不会出现由于理解不一致导致的交付失败 的情况,而不论底层容器云实现如何,应用的 交付的方式都是一致的。 DevOps是一种文化,是一种组织赋能0 码力 | 24 页 | 5.96 MB | 6 月前322-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊
企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构,在开发、测试、运维 团队之间建成了认知的“墙”,团队间配合效 率低,故障排查慢,阻碍了软件价值的流动 无法满足用户对于业务快速研发、 云原生是告诉我们:能够适应业务变化的微服务+能够适应制品变化的DevOPS+能够适应技术环境变 化的技术底座=云原生平台;其中变化是以研发循环形式不断出现和累加的,如果不进行治理,那 么这些变化就会积累,稳定性的破坏是熵增的,而云原生基础设施就要做到对变化产生的不稳定因 素进行熵减处理 • 向上站在企业立场上:是要解决微服务体系快速落地的问题,低成本支撑企业创新以及数字疆域规 模扩张 1 技术架构变化:因商业或者演化而 变带来不稳定因素 私有云市场规模 645.2亿 投 入 技 术 运 维 纳 管 规 模 9%客户投入占总IT投 入的一半以上 成为主要支出方向 中心集群规模为主 部署形态多元化、多云/混合云架构成为主流 自动化 用户软件发布方 式正在向自动化 转变 容器 60%以上用户已 经在生产环境应 用容器技术 微服务 微服务架构成为 主流,八成用户 已经使用或者计 划使用微服务 Serverless Serverless技术显0 码力 | 42 页 | 11.17 MB | 6 月前327-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊
云之间同步服务元数据为相同的服务治 理提供基础,同步镜像,为同一服务拓 展算力提供基础,同步Data,为隔离底 层云分布,在业务上的一致性上提供基 础。 • SLB会根据算力资源需要进行切流。 • 混合云本质是一种资源运用形式,资源 使用地位不对等,以私有云为主体。 控制台 控制台 高级能力-多云(资源角度) 调研机构Gartner公司指出,80%的内部部署开发软件现在支持云计算或云原生,不断发展的云计算生态系统使企业能够更快、 (并且人的经验无法数据化沉淀),而 得到问题根因后,只能通过人工去修复 或者管理 • 而大数据或者基于监督的AI技术的成熟、 运维领域模型趋于完整、云原生底座也 更成熟的基础上,利用大数据分析根因 (关联性分析)和利用AI进行基于根因分 析的自动化处理成为可能。 • 在精细化的基础上,完整较为成熟的自 动化能力,节约了人力成本同时提高了 效率,也极大得保证了业务连续性。 • 但是,目前真正落地的企业很少,原因 在于大部分企业组织或者文化问题在落 企业IT文化、工作流程、知识体系、工具集的总合升级 • 应用架构升级 • re-platform • re-build • re-host • 运维模式升级 • 从传统面向操作规则的运维转变为面向观测数据的自动化运维 • 重新定义软件交付模式 • 整体打包交付 • Git=Single Version Of Truth • 声明式API • 尽量采用OpenAPI作为系统集成胶水 • 重塑研发流水线 • 任何变更都提交git,有迹可循0 码力 | 20 页 | 5.17 MB | 6 月前3【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502
能够调用各种工具,具有行动能力 调用企业专业知识,更懂企业 将日常重复性业务流程形成Playbook,实现流程自动化 通过目标拆解,多次调用大模型以及专家模型协同,形成 慢思考能力 传统软件是辅助人的工具,Agent是能够自主工作的数字员工,是新的生产力政企、创业者必读 22 DeepSeek出现之前的十大预判 之九 开源效果追赶上闭源 技术开放,吸引广大开发人员和用户使用 很多公司参与开源,帮助改进产品,众人拾柴火焰高, 反哺开源产品,形成正循环政企、创业者必读 DeepSeek出现之前的十大预判 之十 中美差距快速缩小 美国预训练堆算力的路线不可持续,有待发现新范式“换道超车” 软件和算法差距并不大,主要差距在工程、硬件等方面 23政企、创业者必读 DeepSeek的出现验证了我们的预判 而DeepSeek的创新更具颠覆性 24政企、创业者必读 DeepSeek是完美的颠覆式创新 推理大模型 预训练大模型难以通往AGI之路 推理模型如R1——通过逻辑链条推导答案, 分解规划,自我反思 预训练范式像是记忆和模仿,强化学习范 式更像探索实践 记住很多东西只是基础,真正有价值的是 融会贯通 R1找到了人类通往AGI的方向 DeepSeek颠覆式创新——技术创新 27 DeepSeek-R1和GPT-4o不是同一个物种政企、创业者必读 快思考 慢思考0 码力 | 76 页 | 5.02 MB | 5 月前3Curve质量监控与运维 - 网易数帆
com/opencurve/curve Curve 3/33为用户服务 作为一个复杂的大型分布式存储系统,Curve 需要利用科学的方法论和专业的工具,在整个 软件生命周期内更好地为用户服务: 质量——向用户交付稳定可靠的软件; 监控——直观地展示Curve运行状态; 运维——保障Curve始终稳定高效运行。 质量 ✓ 质量管理体系(设计、开发、review、CI) ✓ (易部署、易升级、自治) ✓ 运维工具(部署工具、管理工具) 4/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系软件质量 软件质量的定义是:软件与明确地和隐含地定义的需求相一致的程度。 为了确保最终交付的软件满足需求,必须将质量控制贯穿于设计、开发到测试的整个流程中。 设计 设计流程 文档规范 开发 编码规范与提交流程 版本管理 Curve所有代码均在github托管。新 代码需要通过CI测试和code review才 能合入master分支,确保新合入代码 的功能、正确性、规范性等都有基本 保障;而每日运行的dailybuild测试在 CI测试基础上增加了异常自动化测试 和混沌测试,确保master分支代码的 bug尽可能早地暴露出来。 通过这种流程,curve可以在一定 程度上保证master分支的稳定性。 master 10/33版本管理0 码力 | 33 页 | 2.64 MB | 5 月前3人工智能安全治理框架 1.0
以及在不同行业领域 应用场景,梳理人工智能技术本身,及其在应用过程中面临的各种安全风险 隐患。 2.2 技术应对措施方面。针对模型算法、训练数据、算力设施、产品服务、 应用场景,提出通过安全软件开发、数据质量提升、安全建设运维、测评监测 加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性- 3 - 人工智能安全治理框架 的措施。 2.3 综合治理措施方面。明确技术研发机构、服务提供者、用户、政府 (b)算力安全风险。人工智能训练运行所依赖的算力基础设施,涉及多源、 泛在算力节点,不同类型计算资源,面临算力资源恶意消耗、算力层面风险跨 边界传递等风险。 (c)供应链安全风险。人工智能产业链呈现高度全球化分工协作格局。 但个别国家利用技术垄断和出口管制等单边强制措施制造发展壁垒,恶意阻断 全球人工智能供应链,带来突出的芯片、软件、工具断供风险。 3.2 人工智能应用安全风险 3 提高攻击效率,包括挖掘利用漏洞、破解密码、生成恶意代码、发送钓鱼邮件、 网络扫描、社会工程学攻击等,降低网络攻击门槛,增大安全防护难度。 (e)模型复用的缺陷传导风险。依托基础模型进行二次开发或微调,是 常见的人工智能应用模式,如果基础模型存在安全缺陷,将导致风险传导至下 游模型。 3.2.2 现实域安全风险 (a)诱发传统经济社会安全风险。人工智能应用于金融、能源、电信、交通、 民生等传统行0 码力 | 20 页 | 3.79 MB | 29 天前324-云原生中间件之道-高磊
种推荐方式。 如果在被动模式下运行IAST,那么开发测试过程 中就可以完成安全扫描,不会像DAST一样导致业 务报警进而干扰测试,同时由于污点跟踪测试模 式,IAST可以像SAST一样精准的发现问题点 SCA(软件成分分析) 有大量的重复组件或者三方库的依赖,导致安全漏洞被传递或者扩散, SCA就是解决此类问题的办法,通过自动化分析组件版本并与漏洞库相 比较,快速发现问题组件,借助积累的供应链资产,可以在快速定位的 是对第三种场景,一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE(比如IntelSGX,蚂蚁的KubeTEE等)可以保护运行中的数据和 代码,完成了安全闭环。 依赖于硬件和更高阶密码学,可以彻底阻断物理 设备以及软件的攻击,是高级的安全保障技术。 TEE是运行态主动防护的高级手段,对高安全生产 环境建议使用。 成本较高,所以要视业务场景要求取舍。 Mesh零信任 mTLS服务间访问授权,主要针对Pod层WorkLod的访问控制 云原生的本质在于为云这种弹性资源下能够为应用提供 稳定的基础架构,所以云原生数据库相对于传统数据库 最大的不同也在这个方面:弹性 • 对于数据存储的高性能、高稳定性、高拓展、资源成本 等等都需要同时满足(和传统CAP相悖) • 接入层需要能够根据规则的路由,以及兼容各类协议接 口以及数据模型,并能根据应用的规模来自动拓展。 • 实现HTAP(OLTP+OLAP),将在线事务|分析混合计算模型 基础上,实现多模数据模型,使得集成成本经一步降低。0 码力 | 22 页 | 4.39 MB | 6 月前3蚂蚁金服ServiceMesh数据平面 SOFAMosn深层揭秘
Ø基于蚂蚁SOFA体系的Mesh化思考 ü 无法保证上下游应用同时升级到Mesh模式 ü 基于RPC内容的流量调度 ü 升级窗口有限,方案必须简单高效 Ø运维体系,容器化建设等方面适配 ü 蚂蚁运维架构建立在流量调度的基础上 ü 容器管理平台更替快速进行中 ØGolang 性能,成本评估符合蚂蚁实际需求2 构架SOFAMesh 1SOFAMosn 2SOFAMosn内数据流 3NET/IO 4 Ø屏蔽IO处理细节 核心路由 •支持 virtual host 路由 •支持 headers/url/prefix 路由 •支持基于 host metadata 的 subset 路 由 •支持重试 后端管理 •基础负载均衡算法 •主动健康检查 •Subset 负载策略Highlights 2 ØX-Protocol: 支持 RPC on HTTP2的通用方案(完善中) Ø支持平滑升级中协议无关存量链接迁移 X 1 üOS: 3.10.0-327.ali2008.alios7.x86_64 Ø软件 üMOSN 0.1.0 üEnvoy 1.7 Ø场景 ü代理模式: client -> mesh -> server üClient直连server请求耗时1.6msSOFARPC + 1K字符串 8 指标\软件 SOFAMosn Envoy QPS峰值 103500 104000 RT(avg)0 码力 | 44 页 | 4.51 MB | 5 月前3PingCAP TiDB&TiKV Introduction OLTP
Codis 是基于 Redis 的分布式集群解决方案, 为用户提供在线弹性伸缩和高性能的缓存服务,该项目 目前已广泛被各大互 联网公司(百度/小米/滴滴/猎豹 等)采用。 核心技术团队均为一线互联网公司基础架构部资深架构师,有技术改变世界的强烈抱负。 2013年以后 2008年至2013年 2008年以前 • 背景:应用最为广泛的数据库;能 很好的解决复杂的数据运算及表 间处理;多用于银行、电信等传 力等方向的渗透,传统行业数据量 迅速提升,需要同时满足低成本、线 性扩容及能够处理交易类事务的新 型数据库,大数据的存储刚需不可 避免 • 挑战:基于 Google Spanner/F1 论 文,基础软件最前沿的领域之一,技 术门槛最高 资料来源:公开资料整理 数据库技术发展演进 Google - 大规模分布式计算领域的领跑者 2003 GFS 2004 MapReduce 2006 BigTable 十年前基于内部分布式 处理框架发表的 三篇论文奠定了大数据分析 处理基石;开源社区 以此为基础打造了Hadoop F1 Data Flow Spanner Colossus Google 内部新一代分布式处理框架,于12/13年发表 相关论文,奠定下一代分布式 NewSQL的理论和工程 实践基石。PingCAP以此为基础打造了TiDB & TiKV HBase Map Reduce HDFS TiDB0 码力 | 21 页 | 613.54 KB | 6 月前3TiDB中文技术文档
GLOBAL_VARIABLES 全局系统变量表 tidb 用于 TiDB 在 bootstrap 的时候记录相关版本信息 INFORMATION_SCHEMA 库里面的表主要是为了兼容 MySQL 而存在,有些第三方软件会查询里面的信息。在目前 TiDB 的实现中,里面大部分只是一些空表。 提供字符集相关的信息,其实数据是假的。TiDB 默认支持并且只支持 utf8mb4 。 TiDB 系统数据库 权限系统表 服务端帮助信息系统表 TiDB 专用系统变量。 TiDB 特有的系统变量 TiDB 系统变量 - 39 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 专用系统变量和语法 TiDB 在 MySQL 的基础上,定义了一些专用的系统变量和语法用来优化性能。 变量可以通过 SET 语句设置,例如 set @@tidb_distsql_scan_concurrency = 10 如果需要设值全局变量,执行 -------------------------------------+ 34. 1 row in set (0.00 sec) 如果电脑上安装了 dot 程序 (包含在 graphviz 软件包中),可以通过如下方式生成 PNG 文件: 1. dot xx.dot -T png -O 2. 3. 这里的 xx.dot 是上面的语句返回结果。 如果没有安装 dot ,可以将结果拷贝到这个网站,可以得到一个树状图:0 码力 | 444 页 | 4.89 MB | 6 月前3
共 58 条
- 1
- 2
- 3
- 4
- 5
- 6