基于Consul的多Beats接入管控与多ES搜索编排
全网重启filebeat 检测数据是否上报 传统Beats接入流程 配置更改 现网配置是否全部一致? 日志上报是否有延时? Filebeat是否资源消耗过多? Filebeat异常退出如 何处理? 如何做上报性能调优? 6 系统架构 云Kafka Api-server2 Consul 云ES Agent-1 Agent-N Agent-1 Agent-N 数据流 配置监听 修改配置文件、参数调优相对麻烦 全UI化、一站式处理 14 配置UI化 配置UI化开发思路 嵌套式表单 大表单套小表单,所有表单都是以angular组 件形式开发,保证代码的可复用性与质量 配置分级展现 把复杂配置独立成高级选择,并设置默认值, 并在复杂项给出有效帮助 自定义组件 编写大量自定义小组件,比如cmdb设置,时 间设置等组件提高用户体验,尽量减少直接填 文本 前后端强类型 前端采用基于ts 案例:非APM场景下多组件日志搜索探索 ES/ OtherDB 多集群 多索引 上下文 搜索 Kibana 导航 搜索编 排 异常知 识库 18 日志AIOps探索 日志最佳实践、拨测系统、智能排障、 AIOps探索 19 案例: 基于Kibana的交互式排障 交互式排障,下钻分析,对比分析,快速定位异常 20 案例:如何基于ELK构建内网拨测系统? 基于Healthbeat与0 码力 | 23 页 | 6.65 MB | 1 年前327-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊
据都是属性数据,比如谁什么时候干了什么,后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 度、或者提送广告内容等 自动化特征 智能家居 智能办公室 智能信号灯... 远端控制 云端分析系统 设备端 (现场)边缘计算BOX 业务场景复杂,对算力、通信要求很高,计算放置于 云端时效性差,另外无法现场就对业务进行处理,比 如计算路口交通事故预警,给予司机及时提示等,所 以将算力卸载在距离业务现场、设备最近的地方,就 业务当中,低代码平台 可以带来的东西会更多。 将业务沉淀抽象化(比如 中台化),向上呈现。 • 低代码平台可以把不同 部门的系统、不同类型 的技术,如 RPA、BPM、 微流逻辑等串联在一起, 实现端到端的智能自动 化。是种生态型平台。 高级能力-混合云(资源角度) 控制力 服务、位置、规则可控 高安全 安全自主可控 高性能 硬件加速、配置优化 固定工作负载 私有云 混合云 SLB 工作负载可迁移 ceMesh以及 OAM等会得到更广阔空间的提升和发展。 2020年,全球数据存储总量预计为58ZB,平均每年增长 1倍。当前数据爆炸时代带来了三大问题。一、储存成 本问题: 通过当前的中心化云计算处理和存储海量新 增数据费用高昂;二、隐私和安全问题: 当前的中心 化云计算无法保证个人数据的隐私和安全性;三、数字 资产流动性问题: 数据是一种资产,互联网巨头数据 垄断无法实现数据权益的流动性;因此在面对数字经济0 码力 | 20 页 | 5.17 MB | 5 月前3云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)
千企业数字化转型换挡提速,企业对云计算的使用效能提出新的需求。云原生以 其独特的技术特点,很好地契合了云计算发展的本质需求,正在成为驱动云计算 质变的技术内核。 云原生作为云计算深入发展的产物,已经开始在 5G、人工智能、大数据等 各个技术领域得到广泛应用。中国联通研究院一直从事云原生及其安全技术的研 究,致力于推动云原生在通信行业落地实践,全面落实好“大安全”主责主业, 以实际行动践行“国家队、主力军、排头兵”的责任担当。2022 息技术的核心引 擎,在推动人工智能、5G、工业互联网、物联网等技术的发展和应用方面发挥 着越来越重要的作用。云计算的普遍应用和相关技术发展,使其已经经历了云计 算 1.0 虚机时代、云计算 2.0 原生时代,目前正在朝着云计算 3.0 智能时代迈进。 因此,在当前云计算 2.0 时代,云原生技术日趋成熟,并因大语言模型的推 动助力朝着云计算 3.0 智能时代迈进的背景下,分析云原生安全的发展情况和面 Serverless 安全、DevSecOps 成为云安全的核心。自开源 Docker 容器和 k8s 编排引擎出现以来,云原生生态不断扩大。当前,云原生作为云计算深入发展的 产物,已经开始在 5G、人工智能、大数据等各个技术领域得到广泛应用。云原 生技术的广泛应用,带来了一系列云原生安全问题,因此,要保障云原生的安全, 云原生安全威胁分析与能力建设白皮书 10 使云原生技术更好的赋能企业数字化发展,需要明确云原生和云原生安全。0 码力 | 72 页 | 2.44 MB | 1 年前3Volcano加速金融行业大数据分析平台云原生化改造的应用实践
Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度,无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况: • 业界首个云原生批量计算平台 • 2019年6月开源,2020年进入CNCF,目前是CNCF孵化级项目 (podgroup template) 用户案例:锐天投资基于Volcano的分布式计算平台 业务场景: • 金融投资公司,业务场景主要为策略研究开发、AI 训练与推理、 大数据ETL和离线批处理任务 客户诉求: • 要求调度系统提供公平机制,满足公司内多团队资源共享,保 证各自业务的SLA • 要求系统提供Gang-scheduling解决基本死锁问题 • 要求调度系统统一支持AI、大数据、Batch0 码力 | 18 页 | 1.82 MB | 1 年前322-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊
1、信息管理 MIS、ERP… 2、流程规范 BPM、EAI… 3、管理监控 BAM、BI 4、协作平台 OA、CRM 5、数据化运营 SEM、O2O 6、互联网平台 AI、IoT 数据化运营 大数据 智能化管控 互联网平台 跨企业合作 稳态IT:安全、稳定、性能 敏态IT:敏捷、弹性、灵活 各行业IT应用系统不断丰富与创新 总部 机关 内部员工 分支 机构 内部员工 移动 接入 内部员工/合作伙伴 技术环境变 化的技术底座=云原生平台;其中变化是以研发循环形式不断出现和累加的,如果不进行治理,那 么这些变化就会积累,稳定性的破坏是熵增的,而云原生基础设施就要做到对变化产生的不稳定因 素进行熵减处理 • 向上站在企业立场上:是要解决微服务体系快速落地的问题,低成本支撑企业创新以及数字疆域规 模扩张 1 技术架构变化:因商业或者演化而 变带来不稳定因素 2 制品变化:代码因商业而变带来新 的功能缺陷 支持全球最大容器集群、全球最大Mesh(ASM)集群,神龙架构和ACK容器的组合,可以实现1小时扩容1百万个容器,混部利用 率提升50%,万笔交易成本4年下降80%。 • 拥有国内最大计算平台、顶级实时计算能力。大数据平台批处理单日计算数据量达到1.7EB,实时计算峰值每秒30亿条记录; 云原生PolarDB读写性能提高50%+,计算资源利用率提高60%+。 • 云原生中间件首次实现自研、商用、开源的“三位一体”,通过阿里0 码力 | 42 页 | 11.17 MB | 5 月前3云原生图数据库解谜、容器化实践与 Serverless 应用实操
计算平台搭建实践:OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现,解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD Serverless 简介 什么是 Serverless ? Serverless K8s 应⽤场景 - Nebula on Kubsphere - Demo 图数据库的应⽤场景 典型场景 社交⽹络 ⻛险控制 公共安全 知识图谱 机器学习 ⽣化制药 物联⽹ 区块链 数据⾎缘 智能运维 tech.meituan.com/2021/04/01/nebula-graph-practice-in-meituan.html KubeSphere + OpenFunction $ Operator 实现,解谜图数据库的知识与应⽤ 图、图数据库简介 Nebula Graph! Nebula Operator 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ KubeSphere 上的图数据库 KubeSphere 上的 OpenFunction Siwi,⼀个基于 Nebula 的单⼀领域问答机器⼈ Nebula-Siwi on FaaS0 码力 | 47 页 | 29.72 MB | 1 年前32.2.7 云原生技术在2B交付中的实践
远程⽀持 托管运维 交 付 难 度 越 ⾼ 商 业 价 值 越 ⼤ 2B软件交付的愿景 01. 2B 软件交付的困局 像安装⼿机APP⼀样; 在任意环境之上; 实现快速、灵活地交付; 和智能的运维能⼒。 云原⽣与云原⽣应⽤ 第⼆部分 ⽬前云原⽣技术很⼴泛,All IN 云原⽣; 它是⼀个指导思想、实践思路和⾏为⽅式; 我们仅从2B软件交付领域来谈云原⽣技术; 云原⽣技术 云原⽣技术概要 交付平台 测试平台 应⽤模型定义实践-开发者 04. 2B交付版本的DevOps 应⽤组装和研发 应⽤模型定义实践-开发者 04. 2B交付版本的DevOps 源码定义规范 属性识别 智能赋值 UI化管理 模型打包 开发者 云原⽣平台 源码持续构建 选择中间件 实现数据初始化 实现业务可配置 应⽤模型交付实践-交付平台 04. 2B交付版本的DevOps 应⽤模型⼀键交付0 码力 | 31 页 | 6.38 MB | 1 年前3云原生微服务最佳实践
云原生微服务最佳实践 彦林 阿里云智能高级技术专家 & Nacos 创始人 2022/01/07 云原生微服务最佳实践 微服务简介 最佳实践 用户故事 微服务简介 • 云原生和微服务简介 • 微服务的价值和挑战 • 阿里微服务产品解法和优势 云原生和微服务简介 微服务的价值和挑战 图片源自:http://www.zyiz.net/ 价值 效率(人越来越贵,算力越来越便宜)0 码力 | 20 页 | 6.76 MB | 1 年前325-云原生应用可观测性实践-向阳
鋐韏坱 AZ 1 替徘晹摷徜 俗撰匿坱 撰匿坱 Internet API贀测軸悍 晹摷鋐韏軸悍 公 有 云 边 缘 云 公 有 云 边 缘 云 边缘 盒子 智能 车机 混合云 边缘云 原力,应当无处不在,随基础设施弹。 邀请测试 FREE0 码力 | 39 页 | 8.44 MB | 5 月前31.3 MOSN 在云原生的探索及实践
• 支持 Ingress 和 Gateway • 推动 UDPA 多协议建 设 核心能力 微服务 性能优化 MOSN 网络层扩展思考和选型 MOE 背景介绍 — 什么是 MOE 处理性能高 (C++) 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 MOE = MOSN + Envoy 相互融合,各取所长 在 Service Mesh 领域,Envoy 社区生态粘性 MOE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不 方便;支持的库(SDK)相对较 少 WASM Extension 跨语言语言支持 (C/C++/Rust)、隔离性、安 全性、敏捷性 处于试验阶段,性能损耗较大; Extension 高 较高 低 活跃 对比:MOE 相比 ext-proc 无需跨进程 gRPC,性能高,易管理; 相比 WASM 无需网络 IO 操作转换成本;相比 Lua 生态好、能 复用现有的 SDK,对于处理上层业务更合适 扩展方案评估 Envoy 社区讨论 MOE 背景介绍 — 方案评估 结论 综合稳定性、性能、成本、社区生态等因素评估,MOE 解决方案无论在当前阶段还是未来都具备一定优势 NanoVisor0 码力 | 36 页 | 35.61 MB | 1 年前3
共 20 条
- 1
- 2