24-云原生中间件之道-高磊
腾讯安全战略研究部联合腾讯安全联合实验室近日共同发布《产业互联网安全十大趋势(2021)》(下简称《趋势》),基于2020年的产业实践和行业风向, 从政策法规、安全技术、安全理念、安全生态、安全思维等维度为产业互联网的安全建设提供前瞻性的参考和指引,助力夯实产业互联网的安全底座。 《趋势》认为,2021年将进一步完善个人信息保护体系,企业对个人信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 调 上 线 前 解 决 一 切 问 题 , 某 一 环 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 , 而 很 多 入 侵 风 险 是 不 可 预 知 的 ! 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 异 安全问题左移一个研发阶段,修复成本就将 提升十倍,所以将安全自动化检查和问题发 自动调整、拓展能 力强,满足更大吞 吐量 存储自动扩缩容 手工填加机器, 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写,性能高 易用程度 封闭体系,集成各 类优秀能力较差 集成能力强,多模 态接口,兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 容量和故障转移 云原生数据库其特点,使得应用场 景会更加广泛 高级能力-云原生数据库-应用的基石-2-技术架构0 码力 | 22 页 | 4.39 MB | 5 月前323-云原生观察性、自动化交付和 IaC 等之道-高磊
根据运维场景和关注点的不同,以不同图表或者曲 线图来表示整体分布式应用的各维度情况,使得开 发人员可以清晰的观测到整体分布式应用的详细运 行情况,为高精度运维提供可视化支撑 人工发展阶段:符合人分析问题的习惯 宏观->微观 精细化发展阶段:依靠数据赋能,加强可视化能力,进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 观察性 Prometheus Skywalking ISV研发团队 标准化能力-微服务PAAS-OAM-万花筒PAAS-2 阿里和微软在19年发布了一个叫做OAM的规范,这是基于10年云原生道路锤炼得到的自动化交付方案 构建镜像 多区域分发 配置 ApplicationConfiguration Component 微服务 数据库 MQ Cache Trait 灰度 监控告警 弹性扩缩容 高可用 负载均衡 的目标就是要达成无论在何种环境,规则都是相同的效果。 • AppConfig:运维人员将Commpoent和Trait打包成可交付的应用。 基于镜像的封装性,通过AppConfig将应 用两个维度的东西整合整体化“集群镜像” 方式的交付,底层差异影响减少到最小 标准化能力-微服务PAAS-OAM-万花筒PAAS-3 以上解耦的结果,隐含着更深层次的能力,不是简单解耦那么简单,它使得统一通用PaaS成为可能0 码力 | 24 页 | 5.96 MB | 5 月前322-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊
Docker: 抽象云资源,使 得更容易使用 微服务: 加快业务迭代更新 从支持应用不同维度发展,最终走在了一起 2010年WSO2提出 类云原生的概念 云原生应用相比传统应用的优势 低成本 高敏捷 高弹性 云原生应用 传统应用 部署可预测性 可预测性 不可预测 抽象性 操作系统抽象 依赖操作系统 弹性能力 弹性调度 资源冗余多 缺乏扩展能力 开发运维模式 DevOps 瀑布式开发 部门孤立 服务架构 微服务解耦架构 端的业务领域 将云能力延展到客户 业务现场,逐渐成为 云计算下半场主要价 值体现,将进一步催 发云计算的交付形态 云边一体 生态与竞争格局分析 云原生赋能平台建设维度划分 微服务应用架构治理平台、 DevOps平台、 数据建模与大数据分析平台 用好云原生 容器云平台、边缘计算平台 建好云原生 容器安全、统一多云纳管、融合告 警、APM、云监控、中间件纳管... 专注业务逻辑开发,无须关心基础设施 • 只需要将视频存入存储,接入极其简单,达到极致业务体验 • 按需加载资源,使用时调度,不使用时自动回收,达到极致 成本的体验。 • 并行执行,可以同时出产不同维度业务结果,达到极致性能 体验。比如上图,同时从不同维度进行业务处理。 • 减少了传统微服务体系中容量规划和服务治理的负担,专注 于业务本身。 • 可以支持大部分业务场景:Web,视频、大数据、AI、运维场 景等等。 标准0 码力 | 42 页 | 11.17 MB | 5 月前336-云原生监控体系建设-秦晓辉
•各种采集器层出不穷,都是本着可采尽采的原则,一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控,每个监控对象一个标识即可,没有维度的设计 •新一代监控系统更加关注应用侧的监控,没有维度标签玩不转,每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系庞大,组件众多,涉及underlay、overlay两层网络,容器内容器外两个namespace,搞懂需要花些时间 kube-state-metrics • 所谓的资源对象,就是指Deployment、StatefulSet、Secret等,比 如针对Deployment,我们希望知道有多少Deployment,调度了多 少副本,可用的副本有多少,多少个Pod是running、stopped、 terminated状态,等等 • 资源对象的监控使用 kube-state-metrics,这个开源项目是基于 client-go0 码力 | 32 页 | 3.27 MB | 5 月前3【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502
从基于小参数模型的感知型AI,走向基于大参数模型的认知型AI 从擅长理解的认知型AI,发展到擅长文字生成的生成式AI 从语言生成式AI,发展到可理解和生成声音、图片、视频的多模态AI 从生成式AI,发展到推理型AI 专家系统 感知AI 认知AI 生成式AI 多模态AI 推理式AI 9政企、创业者必读 人工智能发展历程(二) 从单纯对话的大模型AI,发展到具有行动和执行能力的智能体AI 从数字空 Deepmind的Alpha系列产品是这一趋势的最佳诠释 16政企、创业者必读 DeepSeek出现之前的十大预判 之四 模型越做越小 17 大模型进入「轻量化」时代,上车上终端,蒸馏小模型 先做得更大,然后探索能做多小政企、创业者必读 DeepSeek出现之前的十大预判 之五 知识的质量和密度决定大模型能力 高质量数据、合成数据使模型知识密度的快速增长 大模型能以更少的参数量达到更高的性能 36 国外:GPT-4等效智能在过去18个月内价格下降240倍 国内:大模型「亏本」卖,可以「白嫖」大模型API能力 19政企、创业者必读 DeepSeek出现之前的十大预判 之七 多模态越来越重要 由文本生成迈向图像、视频、3D内容与世界模拟 多模态模态在能力变强的同时,规模正在变小 20政企、创业者必读 21 DeepSeek出现之前的十大预判 之八 智能体推动大模型快速落地 能够调用各种工具,具有行动能力0 码力 | 76 页 | 5.02 MB | 5 月前327-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊
• 低代码平台与企业技术 栈的融合能力成为一个 重要的考验指标 • 有的企业系统已经运行 了几十年,拥有自己的 UI 体系、数据库体系和 中台体系,完全更改是 不现实的,低代码平台 要做的是与这么多技术 融合,帮助企业更好地 改进。 • 降本增效是最初级的成 果,如果能够深入企业 业务当中,低代码平台 可以带来的东西会更多。 将业务沉淀抽象化(比如 中台化),向上呈现。 • 低代码平台可以把不同 ess应用的技术障碍。 OAM统一交付能力 基于OAM的软件交付理念和工具重新定义了内部的DevOps流程,实现了应用的“一键安装、多 处运行”的应用编排目标 AIOps精细化运维 依托于K8S和ServiceMesh等度量数据精确性的提升,并给予AI算法从不同维度计算应用架构运 行态势,实现基于响应的自动化运维方案,大大降低了用户使用门槛,更安全更可靠的交付 最终软件产品。 目前的重点在于底座0 码力 | 20 页 | 5.17 MB | 5 月前3人工智能安全治理框架 1.0
的标准接口、特性库和工具包,以及开发界面和执行平台可能存在逻辑缺陷、- 5 - 人工智能安全治理框架 漏洞等脆弱点,还可能被恶意植入后门,存在被触发和攻击利用的风险。 (b)算力安全风险。人工智能训练运行所依赖的算力基础设施,涉及多源、 泛在算力节点,不同类型计算资源,面临算力资源恶意消耗、算力层面风险跨 边界传递等风险。 (c)供应链安全风险。人工智能产业链呈现高度全球化分工协作格局。 但个别国家利用技术垄断和出口管制等单边强制措施制造发展壁垒,恶意阻断 能产品和服务能力成熟度。 (f)研发者应做好人工智能产品及所用数据集的版本管理,商用版本应 可以回退到以前的商用版本。 (g)研发者应定期开展安全评估测试,测试前明确测试目标、范围和安 全维度,构建多样化的测试数据集,涵盖各种应用场景。 (h)研发者应制定明确的测试规则和方法,包括人工测试、自动测试、 混合测试等,利用沙箱仿真等技术对模型进行充分测试和验证。 (i) 研发者应评估人 可控性等,定期进行系统审计,加强风险防范意识与风险应对处置能力。 (c)重点领域使用者在使用人工智能产品前,应全面了解其数据处理和 隐私保护措施。 (d) 重点领域使用者应使用高安全级别的密码策略,启用多因素认证机 制,增强账户安全性。 (e)重点领域使用者应增强网络安全、供应链安全等方面的能力,降低 人工智能系统被攻击、重要数据被窃取或泄露的风险,保障业务不中断。 (f) 重点领域使用者应合0 码力 | 20 页 | 3.79 MB | 28 天前3Rust 程序设计语言 简体中文版 1.85.0
文本编辑器和集成开发环境(Integrated Development Environments, IDE) 本书不会假设你使用何种工具来编写 Rust 代码。几乎任何文本编辑器都可以搞定!然而,很 多文本编辑器和集成开发环境(IDE)内置了 Rust 支持。你总是可以在 Rust 官网的工具页面 找到很多相对流行的编辑器和 IDE 列表。 离线使用本书 在一些示例中,我们将会使用标准库之外的 Rust 表示这个参数是一个 引用(reference),它允许多处代码访问同一处数据,而无需在内存中 多次拷贝。引用是一个复杂的特性,Rust 的一个主要优势就是安全而简单的操纵引用。完成 当前程序并不需要了解如此多细节。现在,我们只需知道它像变量一样,默认是不可变的。因 此,需要写成 &mut guess 来使其可变,而不是 &guess。(第四章会更全面地讲解引用。) 使用 Result 类型来处理潜在的错误 build 时,Cargo 会更新可用 crate 的 registry,并根据你指定的新版本重 新评估 rand 的要求。 第十四章会讲到 Cargo 及其生态系统 的更多内容,不过目前你只需要了解这么多。通过 Cargo 复用库文件非常容易,因此 Rustacean 能够编写出由很多包组装而成的更轻巧的项目。 生成一个随机数 让我们开始使用 rand 来生成一个要猜测的数字。下一步是更新 src/main0 码力 | 562 页 | 3.23 MB | 8 天前3Apache SkyWalking 在 Service Mesh 中的可观察性应用
8/28分享主题:字号 分享嘉宾 服务 抽象概念,用于汇集指标 Service 实例 进程,容器,Pod Instance 端点 URL,RPC,函数 Endpoint 观察维度 9/28遇到的挑战 /02 Service Mesh 场景下 SkyWalking 面临的挑战 ( Istio ) 10/28可观测性 11/28Istio 1.5 架构图 12/28挑战1:技术路线多变 Mixer 基于 Metric 高效、但技术门槛高 Mixerless 13/28挑战2:无 Tracing VS 14/28挑战3:维度匹配-Mixer Instance Service Endpoint 15/28挑战3:维度匹配-Telemetry2 Instance Service Endpoint 16/28应用方案 /03 针对 Mesh 场景下的方案演化 只能二选一 SkyWalking8.0 Tracing,Metrics 可以同时支持维度匹配 SkyWalking Mixer Mixerless Service App without version 同左 Instance Work load 同左 Endpoint Path - 26/28维度匹配-service 命名规则 Version|App|Namespace|Cluster0 码力 | 29 页 | 1.38 MB | 5 月前3TiDB中文技术文档
晰的了解 TiDB DDL 的内部实现机制 TiDB 服务监听 host 默认: “0.0.0.0” TiDB 服务会监听这个 host 0.0.0.0 默认会监听所有的网卡 address。如果有多块网卡,可以指定对外提供服务的网卡,譬如 192.168.100.113 Log 文件 默认: “” 如果没设置这个参数,log 会默认输出到 “stderr”,如果设置了, log 就会输出到对应的文件里面,在每 语句中的表名,如果表 名被重命名,则显示重命名。index 表示索引名。range 表示扫描的数据范围。out of order 表示 index scan 是否按照顺序返回。注意在 TiDB 中,多列或者非 int 列构成的主键是当作唯一索引处理的。 Selection 表示 SQL 语句中的选择条件,通常出现在 WHERE/HAVING/ON 子句中。 Projection 对应 SQL 语句中的 MVCC 管理版本,当更新/删除数据时,不会做真正的数据删除,只会添加一个新版本数据,所以可以保 留历史数据。历史数据不会全部保留,超过一定时间的历史数据会被彻底删除,以减小空间占用以及避免历史版本过 多引入的性能开销。 我们使用周期性运行的 GC (Garbage Collection, 垃圾回收)来进行清理,关于 GC 的详细介绍清参阅 TiDB 垃圾回收 (GC) 这里我们需要重点关注的是 tikv_gc_life_time0 码力 | 444 页 | 4.89 MB | 5 月前3
共 62 条
- 1
- 2
- 3
- 4
- 5
- 6
- 7