Istio控制平面组件原理解析
Istio控制平面组件原理解析 朱经惠 2018.08.25 Service Mesh Meetup #3 深圳站关于我 • 朱经惠,ETC车宝平台工程师。 • 喜欢开源,个人开源项目”Jaeger PHP Client”。 • 喜欢研究源码,对NSQ,Jaeger,Istio(控制平面)等go语言开源项目进行 过研究。 • 除了代码还喜欢爬山和第二天睡醒后全身酸疼的感觉。目录Pil uv1版本和v2版本之间的区别 u建立缓存配置 u触发配置生效方式v1版本和v2版本之间的区别 V1 HTTP1 REST JSON/YAML 弱类型 轮询 SDS/CDS/RDS/LDS 奠定控制平面基础 V2 HTTP2 GRPC Proto3 强类型 Push SDS/CDS/RDS/LDS/HDS/ADS/KDS 和Google强强联手 官方博客:The universal secretName: istio.default证书过期 üroot-cert.pem 实际有效期1年,没有找到更新方式,手动更新? ücert-chain.pem 和 key.pem 实际有效期90天,程序控制有效期45天 ü证书过期会被重新生成并挂载到/etc/certs ü触发envoy热启动ü方案一: • 把重新生成证书时间改为凌晨http://www.servicemesher.com0 码力 | 30 页 | 9.28 MB | 5 月前3Rust 程序设计语言 简体中文版 1.85.0
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 3.5. 控制流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 5. 使用结构体组织相关联的数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.1. 结构体的定义和实例化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.2. 结构体示例程序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .0 码力 | 562 页 | 3.23 MB | 9 天前3TiDB中文技术文档
用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 注释语法 字符集和时区 字符集支持 字符集配置 时区 数据类型 日期和时间类型 基本数据类型 函数和操作符 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 - 2 - 本文档使用 书栈(BookStack.CN) 构建 字符串函数 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制文档 Bit-value Literals Boolean Literals Date 和 Time 字面值 十六进制的字面值 NULL Values 数值字面值 字符串字面值 TiDB 用户文档 高级功能 系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 服务器日志文件 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 注释语法 字符集和时区 字符集支持 字符集配置 时区 数据类型 数值类型 日期和时间类型 字符串类型 JSON 数据类型 TiDB0 码力 | 444 页 | 4.89 MB | 5 月前3【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502
强大动能 大模型的进一步突破将引领人类社会进入智能化时代,对我们的生活方式、生产方式带来巨大变革 重塑经济图景 解决复杂问题 7政企、创业者必读 8 AI不仅是技术革新,更是思维方式和社会结构的变革 国家 产业 个人 企业政企、创业者必读 人工智能发展历程(一) 从早期基于规则的专家系统,走向基于学习训练的感知型AI 从基于小参数模型的感知型AI,走向基于大参数模型的认知型AI 冷冻电子显微镜 1. 利用Transformer的预测能力, 2. 直接从蛋白质的氨基酸序列 3. 中预测蛋白质的3D结构 靠肉眼观察,几年才能发现一个复杂蛋 白质结构,半个世纪预测了20多万种 从数年缩短到几分钟,解开了生物学密码 成功预测了地球存在的2亿种蛋白质结构 45政企、创业者必读 DeepSeek典型的四大安全问题:客户端安全、Agent安全、知识安全、模型安全 3 专业模型训练) 业务流程自动化( A g e n t框架) 组织协同( 工作流) 人机交互 赋能个人和 企业员工 生产力提升 多模态 能力 3 图片理解和处理 视频理解和处理 音频理解和处理 非结构化文档处理 47政企、创业者必读 DeepSeek能力很强大 个人使用绰绰有余 但要在政府、企业应用需要和场景结合 大模型要藏在产品后面 客户要的不是电动机,是「刮胡刀」「吹风机」0 码力 | 76 页 | 5.02 MB | 5 月前3Service Mesh结合容器云平台的思考和实践
Prometheus 统一配置管理 Configmap、Secret 负载均衡 简单负载均衡,基于Iptables Roundrobin 流量控制 简单根据服务实例进行控制云平台微服务演进之基于API网关的微服务方案 API网关功能增强 • 安全认证 • 流量控制 • 审计日志 • 黑白名单 • …K8S集群 云平台微服务演进之基于Spring Cloud的微服务方案 NS A Service 智能路由(灰度、蓝绿) • 流量管理(超时、重试、熔断) • 故障处理 • 故障注入 • … Mixer • 前提条件检查:安全认证,黑白名单, ACL检查 • 限流管理 • 遥测报告:日志监控 控制平面 数据平面 Istio-Auth • 服务间认证 • 终端用户认证Istio的核心组件 • Envoy 是一个高性能轻量级代理,它掌控了service的入口流量和出口流量,它提供了很多内置功能,如动态负 如动态负 载服务发现、负载均衡、TLS终止、HTTP/2 & gRPC流量代理、熔断、健康检查等功能。 • Mixer 翻译过来是混音器,Mixer负责在整个Service Mesh中实施访问控制和使用策略。Mixer是一个可扩展组 件,内部提供了多个模块化的适配器(adapter)。 • Pilot 翻译过来是领航员,Pliot对Envoy的生命周期进行管理,同时提供了智能路由(如A/B测试、金丝雀部0 码力 | 28 页 | 3.09 MB | 5 月前3人工智能安全治理框架 1.0
(c)鲁棒性弱风险。由于深度神经网络存在非线性、大规模等特点,人 工智能易受复杂多变运行环境或恶意干扰、诱导的影响,可能带来性能下降、 决策错误等诸多问题。- 4 - 人工智能安全治理框架 (d)被窃取、篡改的风险。参数、结构、功能等算法核心信息,面临被 逆向攻击窃取、修改,甚至嵌入后门的风险,可导致知识产权被侵犯、商业机 密泄露,推理过程不可信、决策输出错误,甚至运行故障。 (e)输出不可靠风险。生成式人工智能可能产生 人类行为、社会地位、经济状态、个体性格等,对不同人群进行标识分类、区 别对待,带来系统性、结构性的社会歧视与偏见。同时,拉大不同地区人工智 能鸿沟。 (b)挑战传统社会秩序的风险。人工智能发展及应用,可能带来生产工具、 生产关系的大幅改变,加速重构传统行业模式,颠覆传统的就业观、生育观、 教育观,对传统社会秩序的稳定运行带来挑战。 (c)未来脱离控制的风险。随着人工智能技术的快速发展,不排除人工 智能自主获取外 智能自主获取外部资源、自我复制,产生自我意识,寻求外部权力,带来谋求 与人类争夺控制权的风险。 4. 技术应对措施 针对上述安全风险,模型算法研发者、服务提供者、系统使用者等需从 训练数据、算力设施、模型算法、产品服务、应用场景各方面采取技术措施予 以防范。 4.1 针对人工智能内生安全风险 4.1.1 模型算法安全风险应对 (a)不断提高人工智能可解释性、可预测性,为人工智能系统内部构造、- 80 码力 | 20 页 | 3.79 MB | 28 天前324-云原生中间件之道-高磊
成本较高,所以要视业务场景要求取舍。 Mesh零信任 mTLS服务间访问授权,主要针对Pod层WorkLod的访问控制 应用透明,全局管理视角,细粒度安全策略 Check&Report机制影响通信性能,并只涉及到服务 通信级别的安全,对node没有防护 Calico零信任 主要针对Node层的访问控制,可以让攻击者难以横向移动,隔离了风险 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全 场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据,支持高吞吐量实时入库及数据实时查询,实现数据资源 智慧化运营。 优势 低成本存储: 支持PB级数据存储 高并发: 千亿数据实时分析 数据源 设备监控 传感器 轨迹数据 车联网 业务集群 物联网套件写入 Operator:实现自动启动存储集群,并监控存储守护进程,并确保存储 集群的健康; • Agent:在每个存储节点上运行,并部署一个 CSI / FlexVolume 插件, 和 Kubernetes 的存储卷控制框架进行集成。Agent 处理所有的存储操 作,例如挂载存储设备、加载存储卷以及格式化文件系统等; • Discovers:检测挂接到存储节点上的存储设备。 Rook 将 Ceph 存储服务作为 Kubernetes0 码力 | 22 页 | 4.39 MB | 5 月前3Curve文件系统元数据管理
Curve文件系统元数据管理(已实现)© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点: 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义: 4.2 dentry的定义: 4.3 内存组织 5 元数据分片 5.1 分片方式一:inode和dentry都按照parentid分片 extent,属于一个文件 partition append→ master slave协议 overwrite → raft 更适合大文件顺序写 fastcfs 有元数据服务器 inode和dentry放一个结构体。 inode → hashtable(key是ino,全局) dentry → skip list (key是name,每个目录下一个) 计算出来的 binlog,随时间会越来越大 差 inode + offset) etcd 差 块设备,最小10GB segment + chunk raft 块设备的元数据管理 cephfs 3、各内存结构体 时间复杂度 空间复杂度 特点 可用实现 Btree 一个节点上保存多条数据,减少树的层次(4~5层),方便从盘上读取数据,减少去盘上读取次数。适合在盘上和内存组织目录树。 google,https://github0 码力 | 24 页 | 204.67 KB | 5 月前336-云原生监控体系建设-秦晓辉
io/ 大纲 • 云原生之后监控需求的变化 • 从Kubernetes架构来看要监控的组件 • Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代 哪些?最佳实践是什么?不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高, 监控难度加大 从 Kubernetes 架构来 看要监控的组件 Kubernetes架构 l 服务端组件,控制面:API Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点,最核心就是监控Pod容器和节点本 身,也要关注 kubelet 和 kube-proxy kubeproxy_sync_proxy_rules_duration_seconds 同步网络规则的延迟指标 以及通用的进程相关的指标,进程的 CPU 内存 文件句柄等指标 Kubernetes 控制面组 件的监控 Kubernetes控制面 apiserver的监控 • apiserver 通过 /metrics 接口暴露监控数据,直接拉取即 可 • apiserver 在 Kubernetes 架构中,是负责各种0 码力 | 32 页 | 3.27 MB | 5 月前3CurveFs 用户权限系统调研
一、Curvefs测试 1. 启动curvefs 问题1:root用户无法访问挂载目录 测试 allow_root 测试allow_other 参考文献 问题2:本地文件系统挂载默认是共享的? 问题3:文件系统访问控制是在哪一层实现的? 二、文件系统权限管理 文件类型 文件权限 特殊权限(SUID, SGID, STICKY) 文件默认权限umask 用户&用户组 文件系统用户权限管理 对mode的管理 对ACL(Access fuse_client", MS_NOSUID|MS_NODEV, "allow_other,fd=9,rootmode=40000,"...) = 0 问题3:文件系统访问控制是在哪一层实现的? 测试curvefs,发现文件系统链路默认是没有做权限控制。(挂载点mode 777) # mountpoint wanghai01@pubbeta1-nostest2:/tmp$ ls -l | grep fsmount "world" >> file1 nbs@pubbeta1-nostest2:/tmp/fsmount$ cat file1 hello world 测试curvefs,发现文件系统链路默认是没有做权限控制。( 挂载点mode 755)© XXX Page 8 of 33 wanghai01@pubbeta1-nostest2:/tmp$ ls -l | grep fsmount drwxr-xr-x0 码力 | 33 页 | 732.13 KB | 5 月前3
共 73 条
- 1
- 2
- 3
- 4
- 5
- 6
- 8