3.云原生边云协同AI框架实践
应用对实时性、准确性和强交互性的需求 Edge: geographically distributed Cloud: Centralized Client devices Edge AI • 随着大模型的发展,AI 计算对算力需求大 幅且快速增长 AI应用到越来越多的边缘场景 分布式协同AI 概念 将人工智能相关的部分任务部署到边缘设备,基于边缘设备、边缘服务 器、云服务器,利用分布式乃至分布式协同方式实现人工智能的技术 应用无缝下沉到边缘 为分布式协同机器学习服务 ✓ 降低构建与部署成本 ✓ 提升模型性能 ✓ 保护数据隐私 SIG成员近年发表分 布式协同AI顶会论文 10+ SIG成员在AI顶会IJCAI 上分享分布式协同AI论文 Sedna斩获中国信通院云边协 同应用创新大赛最佳创新奖 ✓ 数据集管理 ✓ 模型管理 ✓ …… 基础框架 ✓ 协同推理 ✓ 增量学习 ✓ 联邦学习 ✓ 终身学习 GlobalCoordinator ⚫ 统一边云协同AI任务管理 ⚫ 跨边云协同管理与协同 ⚫ 中心配置管理 2. LocalController ⚫ 特性本地流程控制 ⚫ 本地通用管理: 模型, 数据集等 3. Worker ⚫ 执行训练或推理任务, 训练/推理程序, 基于现有AI框 架开 ⚫ 按需启动, docker容器或function ⚫ 不同特性对应不同的worker组0 码力 | 37 页 | 2.36 MB | 1 年前3大规模高性能区块链架构设计模式与测试框架-李世敬
版权所有 ©2016-2021 11 趣链科技 版权所有 ©2016-2021 11 趣链科技 版权所有 ©2016-2021 11 公有�架构(⾮�可�架构) 应⽤层 数据层 块链式结构 账户模型 时间戳 ⽹络层 共识层 激励层 发⾏机制 分配机制 PoW PoS DPoS 可编程货币 可编程⾦融 可编程社会 合约层 智能合约脚本 算法机制 合约执⾏引擎 哈希算法 数字签名 P2P⽹络 分布式⼀致性算法 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹ 分布式⼀致性算法 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹0 码力 | 39 页 | 56.58 MB | 1 年前32.1.7 谈如何构建易于拆分的单体应用
合理,为了微服务⽽微服务) • 监控,告警,CI/CD,服务治理,分布式追踪等基础 设施不完善,维护成本⾼(⾃建—>云原⽣) 02 困境 MVC架构 微服务架构的困境与突破 ➢ 构建合理的业务模型(Monolith or Microservice) 1. 建模⽅法不只有领取驱动设计-DDD,还有⽤例驱动 设计-UDD等; 2. 并不是开始进⾏微服务拆分的时候才⽤到对应的建 模⽅法,在设计单体架构下同样也需要; 建模:通过表象看本质 ➢ 软件开发过程:描述软件开发全过程、软件开发活动以及他们之间关系的结构框架。 。。。 常⻅的软件开发模型 RUP开发模型 业务建模 01 软件开发过程 建模:通过表象看本质 ➢ 建模:对现实世界特征的模拟和抽象,⽐如机械模型,汽⻋模型等。 02 何为建模 ➢ 不同的想法 1. 不⽤建模,搞出来的系统照样跑的好好 的; 2. ⼈⼒不⾜,先顶住再优化; 3 晦涩难懂的概念,有时为了说明⼀些概念引⼊⼀些新的概念(领域服务/领域对象/领域 模型/值对象/聚合根/实体/⽤例等); 2. ⽅法这么多,到底谁更值得信赖; 3. 案例过于陈旧,如银⾏系统,电⼒系统等,⾥⾯阐述的⽅法和步骤到较难运⽤到互联⽹ 的业务中; 忘掉⼀些晦涩难懂的概念和复杂的步骤,从⽣活的视⻆出发,来思考我们的业务模型 DDD并⾮唯⼀ 的建模⽅法! 从建模到放弃! 建模:通过表象看本质0 码力 | 27 页 | 13.04 MB | 1 年前3Golang大规模云原生应用管理实践
负载均衡 控制器 限流降级 控制器 监控 控制器 … 应用模型 控制器 平台应用模型 平台特定业务 用户应用模型 云原生生态 EDAS 1、应用管理策略 2、应用管理机制 3、平台构建策略 4、平台构建机制 PaaS 内核(3,4) PaaS 业务(2) 用户界面(1) EDAS的平台构建策略-OAM应用模型 https://github.com/oam-dev/spec 组件1(工作负载) • 运维特征1 • 运维特征2 • … • 组件2 (工作负载) • 运维特征1 • 运维特征2 • … • … 作用域 能力定义 依赖编排 组件版本 服务绑定 OAM应用模型 apiVersion: core.oam.dev/v1alpha2 kind: ApplicationConfiguration metadata: name: helloworld spec: https://github.com/oam-dev/spec EDAS的平台构建机制-KubeVela https://github.com/oam-dev/kubevela • OAM应用模型运行时 • 内置Workloads & Traits & Scopes • Capability Management KubeVela的核心机制-运行时 func Setup(mgr ctrl0 码力 | 23 页 | 7.70 MB | 1 年前303. Golang 在隐私计算平台建设中的实践 - 刘敬
翁 问 题 , 安 全 多 ⽅方 计 算概念被提出 1986年年姚期智提出 基于混淆电路路的通 ⽤用解决⽅方案 2016年年⾕谷歌提出联 邦学习,解决安卓 ⼿手机终端⽤用户的联 合模型训练 2009年年Gentry⾸首 次提出了了全同态 算法 2013年年Intel推出SGX指 令集扩展,提供软硬件 ⼀一体的可信执⾏行行环境 2016年年发布的《隐私计 算研究范畴及发展趋势》 趣链科技版权所有©2016 – 2021 7 隐私计算技术分类 • 安全多⽅方计算 纯密码学技术实现数据的可 ⽤用不不可⻅见 • 可信执⾏行行环境 基于TEE硬件保障计算环境安全 可信,提供计算模型及数据双维 度安全 • 联邦学习 结合机器器学习和密码学算 法,数据联邦化训练,充 分释放数据价值 02 隐私计算平台 架构 趣链科技版权所有©2016 – 2021 9 平台体系 隐私计算节点 本地数据库 发起⽅方节点 隐私计算节点 本地数据库 参与⽅方节点A 隐私计算节点 本地数据库 参与⽅方节点B 1.创建任务 2.完善⼦子模型 并分发 3. 权限校验 5. 执⾏行行隐私计 算算法 4.模型审核 6.返回隐私计算结果 7.记录上链 趣链科技版权所有©2016 – 2021 11 匿匿踪查询 集合运算 矩阵运算 基础运算 统计分析 ⽐比较排序0 码力 | 37 页 | 6.20 MB | 1 年前32.5 Go在猎豹移动的应用
毛剑 Why Go? 优雅简洁,少就是多; 性能好、系统级语言; 静态语言、强类型约束; 交叉编译&部署; 网络模型&并发同步模型; 标准库、内置工具强大支持; 开源&社区活跃; 我们做了啥? 业务 猎豹移动全球passport体系; 游戏开放平台; 游戏支付体系; 平台 goconf xml,yaml,json,ini? 阶段1:逐idc,逐机器配置修改; 阶段2:svn统一提交修改,每个idc一份; 阶段3:配置统一管理化(agent模型); 一处修改,统一管理; 节点状态查看、回滚配置; 数据安全、强一致性; goconf /config/ | service/ | idc1/0 码力 | 24 页 | 4.26 MB | 1 年前3Golang 微服务在腾讯游戏用户运营领域的探索及实践
Inmem + Redis、令牌桶 流控 • 轻重分离、单元化部署、容错 降级 • 实时上报、缓存汇聚/本地文件、ELK 日志监控告警 • Bind Golang to Lua 运行时类库 并发模型 异步Async 批量Batch 多核并行Parallel Lua协程绑定Go程 IO阻塞自动切换 高可用 负载均衡 寻址 限流 缓存 降级 SLA保证 并行执行单元 消息总线 正职开发核心服务,流程编 排外包 开发外包 • 运营填写表单,活动一键上 线 运营自助 • 策略嵌套、一键复制 流程复用 • 自动Mock、分支覆盖 自动测试 • 流程固化,沉淀运营模型 模型沉淀 基准数据 基准数据 总结及展望 总结及展望 服务网关 快速集成 服务编排 流程沉淀 执行单元 并发并行 技术驱动 业务优化 微服务 敏捷迭代0 码力 | 34 页 | 1.22 MB | 1 年前3云原生时代分布式链路追踪实践-曲赛
责人来自Grafana,Gitlab ✓ 持续更新 OpenTelemetry 2019年,由OpenTracing和OpenCensus合并 而来。 ✓ ✓ ✓ 蓬勃发展 Trace 数据模型:Trace Context,Baggage 6 Propagation Format W3C Trace-Context W3C Baggage Zipkin B3 format Jaeger 响应 traceresponse: 00-1baad25c36c11c1e7fbd6d122bd85db6- cab70b47728a8a99-01 Trace 数据模型: Trace Detail 7 Trace 数据模型: Trace Detail 示例 8 Trace 采样策略 9 1. Head-based coherent sampling 2. Tail-based coherent0 码力 | 17 页 | 2.47 MB | 1 年前3基于gRPC go实现消息发布订阅
使用gRPC go实现 基于Topic的高效消息订阅发布模型 姓名 张凯 中国电子云 目 录 gRPC go 介绍 01 gRPC四种通信模式及落地场景 02 根据proto生成go桩代码 03 订阅者动态注册 04 发布者消息推送 05 现场案例演示 06 gRPC go介绍 gRPC是什么? 01. 副标题 开篇思考几个问题 01. 副标题 gRPC介绍 基于通信模式如何落地? 01. 副标题 流式传输 基于通信模式如何落地? 01. 副标题 以及,本次分享的 “ ” 基于Topic消息发布订阅 基于Topic的消息发布模型简介 01. 副标题 基于Topic的消息发布模型简介 01. 副标题 BRIAN KERNGHAN service PubSubService { rpc Publish(PublishRequest)0 码力 | 31 页 | 2.42 MB | 1 年前32-6-Golang 在 Baidu-FrontEnd 的应用-陶春华
可编译为独立可执行程序(包括依赖的库) –Python: 需要python运行环境,及依赖的库 Golang (1) • 性能 –和C接近 • 并发性 –Go routine: 屏蔽底层的机制,充分利用cpu资源 –多线程模型:容易思考 • 开发效率 –描述能力和python接近 –较丰富的库(系统库,第三方库) Golang (2) • 大型程序的组织 –Package –数据访问的限制(首字母大小写的区别) 为什么重写BFE • 现存问题 –修改成本高 • 事件驱动的编程模型:编码和调试难度大 • C语言本身的难度和开发效率 –配置管理方式落后 • 为单产品线设计,无法支持平台化要求 • 配置变更(修改、重载、验证)能力差 –变更和稳定性的矛盾 • 程序出core 技术选型:Go vs Nginx • 学习成本 • 开发成本 –并发编程模型:同步(Go) vs 异步(Nginx) –内存管理 –语言描述能力0 码力 | 35 页 | 730.17 KB | 1 年前3
共 44 条
- 1
- 2
- 3
- 4
- 5