大规模分布式系统架构下调测能力构建之道
HashSet> Sorted Set Mapkey field value name Tom age 34 … … key 头部指针 尾部指针 key Tom Mike … … key score1 data1 score2 data2 … … 其它分布式服务的调测支持 对象存储 1.分布式环境下,为不同开发 0 码力 | 19 页 | 2.74 MB | 1 年前3QCon北京2018-《美团配送系统架构演进实践》-阴永俊
.. 运营团队:运力结构、经营分析、绩效考核.... 客服团队:问题跟进、定责… 基础设施不断升级 与 用户消费升级 促使即时配送全面信息化 人工智能 大数据 GPS+GIS 移动互联网 智能手机/APP • 预测供需结构,智能派单调度 • 评估难度、ETA、骑手能力等数据 • 定位越来越精准,地图与导航逐渐成熟 • 实时移动的信息传递通路 • 线下配送的全过程纳入信息环境 工具辅助评估 场景压测 全链路压测 垂直拆分 水平拆分 自动归档 冗余备份 容量评估由人到系统 容量提升分阶段实施 快速起量,系统质量、研发效率问题凸显 规模化阶段:并行计算能力 计算能力是智能调度的关键! • 外卖场景下的配送计算能力要求 快速起量,系统质量、研发效率问题凸显 规模化阶段:提升各类运营系统迭代效率 元数据 管理 表单 管理 样式 管理 规则 引擎 动态表单 精细化阶段 美团配送 AI整体布局 Spatial-Temporal Data Mining 、Operations Research 、Machine Learning 智能调度 预测预估 定价机制 轨迹挖掘 智能规划 智能硬件 时间 预估 单量 预估 POI 定位 骑行 导航 供需 平衡 弹性 研究 配送 范围 站点 规划 订单 指派 路径 规划 语音 助手 配送 硬件0 码力 | 31 页 | 15.26 MB | 1 年前3分布式异地多活架构实践之路
数据同步 多元化 最终一致性 依赖关系优化 配套系统支撑 主 从 多 主 汇 聚 混 合 场景区分 封装屏蔽细节 容量合理规划 当前总体架构 合肥 北京 广州 HTTPDNS 智能DNS GSLB GSLB Servers Servers Servers MS MS GSLB MS 上报/探测 上报 上报 上报/探测 上报/探测 上报 获取入口地址 服务访问 根据运行情况进行负载均衡/踢出故障入口 入口 入口 入口 三地同步/调用 核心业务异地多活 核心系统 非核心系统 原有系统 单向依 赖 传统DNS调度存在问题 LocalDNS 智能DNS (权威域名 服务器) root域名服 务器 com域名服 务器 合肥IDC 北京IDC 广州IDC GSLB 获取服务IP IP请求 DNS劫持严重 用户设置DNS服务器 HTTPDNS LocalDNS 智能DNS 合肥IDC 北京IDC 广州IDC 弱依赖,可控 SDK封装: 重点域名预解析 缓存域名解析结果(sp、 wifi名) 出错或快过期异步解析 合法IP动态下发 IP请求结果统计 多级兜底容错 解析IP合法,IP请求 解析IP不合法,固定IP请求 GSLB HTTPDNS 精准流量调度-用户 智能DNS 路由服务 路由服务 路由服务0 码力 | 36 页 | 1.66 MB | 1 年前3领域驱动设计&中台/化繁为简--DDD驱动复杂业务软件架构的演进
.. …... …... …... …... …... 平法模型 钢筋模型 模型转换 案例1:CAD翻模领域拆分及分层设计 • 隔离功能交互与业务逻辑 • 识别算法独立,引入人工智能算法 持久化层 领域层 CAD图纸管理 CAD翻模UI 显示层 应用层 CAD图层管理 CAD识别命令 CAD模型 CAD模型持久化 CAD识别算法 模型转换 CAD识别数据 提升业务逻辑的可复用性,新业务快速扩展 • 人工智能技术低成本快速应用; 架构分层,隔离UI/业务/技术 感悟 领域模型是表达业务功能背后业务本 质的模型,在建立领域模型的过程中 领域专家与统一语言不可或缺 领域建模是一个持续迭代精化的过程 控制业务复杂度,技术才能低成本应 用并深化,而DDD是一种控制复杂度 的有效方法 下一代计量架构 云+端 企业服务(SaaS服务) 智能化 1 2 3 THANK0 码力 | 33 页 | 1.25 MB | 1 年前3联想-贺钢架构工作在国际化项目中的应用实例
安全性和隐私… • 地域不同: 服务器的部署, 用户的访问, 组织架构, 团队沟通… 项目实例 -- XA项目背景及需求 • 多设备协作 PC, Mobile, Pad, Cloud… • 跨设备及云智能搜索 • 语音等多种输入方式 用例示意图 用户输入支持举例 3D Camera 项目实例 -- 项目开发团队 项目 备注 项目名称 XA 支持国家 160 多语言支持 27种语言0 码力 | 53 页 | 2.36 MB | 1 年前3分布式 KV 存储系统 Cellar 演进之路
迁移速度不可控,易影响业务请求 • 路由表更新瞬间请求失败 • key级别迁移写入,引擎压力大 节点状态指标 • 引擎压力 • 网卡 • 队列 • QPS • ··· Cellar—无损数据迁移 智能调速+全程代理 A节点 B节点 桶2 桶1 客户端 桶4 桶4 桶1 桶3 迁移数据 B节点状态 代理请求 响应 请求 响应 Cellar—请求超时原因 • 客户端问题0 码力 | 34 页 | 1.66 MB | 1 年前3QCon北京2018-业务高速发展下的互联网金融系统架构演变-张现双+
时间 削峰策略[知容量,明底线] 限流 降级 熔断 拒绝服务 异步延迟 多节点参与 开关控制 过载保护 丢车保帅 容量水位线 底线 多节点有序参与 智能DNS,DNS负载均衡 限流(limit,lua),openresty,4层/7层LB 弹性扩容,限流(token),熔断,防刷 降级,熔断,弹性扩容 多IDC,区域容灾,多ISP0 码力 | 42 页 | 19.96 MB | 1 年前3美团点评旅游推荐系统的演进
Outline •美团点评酒旅业务简介 •基于用户画像的召回策略演进 •基于L2R的排序策略优化 •从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 •推荐在美团点评酒旅的应用实践 人工智能应用 Critical Physical World Critical Digital World Non-Critical Digital World Non-Critical Physical0 码力 | 49 页 | 5.97 MB | 1 年前3刘道平-从0到1,移动政务应用小程序系统架构演化
每个端都得开发,标准化组件少 版本更新 无感知,轻量级更新 更新麻烦,审核周期长 服务触达 利用微信载体,消息通知更简单 APP消息,打扰多,用户遗漏概率大 拓展性 程序包小,可以关联调转 无大小限制,调转较难 智能化服务能力 微信自带组件,对接更容易 需根据场景单独对接,如人脸识别、支付等 产品自主性 需依托微信平台 完全自主可控 数据安全性 微信前端数据通过HTTPS传输 全业务流程数据传输监控 使用路径0 码力 | 35 页 | 15.60 MB | 1 年前3全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash
合计算是发挥其应用潜力的最重要途径之一! 华为量子计算云服务2.0,功能和性能全面大幅提升 量子应用 量子算法库 量子编程框架 量子控制 量子芯片 模拟器 化学模拟 组合优化 人工智能 模拟算法 优化算法 学习算法 编程语言 编译器 资源管理 资源调度 量子纠错 控制脉冲 量子-经典接口 超导 离子阱 金刚石色心 HiQ 1.0 展开 HiQ 2.0 展开 HiQ 20 码力 | 34 页 | 5.57 MB | 1 年前3
共 11 条
- 1
- 2