QCon北京2018-业务高速发展下的互联网金融系统架构演变-张现双+
WEB AND/IOS/H5/Open 静态站 网贷服务 借款流程 Cache集群 安全加密 网贷服务 CDN 支付结算 订单 DB从 批 处 理 系 统 活动 DB主 DB从 版本管理 产品 ... 同步 …... 网站、基础服务 移动后台 业务和团队规模迅速扩张 粗粒度服务化,基础设施完善 CDN/页面缓存/静态站/缓存集群 移动后台旁路 流程double,冗余开始出现 熔断 限流 版本 更多... 标签 用户 管理平台 产品 理财单 渠道 版本 5G 措施:剥组件,拆单体,合冗余 移动后台打散 轻业务上浮 重业务下沉 API接入 指标监控 配置管理 业务前置配置 日志 配置系统 安全控制 拦截、校验 接口签名 加解密 防刷 攻击类 接口缓存 接口重写 热点活动支持 热点功能前置 接口版本控制 业务前置控制 API接入 指标监控 配置管理 业务前置配置 日志 配置系统 安全控制 拦截、校验 接口签名 加解密 防刷 攻击类 接口缓存 接口重写 热点活动支持 热点功能前置 接口版本控制 业务前置控制 Ng+ LUA 流量调度 降级 限流 灰度 接口分发 运营活动动态配置,接口重新编排 热点功能前置,网关分发许可限流,保护底层 接口req/resp重写,透明操作0 码力 | 42 页 | 19.96 MB | 1 年前3微服务和Service Mesh 在多个行业落地实践
认证 鉴权 统计 概览 知识 库 服务 告警 监控 大屏 账户 审计 粒度更细:可指定服务版本,类,方法级别 配置灵活:可配置检测粒度为每M毫秒N个请求P%的错误率 指标多样:RT值,错误率,线程池参数 熔断 粒度更细:可指定调用者和被调用者服务版本,支持failover、failfast、failback容 错机制。 配置灵活:支持自定义超时时间和重试次数。 大屏 账户 审计 可配置多条规则,按优先级匹配 可配置消费端黑白名单:只有A服务能访问B服务,只有IP1能访问B服务,更加安全 可配置服务端黑白名单:A服务版本1访问B服务版本1,A服务版本2访问B服务版本2,更灵活 路由 微服务框架负责服务之间的调用——路由 www.163yun.com 微服务框架 (服务治理) 服务 目录 注册 发现 限流 熔断 降级0 码力 | 39 页 | 3.06 MB | 1 年前3刘道平-从0到1,移动政务应用小程序系统架构演化
政务APP盲目开发泛滥,用户为了办事需要下载多个APP,成为一种负担。 3、优化不足体验差 政务APP接入政务服务,没有结合移动端的访问特性进行移动化改造,用户体验差。 4、缺少持续运营: 政务APP运营维护乏力,版本迭代缓慢,存在大量僵尸应用。 资料来源 CAICT中国信息通信研究院《政务服务APP发展情况研究报告》,2017.12 http://www.caict.ac.cn/kxyj/qwfb/ztbg 无需注册直接登录,提供活体检测、人脸核身 需要注册,使用密码和手机盾认证 推广传播 下载成本低、通过微信裂变传播 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套,组件丰富 每个端都得开发,标准化组件少 版本更新 无感知,轻量级更新 更新麻烦,审核周期长 服务触达 利用微信载体,消息通知更简单 APP消息,打扰多,用户遗漏概率大 拓展性 程序包小,可以关联调转 无大小限制,调转较难 智能化服务能力 面更具优势。 6、探索需求 -- 分析可行性,选取合适的需求场景 什么需求适合进入第1版本? 1.服务对接方式:提供API接口,而非H5页面 2.认证方式:基于后台API方式,而非要求用户再次输入 3.服务类型:属于查询、办理类,而非资讯信息、办事指南 4.服务具有便民、高频特征 帅选出第1版本要接入的百项高频便民事项 典型需求梳理场景 - 残疾人服务事项分析 7、产品设计—淬取政务服务信息要素、以用户为中心的展示0 码力 | 35 页 | 15.60 MB | 1 年前3领域驱动设计&中台/演进式架构的平台化落地
部署架构设计 测试环境 部署架构设计 绘制部署架构,组合服务和 部署元素 部署架构变更更历史 推荐部署架构(远期规划) 微服务开发框架定制 代码架构⻛风格选择 资源配置 数据库版本管理理 是否⾃自动⽣生成API/ Dockerfile/流⽔水线 ⽣生成 代码 到GIT 仓库 架构分析- 从契约反向识别实现与模型差异 架构分析- 架构Fitness Function检查 配置Sonar地址、展⽰示分析结果 数据结构分析- 测试环境的反向⼯工程可视化 数据结构分析- ⽣生产环境脚本导入可视化 领域模型- 基于代码守护的反向可视化 运⾏行行时部署架构可 视化 数据库 状态/版本显⽰示 创建系统 组建团队 我的系统 列列表 团队⼈人员⾓角⾊色 权限维护 外部系统维护 架构约束定 义维护 部署元素维护 代码引入ArchUnit/ log格式入⼿手 框架管理理 •DDD对象模型 服务地图 32 API管理理 •API定义 •服务与API关系 •多版本API管理理(API演进) 33 ⽣生成服务代码 •多框架⽀支持 •多架构⻛风格⽀支持(分层、DDD、 整洁等) •⾃自动⽣生成服务代码与配置 34 服务地图 数据库演进 与版本化管理理 •数据库引⼊入Flyway等 •⾃自动⽣生成初始脚本库 •⾃自动化变更更DB 350 码力 | 42 页 | 2.95 MB | 1 年前3唯品会调度系统的前世今生
Marathon+Mesos 容器调度 启动 Registry Pull镜像 资源释放 资源绑定 资源伸缩 容器化架构 我们的经典例子 图片扫描(侵权),格式/大小转换 女大须嫁 弹性调度系统开源版本 开源的目的 利用社区的力量,提升 产品的稳定性、可靠性, 进而降低产品的开发、 维护等成本 减少维护成本 增强公司在技术领域的 品牌影响力,吸引更优 秀人才加入 提升技术品牌 目前已经开源的类似功 Source VIP Central Maven Repo 推送独立开源版本 开源版本直接依赖 开源情况 2016年12月,我们己开源! https://github.com/vipshop/Saturn 90+ 400+ 310+ Star 安装 Issue 我们在Github上等你!! 瓜熟蒂落 基于开源版本打造自己的系统 ZK 执行结点 Job A Job B 作业调度器0 码力 | 58 页 | 5.40 MB | 1 年前3大规模分布式系统架构下调测能力构建之道
赖服务上线后,要把测试用例中对应的mock语句去掉。对测试 用例的修改工作贯穿于整个开发工作之中。 3. 我和某同事通过服务框架进行调用联调,结果另一同事也把同 名服务挂了上来,不幸的是,他的服务版本和我们的不一样, 结果,一系列的灵异状况发生了… 4. 依赖的远程服务逻辑发生变化了,但负责它的团队没有通知到 我,结果上线后直接导致生产事故。 5. 我和其他团队共用一套分布式缓存服务,为了防止数据覆盖, 远程服务 Mock配置 开关/策略… 路由 策略 … Mock过滤器 启 动 加 载 服务 调用 脚本引擎 Mock数据规范 格式规范: 1.静态匹配 2.动态匹配 3.多版本支持(服务版本) 管理规范: 1.服务谁提供,就由谁负责相应Mock数据的 制作。 2.mock数据可被使用者二次修改或替换。 3.mock数据独立工程管理。 静态匹配(json) 动态匹配(脚本)0 码力 | 19 页 | 2.74 MB | 1 年前3海尔实时计算平台技术选型与实践
MySQLStreamer Mysql CDC建议方案 Mysql CDC可选方案: • Canal Postgresql CDC 建议方案 BottledWater: • 支持postgresql 9.4及以后版本 • 几乎不影响数据库本身性能 • 事务一致性的输出 • 容错 上图摘自confluent官网 Flume适合: • 日志收集 • 日志传输 • 拦截数据 消息队列适合: • 消息持久化0 码力 | 41 页 | 3.21 MB | 1 年前3海量用户推送后台系统架构实践-曾振波
新技术的应用 目录 关于极光 36.9 万 开发者 107.6 万 APP 198 亿 移动终端 10.4 亿 月独立 活跃设备 90 % 覆盖率 亿级长连接用户 SDK多版本并存 消息实时性 触达率要求 移动网络环境复杂性 海量用户数据存储 消息推送系统面临的挑战 极光推送服务架构 系统通道 API 用户筛选 用户分发 推送通道 极光通道 共享通道0 码力 | 23 页 | 1.26 MB | 1 年前3分布式 KV 存储系统 Cellar 演进之路
以像用酒窖藏酒一样,越 存越香。 Cellar起源 • 14年初 美团引入阿里Tair作为NoSQL存储 • 14年底 大范围应用,并对Tair修修补补,积累领域问题 • 16年初 基于开源版本研发新一代KV存储系统Cellar • Now Cellar日请求量达万亿级,美团点评最大NoSQL存储 Cellar起源 Cellar起源—Tair架构 路由表 Cellar起源—Tair架构0 码力 | 34 页 | 1.66 MB | 1 年前3苏宁易购小程序架构实践 苏宁 禹立彬
3 小程序业务组件 CONTENTS • 使用原生的方式开发,没有使用wepy等框架 • 分包加载,主包原则只放购物主流程 • 尽量压缩业务代码,减少文件大小 • 控制基础库版本,减少对用户的影响 request,登录与302 request,登录与302 在网页状态下运行良好的登录机制,在小程 序下,无法兼容。 loginRequest组件 请求专用接口,并保存登录状态0 码力 | 36 页 | 833.39 KB | 1 年前3
共 12 条
- 1
- 2