分布式异地多活架构实践之路
讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自:中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟; 跨机房性能较慢 机房天然延迟 专线费用高; 专线不稳定 跨机房专线问题 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 (单点写,多点读) 用户个性化数据同步、账号等 读写均衡 多主模式 (多点读写) 分布式日志收集等 写多读少 汇聚模式 (多点写,单点读)0 码力 | 36 页 | 1.66 MB | 1 年前3康彬-基于微服务的混合云和同城双活实践
微服务体系下的混合云&同城双活 实践探索 康彬(robinkang) 乐信/架构总监 康彬(robinkang) 乐信/架构总监 14年研发及管理经验,从0到1组建了乐信架构团队, 主导并推动了乐信集团业务系统从单体应用架构向微服 务架构的演变、从 php 技术栈向 java 技术栈的无缝转 型,从私有云向混合云的进化,及新一代的同城双活技 术架构的研发与落地工作 信用成长成就品质生活 信用成长成就品质生活 • 大促的痛及混合云实践 • 单元化&双活的应用场景 • 同城双活的探索之路 • 未来的规划 大促的痛及混合云实践 业务服务层 资源层 分期乐 前端业务服务 桔子理财 鼎盛资管 …… mq管理系统 job管理系统 中台服务层 核心交易平台 风控审核平台 计算资源 (CPU) 存储资源 (内存|磁盘) 网络资源 (ip|端口|带宽) 中间件层 微服务框架 data_proxy LB DNS app/browser nginx-Proxy nginx-Proxy data(r) 同城双活的探索 未来的担忧 单机房 如果发生机房级的灾难怎么办? 单集群 随着流量越来越大,集群规模 越来越大,怎么破? 单元化&多活的范围 boss 客服系统 销售系统 风控审核 催收系统 政策管理 prod devops 监控系统 调用链路 日志系统0 码力 | 47 页 | 6.09 MB | 1 年前3美团点评2018技术年货
全年独立访问用户累计超过300万,微信公众 号(meituantech)的关注数也超过了15万。 由衷地感谢大家一直以来对我们的鼓励和陪伴! 在2019年春节到来之际,我们再次精选了114篇技术干货,制作成一本厚达1200多页的电子书呈送给大 家。 这本电子书主要包括前端、后台、系统、算法、测试、运维、工程师成长等7个板块。疑义相与析,大家 在阅读中如果发现Bug、问题,欢迎扫描文末二维码,通过微信公众号与我们交流。 于App里运营资源、基础配置,需要根据城市、版本、平 台、渠道等不同的维度进行运营管理。如何在版本快速迭代过程中,保持运营资源能够被高效、稳定和灵 活地配置,是我们团队面临的重大考验。在这种背景下,大众点评移动开发组必须要打造一个稳定、灵 活、高效的运营配置平台。本文主要分享我们在建设高效的运营配置平台过程中,积累的一些经验,以及 面临的挑战和思考。 运营资源 运营资源 简单而言,运营 APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 首先,这里有节点,每个节点(Node)有其相应的内容(Content),节点与内容是“一对多”的关系。 这里的内容,我们指的是如标题、图片、跳转链接等信息,虽然是“一对多”的关系,但最后在同一个城 市、同一个版本下(可选择)只显示一条内容。为什么有这样的需求?举一个简单的业务场景实例,以外 卖为例,在新版本10.0的时候做了0 码力 | 229 页 | 61.61 MB | 1 年前3Nacos架构&原理
此简单需求,随着业务规模变大也会变的非常复杂。如何能将数据准确的在 3 秒钟之内推送到每⼀ 个计算节点,这是当时提出的⼀个要求,围绕这个要求,系统要做大量的研发和改造,类似的这种 关键的技术挑战点还非常非常的多。本书就是将面对复杂的分布式计算场景,海量并发的业务场景, 对软负载⼀个系统的进行阐述,通过 Nacos 开源分享阿里软负载最佳实践,希望能够帮助到各位开 发者,各位系统架构师,少走弯路。 阿里巴巴云原生应用平台负责人 靠性,可观测性等分布式系统指标影 响整个分布式系统的运行。历史上,这个系统在阿里也触发过大故障,经历过数次血与火的考验。 在阿里数次架构升级中,Nacos 都做了大量的功能迭代,用来支持阿里的异地多活,容灾演练,容 器化,Serverless 化。Nacos 经过阿里内部锤炼十年以上,各项指标已经及其先进,稳定,为服务 好全球开发者,Nacos 经过数十名工程师持续努力,以开源形式和大家见面,相信 ⼀次配 置要将全部实例重启,不仅增加了系统的不稳定性,也提高了维护的成本。 那么如何能够做到服务不重启就可以修改配置?所有就产生了四个基础诉求: 需要支持动态修改配置 需要动态变更有多实时 变更快了之后如何管控控制变更风险,如灰度、回滚等 敏感配置如何做安全配置 Nacos 架构 < 22 概念介绍 配置(Configuration) 在系统开发过程中通常会将⼀0 码力 | 326 页 | 12.83 MB | 9 月前3分布式 KV 存储系统 Cellar 演进之路
年任职于百度,负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar,英文原意是酒窖,项目取名Cellar,一方面借用其储藏 之意,同 Cellar起源—Tair问题 Cellar起源 架构升级 性能优化 可用性优 化 可运维性 Cellar 开源 Tair • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar—中心节点架构演进 • 性能问题 客户端集中获取路由表 • 隔离性问题 中心节点暴露给客户端 单独的路由表获取模块 Cellar—中心节点架构演进 Zookeeper选主 • 元数据Zookeeper存储 Cellar—中心节点架构演进 一致性: • 主备强一致 • observer同步强一致 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 存储节点Failover,越快越好? • 数据补全对业务影响 • 机器宕机五分钟,数据补全两小时 节点升级,先切走流量再操作? • 节点流量只能切到有其他副本的节点0 码力 | 34 页 | 1.66 MB | 1 年前32022年美团技术年货 合辑
历了无数的悲喜,也留下了满满的回忆。 也许生活就是这样,只有历尽波澜,才能欣赏茫茫大海的辽阔和无边, 才能感受到漫天星辰的光芒和温暖。 在2023年春节到来之际,我们从去年美团技术团队公众号上精选了60多 篇技术文章,整理制作成一本1300多页的电子书,作为新年礼物赠送给 大家。 这本电子书内容覆盖算法、前端、后端、数据、安全等多个技术领域, 希望能对同学们的工作和学习有所帮助。 也欢迎大家转给更多有相同兴趣、积极上进的同事和朋友们,一起切 目标检测开源框架 YOLOv6 全面升级,更快更准的 2.0 版本来啦 13 通用目标检测开源框架 YOLOv6 在美团的量化部署实战 17 7 次 KDD Cup&Kaggle 冠军的经验分享:从多领域优化到 AutoML 框架 37 图神经网络训练框架的实践和探索 66 图技术在美团外卖下的场景化应用及探索 83 大规模异构图召回在美团到店推荐广告的应用 102 美团搜索粗排优化的探索与实践 最具代表性,但在实际使用中,我们发现上述框架在速度和精度方面 仍有很大的提升的空间。基于此,我们通过研究并借鉴了业界已有的先进技术,开发 了一套新的目标检测框架——YOLOv6。该框架支持模型训练、推理及多平台部署 等全链条的工业应用需求,并在网络结构、训练策略等算法层面进行了多项改进和优 化,在 COCO 数据集上,YOLOv6 在精度和速度方面均超越其他同体量算法,相关 结果如下图 1 所示:0 码力 | 1356 页 | 45.90 MB | 1 年前3简明 X86 汇编语言教程
条以上指令的人大概只能算作那些被我们 成为“圣人”的牺牲者一类了。毕竟,记忆一些短小的助记符、由机器去考虑那些琐碎的配位 过程和检查错误,比记忆大量的随计算机而改变的十六进制代码、可能弄错而没有任何提示 要强的多。熟练的汇编语言编码员甚至可以直接从十六进制代码中读出汇编语言的大致意 思。当然,我们有更好的工具——汇编器和反汇编器。 简单地说,汇编语言就是机器语言的一种可以被人读懂的形式,只不过它更容易记忆。 ; 定义显示串 ; 定义代码段 ; 将数据段 ; 加载到 DS 寄存器 ; 设置 DX ; 显示 ; 终止程序 561 字节?实现相同功能的程序大了这么多!为什么呢?我们看到,程序拥有了完整的 堆栈段、数据段、代码段,其中堆栈段足足占掉了 512 字节,其余的基本上没什么变化。 分成多个段有什么好处呢?首先,它让程序显得更加清晰——你肯定更愿意看一个结构 存是“线 性”的。 新的计算机上,32-bit 的寄存器已经不是什么新鲜事(如果你哪天听说你的 CPU 的寄 存器不是 32-bit 的,那么简直可以肯定地说,它的字长要比 32-bit 还要多。新的个人机上 已经开始逐步采用 64-bit 的 CPU 了),换言之,实际上段/偏移量这一格局已经不再需要了。 尽管如此,在继续看保护模式内存结构时,仍请记住段/偏移量的概念。不妨把段寄存器看 作0 码力 | 63 页 | 598.28 KB | 1 年前3美团点评旅游推荐系统的演进
酒旅数据仓库 数据挖掘 集团数据平台 旅游推荐产品形态 旅游场景下用户兴趣点不明 确,频道内超过50%订单来 自推荐 需求个性化 推荐形式多样 本异地差异大 季节性明显 旅游推荐面临的问题 本异地差异大 超过30%订单来自异地请求 常驻城市!=浏览城市 推荐形式多样 景点下有大量相似门票,不适合 按Deal样式展现 跟团游、景酒套餐关联多个景点 ,不适合按POI样式展现 基于用户画像的召回策略演进 热销策略 基于Deal所在城市统计分城市热销 分类 场景 召回策略 本地需求 常驻城市=浏览城市 (北京人浏览北京) 当地用户购买的热销POI 异地需求 常驻城市!=浏览城市 (重庆人浏览北京) 异地用户购买的热销POI (所有非北京人购买的热 销POI) 销量按时间衰减 热销策略 •精确统计POI销量 •Deal -> POI •POI售卖数据不准 •客户端埋点 率 •样本 •调查问卷 •特征 •注册城市 •注册手机号 •手机定位城市 •浏览城市 •消费城市:团购、电影、外卖 •接受短信手机号 用户历史行为强相关策略 •热销策略能区分本异地用户差异 •不能对具体用户个性化推荐 •用户一个月内浏览、收藏的 POI/Deal •越实时权重越高 POI/Deal View POI/Deal Collect Kafka POI/Deal0 码力 | 49 页 | 5.97 MB | 1 年前3Golang在接入层长连接服务中的实践-黄欣
这里的灾备主要指的是依赖的存储降级方案,涉及到存储 的主要两个模块 – Auth svr:cache(redis) + db(mysql) – Route svr:cache + cache(standy) 架构—异地双活 • 要求 – 正常情况下: • 任何一个机房可推送到所有机房app – 异常情况下: • 本机房内推送可达 • 架构图如下 (核心解决路由共享问题) 架构—总结 • 异步通信接口0 码力 | 31 页 | 1.67 MB | 1 年前3FISCO BCOS 2.7.2 中文文档
创 创 创建 建 建和 和 和使 使 使用 用 用账 账 账户 户 户 205 10 开 开 开发 发 发和 和 和使 使 使用 用 用智 智 智能 能 能合 合 合约 约 约 211 11 多 多 多种 种 种语 语 语言 言 言SDK 253 12 区 区 区块 块 块链 链 链功 功 功能 能 能接 接 接口 口 口列 列 列表 表 表 479 13 使 使 使用 用 用链 链 链上 器 639 19 运 运 运维 维 维部 部 部署 署 署工 工 工具 具 具 663 20 数 数 数据 据 据治 治 治理 理 理通 通 通用 用 用组 组 组件 件 件 715 21 多 多 多方 方 方协 协 协作 作 作治 治 治理 理 理组 组 组件 件 件 721 22 区 区 区块 块 块链 链 链应 应 应用 用 用开 开 开发 发 发组 组 组件 件 件 729 i BCOS通过信通院可信区块链评测功能、性能两项评测,单链TPS可达两万。 1.1 关 关 关键 键 键特 特 特性 性 性 1.2 架 架 架构 构 构 FISCO BCOS 在2.0中,创新性提出“一体两翼多引擎”架构,实现系统吞吐能力的横向扩展,大幅提升性 能,在安全性、可运维性、易用性、可扩展性上,均具备行业领先优势。 3 FISCO BCOS Documentation, 发 发 发布 布 布 v20 码力 | 1422 页 | 91.91 MB | 1 年前3
共 454 条
- 1
- 2
- 3
- 4
- 5
- 6
- 46