还有一些你看不到的东西：调度 调度的目标 ● CPU ● IO ● 内存 ● 磁盘使用量 ● 网络流量 ● Location Awareness 调度的方法 ● PD 周期性根据 Cache 中的集群信息，生成调度计划（Operator） ● Operator 是作用于一个 Region 的一系列操作 ○ Transfer Leader：将 raft group 的 leader 转让给某个 生成 Operator 使之均衡 调度的难点 ● 难以评判什么样的数据分布情况是最优解 ○ 机器配置不同 ○ CPU、内存、磁盘、网络多种因素相互制约 ○ 用户场景多变 ● 调度所依赖的集群状态不一定是最新的 ● 调度本身也会带来系统负担 多副本管理策略 ● 使用多副本保证数据安全（Data safety） ● 维持数据副本数 ○ 副本数不足：AddPeer ○ 副本数过多：RemovePeer all on one platform ○ No need for ETL ○ Real-time query with Spark ○ Possiblility for get rid of Hadoop ● Embrace Spark echo-system ○ Support of complex transformation and analytics with Scala / Python

有核心应用，并在生产环境中大规模地得到使用。 2016 年初至今，CAT 接入的应用增加了400%，机器数增加了 900%，每天处理的消息总量高达 3200 亿，存储消息量近 400TB，高峰期集群 QPS 达 650万/秒。 面对流量的成倍增长，CAT 在通信、计算、存储方面都遇到了前所未有的挑战。整个系统架构也经历了 一系列的升级和改造，包括消息采样聚合、消息存储、业务多维度指标监控、统一告警等等，项目最终稳 美团点评基础架构团队诚招 Java 高级、资深技术专家，Base北京、上海。我们是集团致力于研发公司 级、业界领先基础架构组件的核心团队，涵盖分布式监控、服务治理、高性能通信、消息中间件、基础存 储、容器化、集群调度等技术领域。欢迎有兴趣的同学投送简历到 yong.you@dianping.com。 LruCache在美团DSP系统中的应用演进 - 美团技术团队 LruCache在美团DSP系统中的应用演进 自带各种协议栈，让我们处理任何一种通用协议都几乎不用亲自动手。 7. Netty社区活跃，遇到问题随时邮件列表或者 issue。 8. Netty已经历各大RPC框架（Dubbo），消息中间件（RocketMQ），大数据通信（Hadoop）框架的广泛的线上验 证，健壮性无比强大。 背景 背景 最近在做一个基于 Websocket 的长连中间件，服务端使用实现了 Socket.IO 协议（基于WebSocket协 议，提供长轮询降级能力）

Kapacitor • InfluxDB：⾼高性能的时序数据库。 • vs ES: 8X写⼊入，少4X磁盘占⽤用，3~7响应速度 • Telegraf：⽀支持200+数据渠道 • 开源免费版本缺少集群、安全、管理理等功能 • Chronograf：不不如Grafana强⼤大灵活 Elastic Stack (BELK) • Beats + Elasticsearch + Logstash • 不不⽀支持外Join、窗⼝口等 其他OLAP选择: Clickhouse • 性能优越： • 10亿+条规模⽐比商业软件快5倍 • ⽐比MySQL快⼏几百倍 • 稳定可靠，⾮非Hadoop体系， • 类SQL功能 • 缺点： • 聚合结果要在⼀一台机器器内存内 • 缺少完整更更新删除操作 • ⽀支持操作系统有限 ⼤大数据⽅方案开源全景图（部分）与Python作⽤用

支持同一个服务同时提供 Pigeon（美团内部的 RPC 框架）以 及 Thrift 服务，从而满足不同业务的不同需求。 ● 不同业务的不同需：Augur 同样支持以 SDK 的方式将能力嵌入到已有的集群 当中。但如此一来，分布式能力就无法发挥了。所以，我们一般应用在性能要 求高、模型比较小、特征基本可以存在本地的场景下。 其中服务化是被应用最多的方式，为了方便业务方的使用，除了完善的文档外，我们 径，标准化配送侧的数据体系，美团配送的研发团队组建了一个算法工程小组，专门 规整各业务线的机器学习工具集，希望建设一个统一的机器学习平台，其需求主要包 括以下几个方面： 算法 < 81 ● 该平台底层依托于 Hadoop/Yarn 进行资源调度管理，集成了 Spark ML、 XGBoost、TensorFlow 三种机器学习框架，并保留了扩展性，方便接入其 它机器学习框架，如美团自研的 MLX（超大规模机器学习平台，专为搜索、推 3）模型评估阶段，支持多种评估指标，如 AUC、MSE、MAE、F1 等。 4）模型发布阶段，提供一键部署功能，支持本地和远程两种模式，分别对应将模型 部署在业务服务本地和部署在专用的在线预测集群。 5）在线预测阶段，支持 AB 实验，灵活的灰度发布放量，并通过统一埋点日志实现 AB 实验效果评估。 3.1 离线训练平台 离线训练平台的目标是：搭建可视化训练平台，屏蔽多个训练框架的差异，降低算法

数据库异常智能分析与诊断 1059 美团外卖广告智能算力的探索与实践（二） 1079 Linux 下跨语言调用 C++ 实践 1101 GPU 在外卖场景精排模型预估中的应用实践 1130 美团集群调度系统的云原生实践 1149 广告平台化的探索与实践 | 美团外卖广告工程实践专题连载 1161 数据 1193 Kafka 在美团数据平台的实践 1193 美团综合业务推荐系统的质量模型及实践 搜索中有改写流量占比约 73%，在大众点评 App 搜索有改写流 量占比约 67%。构建的查询改写能力和服务平台支持各个业务频道内搜索以及搜索 广告平台等，并取得了不错的收益。现在查询改写服务高峰期集群 QPS（Query Per Second）已经达到了 6 万次 / 秒，我们会进一步投入研发，提升公司内乃至业界内 的技术影响力。 如何更好地连接用户和平台上的服务、商家、商品是一个需要长期和多方面投入解决 字段规则校验埋点上报是否符合预期。 前端 < 503 图 18 埋点校验流程图 5. 测试流程 AlphaTest 的核心测试流程始终聚焦在用例的录制与回放环节，整个流程涉及到自 动化任务触发、回放集群调度、断言服务、消息推送等核心模块。 以 UI 自动化和埋点自动化的流程为例，AlphaTest 以业务团队为基本单元，可以和 各团队的测试用例进行关联，定时同步状态。同时利用需求评审线上化做为基础，将

Gopher  China  2015  求解之路的探索  n 是否已经存在类似的解?  n 传统:  HPC中的PBS  和  Condor  n 现代:  Hadoop  YARN，Apache  Mesos，Google  Kubernetes  Gopher  China  2015  求解之路的探索  n 他们是否解决了我们的问题 Scheduler和Fair  Scheduler(借鉴了 Mesos的DRF)。  ② Mesos中的DRF调度算法过分的追求公平，没有考虑到实际的应 用需求。在实际生产线上，往往需要类似于Hadoop中Capacity  Scheduler的调度机制，将所有资源分成若干个queue，每个 queue分配一定量的资源，每个user有一定的资源使用上限。  ③ Mesos采用了Resource

漫游 汇聚模式 从机房 主机房 Service Flume CRSync CRSync Service GSLB 就近接入 就近接入 Flume Flume Consumer Hadoop ES Spark kafka Web Web 专线/公网 容量合理规划 客户端 北京 50% 合肥 50% 广州 50% 1 1 2 冗余机器与其他系统复用，弹性伸缩

Code Infrastructure is Code vs AWS Cloud Development Kit (CDK) 虚拟机 容器 无服务器 Serverless 数据库 缓存服务 Hadoop 容器编排 微服务 Fargate AWS Lambda Hello World • 事件响应 一个函数对应一类事件 • API后端 一个函数对应一个API • 数据处理 一个函数对应一种数

Airflow 4. dkron 5. swoole-crontab 6. Saturn @Copyright Sunteng Technology Azkaban 批量工作流任务调度器(Hadoop) @Copyright Sunteng Technology Chronos Chronos 是一个运行在 Mesos 之上的具有分布式容错特性的作业调度器 @Copyright Sunteng