Gopher  China  2015  求解之路的探索  n 是否已经存在类似的解?  n 传统:  HPC中的PBS  和  Condor  n 现代:  Hadoop  YARN，Apache  Mesos，Google  Kubernetes  Gopher  China  2015  求解之路的探索  n 他们是否解决了我们的问题 Scheduler和Fair  Scheduler(借鉴了 Mesos的DRF)。  ② Mesos中的DRF调度算法过分的追求公平，没有考虑到实际的应 用需求。在实际生产线上，往往需要类似于Hadoop中Capacity  Scheduler的调度机制，将所有资源分成若干个queue，每个 queue分配一定量的资源，每个user有一定的资源使用上限。  ③ Mesos采用了Resource

漫游 汇聚模式 从机房 主机房 Service Flume CRSync CRSync Service GSLB 就近接入 就近接入 Flume Flume Consumer Hadoop ES Spark kafka Web Web 专线/公网 容量合理规划 客户端 北京 50% 合肥 50% 广州 50% 1 1 2 冗余机器与其他系统复用，弹性伸缩

Code Infrastructure is Code vs AWS Cloud Development Kit (CDK) 虚拟机 容器 无服务器 Serverless 数据库 缓存服务 Hadoop 容器编排 微服务 Fargate AWS Lambda Hello World • 事件响应 一个函数对应一类事件 • API后端 一个函数对应一个API • 数据处理 一个函数对应一种数

all on one platform ○ No need for ETL ○ Real-time query with Spark ○ Possiblility for get rid of Hadoop ● Embrace Spark echo-system ○ Support of complex transformation and analytics with Scala / Python

Airflow 4. dkron 5. swoole-crontab 6. Saturn @Copyright Sunteng Technology Azkaban 批量工作流任务调度器(Hadoop) @Copyright Sunteng Technology Chronos Chronos 是一个运行在 Mesos 之上的具有分布式容错特性的作业调度器 @Copyright Sunteng

Data (有限数据规模) • 数据科学不是基础设施，而是数学应用软件 • 全能力：统计/预测/洞察/规划/决策/… 数据科学的基建时期：大数据的兴起 • Map/Reduce (2004) • Hadoop (2006) • Spark (2009) • 大数据的兴起，是数据科学基础设施化的开始 • 以大规模处理能力为优先 • 功能上相对局限 数据科学的基建时期：深度学习的兴起 • TensorFlow/Python

• 不不⽀支持外Join、窗⼝口等 其他OLAP选择: Clickhouse • 性能优越： • 10亿+条规模⽐比商业软件快5倍 • ⽐比MySQL快⼏几百倍 • 稳定可靠，⾮非Hadoop体系， • 类SQL功能 • 缺点： • 聚合结果要在⼀一台机器器内存内 • 缺少完整更更新删除操作 • ⽀支持操作系统有限 ⼤大数据⽅方案开源全景图（部分）与Python作⽤用

mycorp:mycorp- versions:1.0.0.RELEASE@properties") compile("org.springframework.data:spring-data-hadoop") } Version information needs to be published to a repository as a .properties file. For the above mycorp-versions.properties file might contain the following: org.springframework.data\:spring-data-hadoop=2.0.0.RELEASE The properties file takes precedence over Spring Boot’s defaults, and can be used

mycorp:mycorp-versions:1.0.0.RELEASE@properties") compile("org.springframework.data:spring-data-hadoop") } Version information needs to be published to a repository as a .properties file. For the above mycorp-versions.properties file might contain the following: org.springframework.data\:spring-data-hadoop=2.0.0.RELEASE The properties file takes precedence over Spring Boot’s defaults, and can be used

mycorp:mycorp- versions:1.0.0.RELEASE@properties") compile("org.springframework.data:spring-data-hadoop") } Version information needs to be published to a repository as a .properties file. For the above mycorp-versions.properties file might contain the following: org.springframework.data\:spring-data-hadoop=2.0.0.RELEASE The properties file takes precedence over Spring Boot’s defaults, and can be used