Spark 简介以及与 Hadoop 的对比 1 Spark 简介 1.1 Spark 概述 Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用的并行计算框 架，Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的 优点；但不同于 MapReduce 的是 Job 中间输出和结果可以保存在内存中，从而不再需要读 写 HDFS，因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 map reduce 的算 法。 1.2 Spark 核心概念 1.2.1 弹性分布数据集（RDD） RDD 是 Spark 的最基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式 来操作分布式数据集的抽象实现。RDD 是 Spark 最核心的东西，它表示已被分区，不可变的 的操作不是马上执行，Spark 在遇 到 Transformations 操作时只会记录需要这样的操作，并不会去执行，需要等到有 Actions 操作的时候才会真正启动计算过程进行计算。 2. 操作(Actions) (如：count, collect, save 等)，Actions 操作会返回结果或把 RDD 数据写 到存储系统中。Actions 是触发 Spark 启动计算的动因。

MathWorks, Inc. MATLAB与Spark/Hadoop相集成：实现大 数据的处理和价值挖 马文辉 2 内容 ▪ 大数据及其带来的挑战 ▪ MATLAB大数据处理 ➢ tall数组 ➢ 并行与分布式计算 ▪ MATLAB与Spark/Hadoop集成 ➢ MATLAB访问HDFS(Hadoop分布式文件系统） ➢ 在Spark/Hadoop集群上运行MATLAB代码 ▪ MapReduce (MDCS/PCT) ▪ MATLAB API for Spark API ▪ Tall Arrays ▪ 计算 ▪ Desktop (Multicore, GPU) ▪ Clusters ▪ Cloud Computing (MDCS on EC2) ▪ Hadoop ▪ Spark ▪ 内存与数据访问 ▪ 64-bit processors ▪ Memory Parallel Computing Toolbox) ▪ MATLAB集群之上的分布式计算 (MDCS, MATLAB Distributed Computing Server) 9 MATLAB与Spark/Hadoop集成 MDCS 10 Hadoop Hadoop是跨计算机集群的分布式大数据处理平台，由两部分组成： • YARN (Yet Another Resource Negotiator)

解读Apache 解读Apache 演讲者 Craig Russell Justin Mclean 姜宁 本演讲包含了 Bertrand Delacretaz, Roman Shaposhnik 以及其 它ASF贡献者的⼯作 Craig Russell介绍 Craig Russell介绍 软件架构师 Object Data Management Group Java Data Objects (MySQL) Apache Committer - from 2005 Apache Member - from 2007 Apache Secretary - from 2010-2019 Apache 孵化器管理委员成员 Apache 董事会主席 Apache 软件基⾦会: Apache 软件基⾦会: 世界上最⼤的开源基⾦会 Apache基⾦会的使命 Apache基⾦会的使命 Apache软基⾦⾦会 Apache软基⾦⾦会 (ASF) 是⼀个根据美国法案 501(c)(3)注册公益性组织。 ASF的使命 是通过向加⼊ASF的志同道合的软件项⽬社区提供服务，为公众提供开源软件。 ASF提供了⼀个独⽴于任何公司影响⼒的中⽴空间，保证其中的 项⽬可以在商业友好Apache许可证2.0下繁荣发展， 为公众利益 创建开源软件。 公开成⽴于1999年的公益组织 公开成⽴于1999年的公益组织 使命:

使⽤Apache SkyWalking APM 监控 Apache ServiceComb 吴晟 Sheng Wu Huawei DevCloud http://skywalking.io Twitter @AsfSkyWalking 个⼈介绍 GitHub： https://github.com/wu-sheng Personal Homepage： https://wu-sheng https://wu-sheng.github.io/me/ Apache SkyWalking creator, PPMC member and Committer 2018 Microsoft MVP OpenTracing OTSC & OTAIB member W3C Trace Context specification member 2017 GSoC(Google Summer of GitHub: https://github.com/apache/incubator-skywalking 安装：https://github.com/apache/incubator- skywalking/blob/master/docs/cn/Quick-start-CN.md ⽀持的插件列表： https://github.com/apache/ incubator-skywalking/

链滴 Apache RocketMQ 介绍 作者：boccaro 原文链接：https://ld246.com/article/1588041859812 来源网站：链滴 许可协议：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) Apache RocketMQ 介绍 概要 Apache RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容 ，万亿级容 和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送，非常适合运用在金融和电 商务领域。目前他是Apache社区的顶级项目，在全球有超过100家公司在其业务中使用RocketMQ 开源版本。 诞生 RocketMQ起源于阿里巴巴。阿里巴巴最初由于业务需求，需要使用消息中间件。早期使用过Notify ActiveMQ等。但在需求不断膨胀的情况下，ActiveMQ IO模块遇到了瓶颈，几经努力但改善成果不 2万亿个并发在线消息传输， 后阿里巴巴将RocketMQ捐献给Apache Incubator。 2017年9月25日 – Apache软件基金会，连同350多个开源项目的全体志愿者、开发人员、管理人员 和孵化项目组织，宣布Apache®RocketMQ™从Apache孵化器毕业成为顶级项目，这表明该项目的 区和产品已根据ASF的精英流程和原则得到了很好的管理。 现今，Apache RocketMQ在社区各方面的努力下，茁壮发展，很多功能都得到了加强。

How Apache works JB Onofré apache.org> Who am I JB Onofré apache.org> @jbonofre | http://blog.nanthrax.net ● Fellow/Software Architect at Talend ● Member of the Apache Software in 2004) ● PMC member on ~ 20 Apache projects from system integration (Karaf, Camel, ActiveMQ, Archiva, Aries, …) to big data (Beam, CarbonData, …) ● Mentor on Apache ServiceComb incubator project source promises Modify ! Open source promises Share ! Open source licenses Give me credit ! (Apache, BSD, MIT) Open source licenses Give me fixes (LGPL, EPL, MPL) Open source licenses Give me everything

走进开源 - Apache ServiceComb [社区网站] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 议程 • 什么是开源 • 开源开发是什么状态 • 如何参与开源 [社区网站] http://servicecomb.apache.org [Github ] ] https://github.com/apache?q=servicecomb 软件发展史 开源软件 自由软件 商业软件 [社区网站] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 一种思想运动 用户可以自由地运行，拷贝，分 发，学习，修改并改进该软件 一旦在该软件基础上修改，则必 [社区网站] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 自由软件和商业软件 之间的折中 遵循版权前提下，可以自由访问、使 用、改变和共享，也可用做商用目的 开源发展第二阶段 [社区网站] http://servicecomb.apache.org [Github ] https://github

Apache RocketMQ – Trillion Messaging in Practice 周新宇(花名：尘央) © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u p PROFILE MCS, has rich experience in distributed system design and performance Software craftsman, engineer at alibaba. Open source fanatic, Apache RocketMQ PPMC member & committer. Xinyu Zhou, Email: yukon@apache.org © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o message accumulation Aliware MQ v1.0 Notify v3.0 MetaQ v2.0 v3.0 RocketMQ v3.0 OS Apache RocketMQ © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u p MetaQ RocketMQ Notify

Apache ShardingSphere document v5.1.1 Apache ShardingSphere 2022 年 04月 14日 Contents 1 概览 1 1.1 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 . . . . . . . . . . . . . 305 7.8.4 [Proxy] Windows 环境下，运行 ShardingSphere‐Proxy，找不到或无法加载主类 org.apache.shardingsphere.proxy.Bootstrap，如何解决？ . . . . . . . . . . . . 305 7.8.5 [Proxy] 在使用 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396 8.1.1 Apache ShardingSphere ‐ 版本: 5.1.0 ( 发布日期: Feb 16th, 2022 ) . . . . . . . . 396 8.2 全部版本 . . . . . . .

Apache ShardingSphere document v5.2.0 Apache ShardingSphere 2022 年 09 月 08日 Contents 1 概览 1 1.1 什么是 ShardingSphere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1.1 介绍 . . . . . . . . . . . . . . 422 8.2.1 Proxy Windows 环境下，运行 ShardingSphere‐Proxy，找不到或无法加载主类 org.apache.shardingsphere.proxy.Bootstrap，如何解决？ . . . . . . . . . . . . 422 8.2.2 Proxy 在使用 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 9.1.1 Apache ShardingSphere ‐ 版本: 5.2.0 ( 发布日期: Sept 5th, 2022 ) . . . . . . . . . 433 9.2 全部版本 . . . . . .