PolarDB开源生态介绍 - 杭州Meetup 2022.10.15
PolarDB开源生态介绍 阿里云 digoal为什么开源是未来?阿里巴巴开源缩略图数据库开源大图PolarDB开源云原生分布式数据库家族 : 兼容MySQL&PostgreSQL用户 生态伙伴 人才 降本提效 团队成长 商业服务 用户合作 • 联合实验室 PolarDB云原生分布式开源数据库产品 高校合作 • 课程合作 • 科研项目合作 • 工作组 高校 协同育人、教学优化成果 OxM发型版 • 数据库管理产品 • 数据迁移、联邦产品 生态伙伴合作 高校合作 学习、分享、比赛、贡献 服务客户 开源共建 社区运营 生态建设 获得生态 商业服务 使用开源 PolarDB 开源学习 开源共建 人才招聘 产品适配 OxM 源码兜底 技术领先 PolarDB开源生态 共建模式 国产化替代 应用软件 适配迁移 生态伙伴集成 • 云市场、云速搭 • 创新中心SaaS市场 企业特性(闪回、TDE、冷热分离...) 50+全链路伙伴: 韵达、莲子数据、网易数帆、 龙蜥、武汉大学 ... 等 需求 手段 需求 手段 需求 手段 需求 手段 需求 手段欢迎加入PolarDB开源生态0 码力 | 7 页 | 1.45 MB | 5 月前324-云原生中间件之道-高磊
商业价值 腾讯安全战略研究部联合腾讯安全联合实验室近日共同发布《产业互联网安全十大趋势(2021)》(下简称《趋势》),基于2020年的产业实践和行业风向, 从政策法规、安全技术、安全理念、安全生态、安全思维等维度为产业互联网的安全建设提供前瞻性的参考和指引,助力夯实产业互联网的安全底座。 《趋势》认为,2021年将进一步完善个人信息保护体系,企业对个人信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 其他租户的存储卷服务。 高级能力-云原生存储-应用的基石-2-技术架构 Rook是一个集成了Ceph、Minio等分布式存 储系统的云原生存储方案,意图实现一键 式部署、管理方案,且和容器服务生态深 度融合,提供适配云原生应用的各种能力。 从实现上,可以认为 Rook 是一个提供了 Ceph 集群管理能力的 Operator。其使用 CRD 方式来对 Ceph、Minio 等存储资源进 行部署和管理。 你通过一套系统实现对多种存储服务的需 求。同时 rook 默认部署云原生存储接口 的实现,通过 CSI / Flexvolume 驱动将应 用服务与底层存储进行衔接,其设计之初 即为 Kubernetes 生态所服务,对容器化应 用的适配非常友好。 高级能力-云原生中间件-应用的基石-MQ为例 云原生消息服务是云原生的通信基础设施 消息中间件在云原生的应用场景,主要是为微服务和EDA架构提供核心的解耦、异步和削峰的能力,在云原生体系0 码力 | 22 页 | 4.39 MB | 5 月前3网易云Service Mesh的产品架构与实现
Kubernetes作为微服务框架www.163yun.com Kubernetes优缺点www.163yun.com Service Mesh作为微服务框架www.163yun.com Service Mesh生态www.163yun.com 数据面Envoy • 轻量级的proxy • 静态配置,热加载,热重启 • 动态配置,拉取模式www.163yun.com 控制面Pilotwww.163yun 服务C jar envoy 降级 限流 路由 日志收集 日志分析 调用次数 调用时间 服务治理 日志分析 统计监控 Data Stream Kafka Storm集群 Hbase Hadoop Redis DDB NQS 监控平台 用户空间VPC 管理控制服务 云主机 云网络 云硬盘 UAS Agent 对象存储 UAS Server OpenStack 管控节点(主)0 码力 | 35 页 | 6.33 MB | 5 月前323-云原生观察性、自动化交付和 IaC 等之道-高磊
精细化发展阶段:依靠数据赋能,加强可视化能力,进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 观察性 Prometheus Skywalking EFK Hadoop Spark Cortex ....... 传统交付方式的不足之处 手册文档 配置参数 应用 应用 配置参数 应用 应用 软件环境 硬件环境 遗留系统 安装配置点 承载能力和OAM抽象化编排能力,可以不等排 期的构建各种特征的Paas。业务应用由于不依 赖于运维特性,也实现了标准化,也可以加入 组件市场,此时开放PaaS+开放应用市场可以 构建对应各种环境的应用了。 • 云原生蓬勃而多样的生态成了这种Paas的基础。 • 编排不在以服务为单位,而是以应用为单位, 再也不会出现由于理解不一致导致的交付失败 的情况,而不论底层容器云实现如何,应用的 交付的方式都是一致的。 DevOps是一0 码力 | 24 页 | 5.96 MB | 5 月前3TiDB中文技术文档
TiDB 可以让用户无需进行脆弱和难以维护的 ETL,直接在同一个平台进 行事务和分析两种工作,简化了系统架构和运维。 除此之外,用户借助 TiSpark 项目可以在 TiDB 上使用 Spark 生态圈提供的多种工具进行数据处理。例 如使用 TiSpark 进行数据分析和 ETL;使用 TiKV 作为机器学习的数据源;借助调度系统产生定时报表等 TiSpark 用户指南 概述 TiSpark 用户指南 Spark。 对于 Standalone 模式且无需 Hadoop 支持,请选择 Spark 2.1.x 且带有 Hadoop 依赖的 Pre-build with Apache Hadoop 2.x 任意版本。如您有需要配合使用的 Hadoop 集群,请选择对应的 Hadoop 版本号。 您也可以选择从源代码自行构建以配合官方 Hadoop 2.6 之前的版本。请注意目前 TiSpark 仅支持 +-------------+ 2. | Count (1) | 3. +-------------+ 4. | 600000000 | 5. +-------------+ Q. 是独立部署还是和现有 Spark/Hadoop 集群共用资源? A. 您可以利用现有 Spark 集群无需单独部署,但是如果现有集群繁忙,TiSpark 将无法达到理想速度。 Q. 是否可以和 TiKV 混合部署? A. 如果 TiDB 以及0 码力 | 444 页 | 4.89 MB | 5 月前3分布式NewSQL数据库TiDB
做出决策,故需要将分散在各个系统的 数据汇聚在同⼀个系统并进⾏⼆次加⼯处理⽣成 T+0 或 T+1 的报表。传统常⻅的解决⽅案是采⽤ ETL + Hadoop 来完成,但 Hadoop 体系太复杂,运维、存储成本太⾼⽆法满⾜⽤⼾ 的需求。与 Hadoop 相⽐,TiDB 就简单得多,业务通过 ETL ⼯具或者 TiDB 的同步⼯具将数据同步到 TiDB,在 TiDB 中可通过 SQL 直接⽣成报表0 码力 | 120 页 | 7.42 MB | 5 月前3TiDB 与 TiFlash扩展——向真 HTAP 平台前进 韦万
OLTP specialized database or NoSQL ○ For historical data, use Hadoop / analytical database ● Offload data via the ETL process into your Hadoop cluster or analytical database ○ Per hour or even per day0 码力 | 45 页 | 2.75 MB | 5 月前3PingCAP TiDB&TiKV Introduction OLTP
Spanner 2013 F1 BigTable Map Reduce GFS Google 十年前基于内部分布式 处理框架发表的 三篇论文奠定了大数据分析 处理基石;开源社区 以此为基础打造了Hadoop F1 Data Flow Spanner Colossus Google 内部新一代分布式处理框架,于12/13年发表 相关论文,奠定下一代分布式 NewSQL的理论和工程 实践基石。PingCAP以此为基础打造了TiDB 我们的数据库能解决什么问题 - 1 ● 无限线性水平扩展(Scale Out) 无论多大的数据量,都可以轻松通过增加节点来解决,写入和读取时延固定(毫 秒级别),无需分库分表或者搭建复杂的 Hadoop 集群,完整的 MySQL 兼容接 口轻松处理高并发实时写入、实时查询和分析,极大的简化程序设计、应用维护 ,轻松应对大数据存储问题。 ● 高并发、高吞吐、完整的跨行事务支持、强一致性 通过简单0 码力 | 21 页 | 613.54 KB | 5 月前3七牛容器云ServiceMesh实践
Kubernetes深度整合 • Gimbal生态组件Contour特点 • 基于Envoy • 协议转换 • 对象翻译 • IngressRouterContour的优劣 • 优势 • 兼容Istio生态,融入Service Mesh生态 • 南北向流量使用Envoy • 兼容Kubernetes标准Restful接口 • 统一的Kubernetes管理接口 • Gimbal生态 • 多集群入口流量整合管理 Istio南北流量分流策略产品化 • 基于Istio的QoS产品化 • 基于Istio的Tracing产品化 • 跨集群流量调度七牛容器云产品逻辑架构 Kubernetes + Docker + 生态链七牛容器云产品未来发展 • 更多功能 • 故障熔断 • 故障注入 • 业务配置动态分发 • 优化升级 • 性能优化: • DPDK + eBPF • 系统优化 • 根据需求裁剪Istio。解耦Envoy和其他组件0 码力 | 15 页 | 3.86 MB | 5 月前3人工智能安全治理框架 1.0
进人工智能创新发展为第一要务,以有效防范化解人工智能安全风险为出发点 和落脚点,构建各方共同参与、技管结合、分工协作的治理机制,压实相关主 体安全责任,打造全过程全要素治理链条,培育安全、可靠、公平、透明的人 工智能技术研发和应用生态,推动人工智能健康发展和规范应用,切实维护国 家主权、安全和发展利益,保障公民、法人和其他组织的合法权益,确保人工 智能技术造福于人类。 1.1 包容审慎、确保安全。鼓励发展创新,对人工智能研发及应用采取 制和方式,对确需政府监管事项及时予以响应。 1.3 技管结合、协同应对。面向人工智能研发应用全过程,综合运用技术、 管理相结合的安全治理措施,防范应对不同类型安全风险。围绕人工智能研发 应用生态链,明确模型算法研发者、服务提供者、使用者等相关主体的安全责 任,有机发挥政府监管、行业自律、社会监督等治理机制作用。 1.4 开放合作、共治共享。在全球范围推动人工智能安全治理国际合作, 共 发展提供优质营养供给。制定人工智能伦理审查准则、规范和指南,完善伦理 审查制度。 5.5 强化人工智能供应链安全保障。推动共享人工智能知识成果,开 源人工智能技术,共同研发人工智能芯片、框架、软件,引导产业界建立开放 生态,增强供应链来源多样性,保障人工智能供应链安全性稳定性。 5.6 推进人工智能可解释性研究。从机器学习理论、训练方法、人机 交互等方面组织研究人工智能决策透明度、可信度、纠错机制等问题,不断提0 码力 | 20 页 | 3.79 MB | 28 天前3
共 30 条
- 1
- 2
- 3