Doris的数据导入机制以及原子性保证
• 查询性能业界领先 • 高并发查询,100台集群可达10w QPS • 流式导入单节点100MB/s,小批量导入毫 秒延迟 • 数据、元数据高可用,线上稳定服务6年 • 机器故障副本自动迁移 01 Doris简介 MySQL Tools (MySQL Networking) FE (Leader,JAVA) FE (Follower,JAVA) FE (Follower 原始数据 查询导入结果 源 操作1 操作2 处理 失败 失败 源 操作1 操作2 重试成功 额外重试 处理两次 02 导入的问题 At-Most-Once & At-Least-Once 语义 At-Most-Once语义 At-Least-Once语义 失败 源 操作1 操作2 重试成功 重试 只处理一次 Exactly-Once语义 成功 LOG 02 导入的问题 Exactly-Once Phase 2 总结 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效,无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 (多版本机制) (两阶段导入) 事务能力保证 使用案例 04 BI Application 数据加载0 码力 | 33 页 | 21.95 MB | 1 年前3Java 应用与开发 - Java 内存模型与分配机制
大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 Java 应用与开发 Java 内存模型与分配机制 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 September 30, 2018 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 学习目标 1. 理解 JVM 内存模型,掌握 JVM 内存构成 2 Java 程序内存运行分析 Java 内存管理建议 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 Java 垃圾回收机制 JVM 的垃圾回收机制(GC)决定对象是否是垃圾对象,并进行 回收。 O 垃圾回收机制的特点 ▶ 垃圾内存并不是用完了马上就被释放,所以会产生内存释放 不及时的现象,从而降低内存的使用效率。而当程序庞大的 时候,这种现象更为明显。 ▶0 码力 | 44 页 | 818.30 KB | 1 年前3多云管下的自动化运维架构-刘宇
多云管下的自动化运维架构 刘宇 Bespin 高级研发总监 自我介绍 自我介绍 • DevOps专家 • 曾任职于新浪、百度、金山 • 《Puppet实战作者》 《Puppet实战手册》 《Python进阶》 • QCon金牌讲师,QCon优秀出品人 目录 ① 行业趋势分析 ② 多云下运维的挑战 ③ 多云平台架构如何设计? ④ 困难以及挑战 资源统一管理 监控 排查定位问题成本高 —〉 跨度大 业务成本难以核算 —〉 账单难处理 。。。 多云下运维的挑战 Gartner:云管理平台需要具备多云管理、自服务、计量计费、资源弹性及服务编排, 能够自动化部署和配置相关资源,可以与企业现有IT管理系统集成的服务化能力 云管平台架构设计 私有云 公有云 虚拟化 接⼝口适配 多云统⼀一编排 ⾃自助服务 多云管理理 资源优化 云管平台架构设计 Account Service Redis MySQL Aliyun AWS Huawei Other • 通用的参数在拦截器获取实 现,并注入到log4j的MDC • 使用时没有侵入,自动将通 用参数写入日志 • 标准化:统一日志规范和记 录日志方式 资源统一管理:日志 Log interceptor Controller Cloud Service Inject0 码力 | 32 页 | 6.05 MB | 1 年前310 为Python Function自动生成Web UI 彭未康
为 Python Function 自动生成 Web UI 彭未康 Touch-Callable The web framework for less serious application. Touch-Callable vs (Flask, Django) • Django, Flask • 起步快且容易(getting started quick and easy) • 扩展为复杂应用(scale0 码力 | 11 页 | 791.38 KB | 1 年前3MoonBit月兔编程语言 现代编程思想 第十二课 案例:自动微分
0 码力 | 30 页 | 3.24 MB | 1 年前34_杨柳_基于Python构建高稳定可扩展的自动化测试集群
0 码力 | 62 页 | 25.29 MB | 1 年前3如何利用深度学习提高高精地图生产的自动化率-邹亮
0 码力 | 34 页 | 56.04 MB | 1 年前323-云原生观察性、自动化交付和 IaC 等之道-高磊
声明API:需要生成代 码框架(任何语言), 契约驱动研发 • BaaS API:数据库接口、 中间件接口外化成API • API门户:消费者可以 根据领域-能力查询到 想要的API。 • 自动生成SDK方便集成。 • 发行计划:向下兼容, 对比发布 • API文档:每一个API有 一个活档,指导集成。 形成市场,能力 互补 全生命周期API管理-2-Azure API Management 行情况,为高精度运维提供可视化支撑 人工发展阶段:符合人分析问题的习惯 宏观->微观 精细化发展阶段:依靠数据赋能,加强可视化能力,进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 观察性 Prometheus Skywalking EFK Hadoop Spark Cortex ....... 传统交付方式的不足之处 手册文档 由于上层所依赖的底层环境在不同交 付环境中是不同的,而传统交付方式 缺乏脚本能“理解”的方式来表达这些 差异,此外由于事后更新OS、三方库 或者系统,这些变更又缺乏校验关系, 升级时很难给予企业信心,这种交付 方式很难被自动化。 标准化能力-微服务PAAS-OAM-万花筒PAAS-1-引子 客户环境交付 制品 • 云应用交付最难的还不是RT的 碎片化,最难的是环境依赖的 碎片化,比如,硬件环境、网 络环境、运维规范等的碎片化。0 码力 | 24 页 | 5.96 MB | 6 月前3Apifox - API调试、API Mock、API自动化测试一体化协作平台
Apifox(广州睿狐信息科技有限公司)成立于 2021 年,是一家专注于企业 API 研发管理工具及解决方案 的创新企业。围绕 API 全生命周期协同与管理需求, 提供 API 文档、API 调试、API Mock、API 自动化 测试等核心产品能力,致力于为全球研发团队提高 API 开发与协作效率,节省研发团队的每一分钟,助 力企业研发效能升级。 关于 Apifox 获得知名创投机构信任与支持 超百万开发者的选择 定义业务接口规格,多方评审 • 统一接口标准 • 可复用性、扩展性强 • 适合长期/大型项目 • 先编码,后写文档 • 快速交付 • 适合一次性或小型定制型项目 IDE 插件:注释自动生成文档 调试模式:边写代码边调试 一套定义,处处复用 Apifox:广受好评的 API 研发新体验 组件化引⽤,⼀处修改多处同步 ⾼度可视化,对新⼿友好 测试报告 多⼈实时协作 多分⽀并⾏编辑 文档内直接运行调试,无需输入 URL 或参数信息。 自动生成请求体 为每次请求自动生成请求体,无需手动填写。 一个接口,对应多种情况用例 接口运行后保存用例,无需手动编写,调试更高效。 API 调试:调用即校验,原生遵循测试左移 自动校验数据类型 根据 API 文档自动校验接口返回的数据类型,自动对比 API 定义与实现一致性。 API 调试:一键生成代码,开发快人一步 自动生成业务代码&接口代码 支持0 码力 | 27 页 | 14.01 MB | 1 年前314-Chaos Mesh 在网易伏羲私有云自动化故障注入实践-张慧
Chaos Mesh 在网易伏羲私有云自动化故障注入实践 Speaker Name:张慧 网易伏羲 Speaker Title:网易伏羲私有云质量保障负责人、Chaos Mesh 布道师、云原生社区 Stability SIG 发起人 Email:zhangui05@corp.netease.com 云 原 生 学 院 目录 网易伏羲私有云简介 为什么混沌测试 什么是混沌测试0 码力 | 25 页 | 3.33 MB | 6 月前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100