Go持续集成
• 崔英杰 Go的持续集成 实践分享 简单 激情 速度快 聚焦 极致 可信赖 什么是持续集成 持续集成 是一种软件开发实践。在持续集 成中,团队成员频繁集成他们的工作成果, 一般每人每天至少集成一次,也可以多次。 每次集成会经过自动构建(包括自动测试) 的 检验,以尽快发现集成错误。 — Martin Fowler 简单 激情 速度快 聚焦 极致 可信赖 持续集成的好处 1. 快速发现修复错误 持续发布 4. 减少代码审核时间 5. 减少对个体依赖 简单 激情 速度快 聚焦 极致 可信赖 石器时代 简单 激情 速度快 聚焦 极致 可信赖 分享惨案经历 1. 无单元测试,手工集成测试 2. 测试用例300多个,需要一个星期 3. 面对业务压力,规则形同虚设 4. 深夜事故 简单 激情 速度快 聚焦 极致 可信赖 原有开发体系的问题 1. 迭代周期漫长 2. 质量缺乏保障 2. 开发过程透明度无改善 3. 代码审核形同虚设 4. 部署过程依然没有完全自动化 简单 激情 速度快 聚焦 极致 可信赖 简单 激情 速度快 聚焦 极致 可信赖 持续…… 1.持续集成 Continuous Integration(CI) 2.持续发布 Continuous Delivery 3.持续部署 Continuous Deployment 简单 激情 速度快 聚焦0 码力 | 39 页 | 10.74 MB | 1 年前3BRPC与UCX集成指南
Channel远程调用的发起21 UCX ●NVIDIA Mellanox 开源项目 ●支持RDMA,TCP,Shared memory等 ●能透明支持多个链路传输,例如多网卡bond ●编译成.so或lib的方式,可以集成到应用程序里 ●有完善的配置功能,ucx_info可以dump配置信息 ●有性能测试工具 ●比较详细的文档2223 UCS ●是一些工具代码,例如 –链表 –hash table –epoll 8 47 170 16 67 291 32 119 378 64 237 45263 4K大小时延比较(us)64 CurveBS FIO65 现状 ●开源分支:https://github.com/opencurve/incubator-brpc.git –curve主干分支 –ucx_am当前rdma分支 ●对brcp的改动不大,加入的模块基本上独立 ●降低了开发难度0 码力 | 66 页 | 16.29 MB | 5 月前3大数据集成与Hadoop - IBM
IBM软件 2014 年 9 月 大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践 2 大数据集成与 Hadoop 简介 Apache Hadoop技术通过支持新的流程和架构,不断改进 大数据措施的经济性和活力,这样不仅有助于削减成本、增加 收益,而且还能树立竞争优势。Hadoop是一个开源软件项目, 支持在多个商业服务器群集间分散处理和存储大型数据集, (用于存储大型文件)和Hadoop分布式并行处理框架(称为 MapReduce)。 但是,Hadoop基础架构本身并没有提供完整的大数据集成解 决方案,摆在人们面前的既有挑战,也有机遇,只有处理好这些 问题,才能安享各项优势,最大限度提高投资回报率 (ROI)。 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和 分析大数据方面实现了范式转变。无论是要更深入的分析,还是 收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种 不同来源的大量不同类型的数据来实现大数据与Hadoop项 目。实现所有这些目标需要运用富有弹性的端到端信息集成 解决方案,该解决方案不仅可实现大规模扩展,还能提供支持 Hadoop项目所需的基础架构、功能、流程和行为准则。 “在很大程度上,80%的大数据项目开发 精力用于数据集成,只有20%的精力投入 到数据分析中。”0 码力 | 16 页 | 1.23 MB | 1 年前3通过Oracle 并行处理集成 Hadoop 数据
2011 年 1 月 通过 Oracle 并行处理集成 Hadoop 数据 1 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 引言 许多垂 作为示例,但这里的策略同样适用于其他分 布式存储机制。本文中介绍了各种访问方法,还通过一个具体示例说明了其中一 种访问方法的实现。 2 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 外部 Hadoop 数据的访问方法 要从 Oracle 数据库里访问某个文件系统中的外部文件或外部数据,最简单的方法莫过于使用 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 图 2. 利用表函数进行并行处理 由于表函数可以并行运行,Hadoop 流作业也可以不同程度地并行运行,并且后者不受 Oracle 查询协调器的控制,这种情况下,队列能提供负载平衡。 4 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据0 码力 | 21 页 | 1.03 MB | 1 年前3C++20 STL Features: 1 Year of Development on GitHub
C++20 STL Features: 1 Year of Development on GitHub Stephan T. Lavavej "Steh-fin Lah-wah-wade" Principal Software Engineer, Visual C++ Libraries stl@microsoft.com @StephanTLavavej 1 Version 1.0 - September Standard, except as noted • Part 2: GitHub Development • For contributors and observers 2Overview Part 0 3CppCon 2019 -> CppCon 2020 • Announced at CppCon 2019 • github.com/microsoft/STL • Apache License contributors • Extensively reviewed and tested • Released VS 2019 16.5, 16.6, 16.7, 16.8 Preview 3 • GitHub migration ongoing • Build system (native desktop), test suite, issue database • Goal: Complete0 码力 | 45 页 | 989.72 KB | 5 月前3C++20 STL Features: 1 Year of Development on GitHub
Version 1.0 - September 15, 2020 1 C++20 STL Features: 1 Year of Development on GitHub Stephan T. Lavavej "Steh-fin Lah-wah-wade" Principal Software Engineer, Visual C++ Libraries stl@microsoft.com @StephanTLavavej2 Standard, except as noted • Part 2: GitHub Development • For contributors and observers3 Overview Part 04 CppCon 2019 CppCon 2020 • Announced at CppCon 2019 • github.com/microsoft/STL • Apache License contributors • Extensively reviewed and tested • Released VS 2019 16.5, 16.6, 16.7, 16.8 Preview 3 • GitHub migration ongoing • Build system (native desktop), test suite, issue database • Goal: Complete0 码力 | 45 页 | 702.09 KB | 5 月前31.4 使用 Docker 构建企业持续集成服务
马全一 Meaglith Ma微博:@马全一 Twi7er:@genedna Github:h7ps://github.com/genedna Dxxkor – “He Who Must Not Be Named” DevOps Next Movement -‐ ContainerOps Project Not Born Wharf – Not Just Dxxkor Hub Enterprise Open Source Replace h7ps://github.com/dockercn/wharf Support dxxker registry API v1 and v2 at the 0 码力 | 17 页 | 1.86 MB | 1 年前3机器学习课程-温州大学-08机器学习-集成学习
1 2022年12月 机器学习-集成学习 黄海广 副教授 2 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 3 1.集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 4 Bagging 结果进行综合产生最终的预测结果: 集成学习 模型n …… 模型1 模型2 预测n …… 预测1 预测2 训练 数据 最终 预测 结果 测试 数据 5 Boosting 训练过程为阶梯状,基模型 按次序一一进行训练(实现 上可以做到并行),基模型 的训练集按照某种策略每次 都进行一定的转化。对所有 基模型预测的结果进行线性 综合产生最终的预测结果。 集成学习 模型n 最终 最终 预测 结果 模型2 预测n …… 预测1 预测2 转化 模型1 模型3 转化 转化 训练 数据 测试 数据 6 集成学习 模型n …… 模型1 模型2 预测n …… 预测1 预测2 训练 数据 第二 层数 据 Stacking 最终 预测 结果 Stacking 将训练好的所有基模型对训练基进行预测,第j个基模型对第i个训练样本的预测值将作为新的训0 码力 | 50 页 | 2.03 MB | 1 年前3PyConChina2022-上海-用GitHub完成Python的全技术栈开发-卢建晖
用 GitHub 完成 Python 的全技术栈开发 主讲人:卢建晖 – Microsoft Regional Cloud Advocate GitHub 程序员必备 编码是每位开发者所必备的 从入门第一步开始 为开发者配置环境是企业的重要一步 ? $ 配置 冲突 金钱 挫败 GitHub Codespaces 你的云端开发环境 一键即用,无需配置您的开发环境。 开启你的 GitHub Codespace 福利 和 Visual Studio Code 打通 也可以结合第三方的开发工具 GitHub 现在支持通过 JetBrains Gateway 将 GitHub Codespaces 与 JetBrains IDE 一起使 用。 下载 JetBrains Gateway 并安装 GitHub Codespaces 插件后,用户将能够使用他们选择 的 JetBrains IDE 连接到他们的代码空间。 连接到他们的代码空间。 JetBrains Codespaces IntelliJ IDEA PyCharm WebStorm GoLand RubyMine PHPStorm 机器学习来了 将 GitHub Codespaces 与 JupyterLab 结合使用,将 JupyterLab 令人愉快的 笔记本编辑、数据探索和叙事构建体验 与 Codespace 的强大、标准化和简单 性结合在一起。0 码力 | 24 页 | 4.86 MB | 1 年前3MATLAB与Spark/Hadoop相集成:实现大数据的处理和价值挖
© 2015 The MathWorks, Inc. MATLAB与Spark/Hadoop相集成:实现大 数据的处理和价值挖 马文辉 2 内容 ▪ 大数据及其带来的挑战 ▪ MATLAB大数据处理 ➢ tall数组 ➢ 并行与分布式计算 ▪ MATLAB与Spark/Hadoop集成 ➢ MATLAB访问HDFS(Hadoop分布式文件系统) ➢ 在Spark/Hadoop集群上运行MATLAB代码 Computing Toolbox) ▪ MATLAB集群之上的分布式计算 (MDCS, MATLAB Distributed Computing Server) 9 MATLAB与Spark/Hadoop集成 MDCS 10 Hadoop Hadoop是跨计算机集群的分布式大数据处理平台,由两部分组成: • YARN (Yet Another Resource Negotiator) – 资源调度模型,实现数据跨节点的最小移动0 码力 | 17 页 | 1.64 MB | 1 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100