Hadoop开发指南
Hadoop开发指南 开发指南 注解:本例中所运⾏脚本需在CentOS操作系统上,其他操作系统请修改脚本后再尝试执⾏。 1. 在 在UHost上安装 上安装Hadoop客户端 客户端 出于安全性考虑,⼀般建议⽤⼾在⾮UHadoop集群机器上安装客⼾端进⾏任务提交与相关操作 1.1 控制台安装 控制台安装 可通过控制台⼀键安装,参考:客⼾端安装。 1.2 ⾃⾏安装 ⾃⾏安装 针对部分存 利⽤安装脚本部署 在任⼀master节点下的都有 /root/install\_uhadoop\_client.sh,⽤⼾可以利⽤此脚本进⾏客⼾端的安装部署 也可以通过外⽹下载最新版本安装脚本 Hadoop开发指南 Copyright © 2012-2021 UCloud 优刻得 1/12 wget http://new-uhadoop.cn-bj.ufileos.com/install_uhadoop_client_new 安装hadoop客⼾端,从集群master1节点上拷⻉安装包到UHost: 注解: hadoop-为hadoop具体对应的版本,可查看master的/home/hadoop/bin的软连接指向的版本,下同 Hadoop开发指南 Copyright © 2012-2021 UCloud 优刻得 2/12 #hadoop scp -r root@master_ip:/home/hadoop/.versions/hadoop-0 码力 | 12 页 | 135.94 KB | 1 年前3RocketMQ v3.2.4 开发指南
RocketMQ 开发挃南 针对 v3.2.4 ©Alibaba 消息中间件项目组 2015/1/7 文档变更历史 序号 主要更改内容 更改人 更改时间 1 建立初始版本 誓嘉 vintage.wang@gmail.com 2013/5/18 2 3.0 版本补充文档 誓嘉 vintage.wang@gmail.com0 码力 | 52 页 | 1.61 MB | 1 年前3Kubernetes + OAM 让开发者更简单
李响, 阿里云 Kubernetes + OAM 让开发者更简单 来自应用开发者的“灵魂拷问” “ Kubernetes 让 Devops 更复杂了!” Kubernetes 对于应用开发复杂在哪里 1. 关注点不同 业务研发 2. 语义与抽象程度不同 业务运维 3. 交互与使用习惯不同 业务研发、运维 YAML 文件 图形化界面 命令行工具 IaC 配置语言 扩容策略 •0 码力 | 22 页 | 10.58 MB | 1 年前3破解 Kubernetes 应用开发困局-王炜
Kubernetes 应用开发困局 实时热加载和一键 Debug 2021.08.05 王炜 2 腾讯云 CODING DevOps 高级架构师 CNCF 大使 Nocalhost 项目负责人 自我介绍 1. K8s 环境开发困局 2. 主流云原生开发方式 3. 热加载原理 4. 开发和调试演示 5. 开源共建 目录 K8s 环境开发困局 01 开发举步维艰 5 微服务-Docker Docker-Kubernetes K8s 环境的开发困局 容器越来越多,服务编排、发现、稳定性监控、自愈等成为新的挑战。 Kubernetes 提供容器编排的解决方案。 6 面向运维 •开发难 概念繁多,声明式定义学习成本高。 •调试难 无法像本地一样调试,开发效率低。 完全面向运维提供能力,对开发增加了巨大的负担。 云原生环境下的学习成本,招聘成本,用人成本急剧上升。 7 云原生开发技能广度要求急剧提升 8 云原生开发工具依然缺失 主流云原生开发方式 02 现状 1 0 全手工流程 编码后,手动构建镜像、推送到镜像 仓库、修改工作负载镜像版本,调度 10 分钟/次 自动化 CI/CD 流程 编码后,推送到代码仓库,自动触发 CI/CD 流程,等待生效。 5 分钟/次 Minikube + Telepresence Minikube 拉起本地 K8s 开发环境, Telepresence0 码力 | 20 页 | 3.58 MB | 9 月前3Apache APISIX 在金山办公的开发和落地实践
Apache APISIX 在金山办公的开发和落地实践 张强 金山办公 01 前情回顾&增补 02 关于 OpenResty 和 Lua 的思考 03 基于 Apache APISIX 破局 04 解决 Nginx 带来的问题 CONTENT W r i t e h e r e S o m e t h i n g a b o u t 前情回顾 & 增补 01 About •金山办公云原生应用组流量网关 Lead Developer •金山办公作为 Apache APISIX 较早的受益者,使用Apache APISIX 承载百万QPS流量,对 Apache APISIX 做了比较深 入的定制开发 W r i t e h e r e S o m e t h i n g Ab o u t 选择好 router radixtree_uri vs radixtree_host_uri 玩 •Lua 开发环境,特别是 OpenResty 相关的比较弱 •难招人,后端开发转 lua 成本高昂 “A programming language designed primarily for embedded use in applications” Wikipedia - Lua 关于 OpenResty 和 Lua 的思考 Nginx 的设计给 “ 平均水平 ” 终端开发者带来的问题0 码力 | 27 页 | 4.88 MB | 1 年前3开发环境安装
开发环境准备 主讲人:龙良曲 开发环境 ▪ Python 3.7 + Anaconda 5.3.1 ▪ CUDA 10.0 ▪ Pycharm Community ANACONDA CUDA 10.0 ▪ NVIDIA显卡 CUDA 安装确认 路径添加到PATH CUDA 测试 PyTorch安装 管理员身份运行cmd PyCharm ▪ 配置Interpreter0 码力 | 14 页 | 729.50 KB | 1 年前3PyTorch OpenVINO 开发实战系列教程第一篇
PyTorch + OpenVINO 开发实战系列教程 第一篇 系列文章 OpenVINO TM 工具套件 目录 目录 概述 ��������������������������������������������������������������������������������������������������������������������������������� Pytorch 开发经验的读者来说可以直接跳 过;对初次接触 Pytorch 的读者来说,通过本章学习认识 Pytorch 框架,搭建 好 Pytorch 的开发环境,通过一系列的基础代码练习与演示建立起对深度学习 与 Pytorch 框架的感性认知。 本书内容以 Python 完成全部代码构建与程序演示。本章的主要目标是帮助初 次接触 Python 与 Pytorch 的读者搭建好开发环境,认识与理解 框架的深度学习破冰之旅。 PyTorch + OpenVINO 开发实战系列教程 第一篇 2 1. Pytorch 介绍与基础知识 1.1 Pytorch 介绍 Pytorch 是开放源代码的机器学习框架,目的是加速从研究 原型到产品开发的过程。其 SDK 主要基于 Python 语言,而 Python 语言作为流行的人工智能开发语言一直很受研究者与 开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、0 码力 | 13 页 | 5.99 MB | 1 年前316-Nocalhost重新定义云原生开发环境-王炜
Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 1 / 7 Nocalhost - 重新定义云原⽣开发环境 前⾔ 随着业务的快速发展,技术部⻔的组织架构在横向及纵向不断扩⼤和调整,与此同时,企业的⽣产资料:应 ⽤系统,也变得越来越庞⼤。为了让应⽤系统适配企业组织架构的调整,梳理组织架构对于应⽤权责的边 界,⼤部分组织会选择使⽤“微服务”架构来对应⽤系统进⾏横向拆分,使得应⽤系统的维护边界适配组织架 “微服务”带来便利的同时,对开发⼈员⽽⾔,还带来了额外的挑战:如何快速启动完整的开发环境?开发的 需求依赖于其他同事怎么联调?如何快速调试这些微服务? ⽽对于管理⼈员来说,也同样带来了⼀系列的挑战:如何管理开发⼈员的开发环境?如何让新⼊职的同事快 速进⾏开发? 试想⼀下,要开发由 200 个“微服务”组成的云原⽣应⽤,会遇到哪些困难呢? Localhost 时代 在单体应⽤的时代,对于开发者来说是极为友好的 ,�开发者使⽤本机运⾏应⽤,修改代码后实时⽣效,通过 浏览器访问 Localhost 实时查看代码效果。 单体应⽤和“微服务”应⽤不同,单体应⽤是 “ALL-IN-ONE” 组织⽅式,所有的调⽤关系仅限于在⾃身的类和函 数,应⽤对硬件的要求⼀般也不会太⾼。 ⽽开发“微服务”应⽤则⼤不相同,由于相互间的依赖关系,当需要开发某⼀个功能或微服务时,不得不将所 有依赖的服务都启动起来。随着微服务数量的增0 码力 | 7 页 | 7.20 MB | 5 月前3QCon北京2018/QCon北京2018-《Kubernetes-+面向未来的开发和部署》-Michael+Chen
0 码力 | 42 页 | 10.97 MB | 1 年前3第29 期| 2023 年9 月- 技术雷达
技术领导组成的技术顾问委员会,通过定期讨论 Thoughtworks 的全球技术战略以及对行业有重 大影响的技术趋势而创建。 技术雷达以独特的形式记录技术顾问委员会的讨 论结果,从首席技术官到开发人员,雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质,把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 Reserved. 6 AI 辅助软件开发 毫无意外,本期技术雷达主要围绕 AI 相关话题展开讨论。这是有史以来第一次,我们需要一个可视化指南来 理清不同 AI 的类别和功能(即使在 JavaScript 生态系统十分混乱的时期,我们也从未采取过这样的做法)。作 为一家开创 CI、CD 等突破性工程实践历史的软件咨询公司,我们对于使用 AI 辅助软件开发特别感兴趣。因此, 本期技术雷达讨论了许多代码辅助工具,如 长,如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时,我们希望开发人员能够负责任 地使用所有这些工具,并且始终掌控主导权,比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效 对于非技术人员来说,软件开发有时似乎很神奇,这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler0 码力 | 43 页 | 2.76 MB | 1 年前3
共 215 条
- 1
- 2
- 3
- 4
- 5
- 6
- 22