K8s扩展功能解析
0 码力 | 12 页 | 1.08 MB | 1 年前3第29 期| 2023 年9 月- 技术雷达
All Rights Reserved. 6 AI 辅助软件开发 毫无意外,本期技术雷达主要围绕 AI 相关话题展开讨论。这是有史以来第一次,我们需要一个可视化指南来 理清不同 AI 的类别和功能(即使在 JavaScript 生态系统十分混乱的时期,我们也从未采取过这样的做法)。作 为一家开创 CI、CD 等突破性工程实践历史的软件咨询公司,我们对于使用 AI 辅助软件开发特别感兴趣。因此, ChatGPT,Google Bard,Meta 的 LLaMA 以及亚马逊的 Bedrock 等)在我们的讨论中占据重要地位。更广泛来说,大语言模型可以应用于从 内容生成(文本、图片和视频)、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层,这些大模型 成为了强大的工具库,被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面,包括自托管式大语言 模型,相较云托管的大语言模型,它支持更多的定制和管 过创建拉取请求(PR)来更新依赖项。不过,团队仍然需要制定工程纪律,以确保及时处理这些 PR,尤其是 对长时间不活跃的应用程序或服务提交的 PR。 如果系统具有广泛的测试覆盖范围——不仅有完善的单元测试,还包括有功能和性能测试,并且构建流水线必 须运行所有这些测试以及安全扫描,我们更提倡自动合并依赖项更新 PR。 简而言之,团队必须完全相信,流水 线运行成功后,软件就可以投入生产。在这种情况下,依赖项更新0 码力 | 43 页 | 2.76 MB | 1 年前3动手学深度学习 v2.0
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 8.2.4 整合所有功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302 8.3 语言模型和数据集 . . . 354 9.4.3 双向循环神经网络的错误应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 9.5 机器翻译与数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357 9.5.1 下载和预处理数据集 满足他们的需求。以动态网页应用为例。尽管许多公司,如亚马逊,在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里,这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥, 部分原因是开发了功能强大、文档完整的框架。 测试深度学习的潜力带来了独特的挑战,因为任何一个应用都会将不同的学科结合在一起。应用深度学习需 要同时了解(1)以特定方式提出问题的动机;(2)给定建模方法的数学; (3)将模型拟合数据的优化算法;0 码力 | 797 页 | 29.45 MB | 1 年前3Kubernetes开源书 - 周立
Kubernetes是⼀个旨在⾃动部署、扩展和运⾏应⽤容器的开源平台 。 使⽤Kubernetes,您可以快速有效地回应客户需求: 快速、可预测地部署应⽤。 动态缩放您的应⽤。 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统,提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 可移植: 共有、私有、混合、多云 可扩展: 运⾏ 在⼀个⼤型机上的单体。 01-什么是Kubernetes 5 资源隔离:可预测的应⽤程序性能。 资源利⽤:效率⾼,密度⾼。 为什么我需要Kubernetes,它能⼲啥? 最基本的功能:Kubernetes可在物理机或虚拟机集群上调度和运⾏应⽤容器。然⽽,Kubernetes还允许开发⼈员将物理 机以及虚拟机 “从主机为中⼼的基础设施转移到以容器为中⼼的基础设施”,从⽽提供容器固有的全部优势。 authorization 这提供了PaaS的简单性,并具有IaaS的灵活性,并促进了跨基础架构提供商的可移植性。 Kubernetes是⼀个怎样的平台? 尽管Kubernetes提供了⼤量功能,但总有新的场景从新功能中受益。应⽤程序特定的⼯作流程可被简化,从⽽加快开发 ⼈员的速度。可接受的特别编排最初常常需要⼤规模的⾃动化。这就是为什么Kubernetes也被设计为提供构建组件和⼯ 具的⽣态系统,使其更容易部署,扩展和管理应⽤程序。0 码力 | 135 页 | 21.02 MB | 1 年前3机器学习课程-温州大学-01深度学习-引言
•图像滤波与降噪 •图像增强 •风格迁移 •三维重建 •图像检索 •GAN 12 深度学习-CV典型应用案例 翻译 传统翻译采用人工查词的方式,不但耗时长 ,而且错误率高。图像识别技术(OCR)的出 现大大提升了翻译的效率和准确度,用户通 过简单的拍照、截图或划线就能得到准确的 翻译结果。 体育赛事 计算机视觉还有助于比赛和策略分 析、球员表现和评级,以及跟踪体育 节目中品牌赞助的可见性。 机科学、数学等领域的交叉学科。自然语 言处理,是指用计算机对自然语言 的形、音、义等信息进行处理 ,即对字、词、句、篇章的输入、输出、识别、 分析、理解、生 成等的操作和加工。自然语言处理的具体表现形式包括机器 翻译 、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识 别等。 可以说,自然语言处理就是要计算机理解自然语言,自然 语言处理机制涉及 两个流程,包括自然语言理解和自然语言生成 ,自然语言理解是让计算机把 基于规则的方法 2008 • 深度学习 未来 深度学习入门-NLP(自然语言处理) 19 深度学习入门-NLP(自然语言处理) 1.短文本相似 2.文本分类 3.QA机器人 4.语义标注 5.机器翻译 6.…… 20 2020 2013 2017 2019 2018 • ELECTRA • ALBERT • GPT-3 • BERT • GPT • ELMo 2014 • word2vec0 码力 | 80 页 | 5.38 MB | 1 年前3【PyTorch深度学习-龙龙老师】-测试版202112
部分,主要介绍神经网络的核心理论和共性知识,让读者理解深 度学习的本质;第 10~15 章为模型算法应用部分,主要介绍常见的算法与模型,让读者能够 学有所用。 在本书中编写时,很多英文词汇尚无法在业界找到一个共识翻译名,因此作者备注翻译 的英文原文,供读者参考,同时也方便读者日后阅读相关英文文献时,不至于感到陌生。 尽管每天都有深度学习相关算法论文的发布,但是作者相信,深度学习的核心思想和基 础理论是共通的。本书 链式法则 7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 超人的智力水平, 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁,在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG,同时人脸识别、智能语音、机器翻译等一项 项实用的技术已经进入到人们的日常生活中。现在我们的生活处处被人工智能所环绕,尽 管目前能达到的智能水平离通用人工智能(Artificial General Intelligence,简称 AGI)还有一0 码力 | 439 页 | 29.91 MB | 1 年前3Service Mesh结合容器云平台的思考和实践
队完成公司第一代基于Kubernetes的云平台开发和第 二代基于Kubernetes的DevOps云平台开发 来自于浙江大学SEL实验室目录 CONTENTS Kubernetes平台下的微服务演进 Pilot核心功能解读 Pilot-Agent核心流程解读Kubernetes平台下的微服务演进当我们在讨论微服务的时候我们在讨论什么? • 解决如何微服务的问题 • 解决微服务化后带来的问题 温饱问题 • 计算资源的快速分配 • 业务API设计 • 数据一致性保证 • 可扩展性考虑 • …Kubernetes对于微服务的支撑 功能列表 详情 快速资源分配 容器编排和调度 服务部署&弹性伸缩 Deployment 服务注册&服务发现 Service概念和分布式DNS API网关 简单路由功能 统一日志中心 Fluentd & ES 统一监控中心 Prometheus 统一配置管理 Configmap、Secret Configmap、Secret 负载均衡 简单负载均衡,基于Iptables Roundrobin 流量控制 简单根据服务实例进行控制云平台微服务演进之基于API网关的微服务方案 API网关功能增强 • 安全认证 • 流量控制 • 审计日志 • 黑白名单 • …K8S集群 云平台微服务演进之基于Spring Cloud的微服务方案 NS A Service Zuul Nginx Eureka0 码力 | 28 页 | 3.09 MB | 5 月前3七牛容器云ServiceMesh实践
协议转换 • 对象翻译 • IngressRouterContour的优劣 • 优势 • 兼容Istio生态,融入Service Mesh生态 • 南北向流量使用Envoy • 兼容Kubernetes标准Restful接口 • 统一的Kubernetes管理接口 • Gimbal生态 • 多集群入口流量整合管理 • 劣势 • 缺少大规模落地案例 • 功能/非功能仍需加强Contour 功能/非功能仍需加强Contour & Istio • 南北向流量 • API版本共存(Istio & Kubernetes Ingress) • 东西向流量 • Istio支持全量功能 • Contour支持Tracing能力 • 数据面共存 • 共用边车组件Envoy七牛现有Service Mesh体系 • Istio产品化 • 东西流量产品化 • 南北流量产品化 • TLS管理优化 • Contour增强 辐射业务线:Spock,Kodo,Dora等 • 先内部普及踩坑,后私有云能力产品化 • 使用规模 • 80%以上产品线部署Contour & Istio • 涉及K8S集群约20+集群 • 功能迭代 • 先南北,后东西 • 先原生,后二开 • 先管控面,后数据面落地场景—Spock测试平台 • 历史问题 • 分布式系统性能测试问题 定位难 • 多版本并发测试 • 故障注入较困难(代码侵0 码力 | 15 页 | 3.86 MB | 5 月前3Service Mesh 发展趋势(续) 蚂蚁金服 | 骑士到中盘路向何方?
管理Mixer是许多客户不想负担的 • 进程外适配器强制运维管理适配器,增加此负担 • 性能 • 即使使用缓存,在数据路径中同步调用Mixer也会增加端到端延迟 • 进程外适配器进一步增加了延迟 • 授权和认证功能是天然适合mixer pipeline的,但是由于mixer 设计 的延迟和SPOF(单点故障)特性,导致直接在Envoy中实现 (Envoy SDS) • 复杂性 • Mixer使用一组称为模 Review | Approved | Obsolete Created: 12/18/2018 Release Version: N/A Approvers: xxx [], xxx [] (摘要翻译:https://skyao.io/learning-istio/mixer/design/v2.html)Part 1:ServiceMesh灵魂拷问一:要架构还是要性能? Mixer v2 Proposal的核心 WebAssembly不是一门编程语言,而是一份字节码标准。 WebAssembly字节码是一种抹平了不同CPU架构的机器码, WebAssembly字节码不能直接在任何一种CPU架构上运行, 但由于非常接近机器码,可以非常快的被翻译为对应架构 的机器码,因此WebAssembly运行速度和机器码接近。(类 比Java bytecode) (摘录自http://blog.enixjin.net/webassembly-introduction/)使用Web0 码力 | 43 页 | 2.90 MB | 5 月前3Rancher 用户手册 v1.0
-p 的方式映射的端口,只有 Pod 所在的节点 IP+端口才可以访问; c) ClusterIP: 为 service 配置 cluster IP 地址; d) L4 负载均衡: 此功能对应公有云的负载均衡器,内网环境或自定义云主机安装的集群请不要使用。 Page 18 环境变量 该步骤用于为应用运行设置相关的环境变量,这里设置的环境变量会通过容器平台传递给应 和容器的初始化状态,此阶段耗时较短; b) 存活检查: 在 Pod 和容器初始化完成后,进入容器中程序的初始化阶段,此阶段检查应用最终是否正 常运行, 根据应用不同耗时会不同,但相对就绪检查会耗时更长。 数据卷 此功能为工作负载(应用)添加存储,您可以手动指定要添加的卷,或使用持久卷声明为工作 负载动态创建卷,或从诸如 ConfigMap 之类的文件中读取要使用的卷的数据。 临时卷 顾名思义,临时卷将会是临时的存储数据,当 点击右下角的显示高级选项 Page 21 命令 (可选) 该步骤用于设置应用启动时执行的命令,多数情况下应用都有自己默认的启动命令,如果应 用需要以特殊命令或参数启动可在该步骤进行设置,命令功能与 Docker 命令一一对应: a) 入口(Entrypoint):对应--entrypoin 命令; b) 命令(CMD):对应 Dcoker 原生命令中,镜像后跟的参数; c) 工作目录:对应0 码力 | 35 页 | 6.47 MB | 1 年前3
共 237 条
- 1
- 2
- 3
- 4
- 5
- 6
- 24