亿联TVM部署
0 码力 | 6 页 | 1.96 MB | 5 月前3Deepseek R1 本地部署完全手册
《Deepseek R1 本地部署完全⼿册》 版权归:HomeBrew Ai Club 作者wechat:samirtan 版本:V2.0 更新⽇期:2025年2⽉8⽇ ⼀、简介 Deepseek R1 是⽀持复杂推理、多模态处理、技术⽂档⽣成的⾼性能通⽤⼤语⾔模型。本⼿册 为技术团队提供完整的本地部署指南,涵盖硬件配置、国产芯⽚适配、量化⽅案、云端替代⽅ 端替代⽅ 案及完整671B MoE模型的Ollama部署⽅法。 核⼼提示: 个⼈⽤户:不建议部署32B及以上模型,硬件成本极⾼且运维复杂。 企业⽤户:需专业团队⽀持,部署前需评估ROI(投资回报率)。 ⼆、本地部署核⼼配置要求 1. 模型参数与硬件对应表 模型参 数 Windows 配置要求 Mac 配置要求 适⽤场景 1.5B - RAM: 4GB - GPU: 集成显卡/现代CPU 24GB - GPU: RTX 3090(24GB VRAM) - 存储: 20GB - 内存: 32GB(M3 Max) - 存储: 20GB 复杂推理、技术⽂档⽣ 成 32B+ 企业级部署(需多卡并联) 暂不⽀持 科研计算、⼤规模数据 处理 2. 算⼒需求分析 模型 参数规 模 计算精 度 最低显存需 求 最低算⼒需求 DeepSeek-R1 (671B) 671B0 码力 | 7 页 | 932.77 KB | 7 月前3在Kubernetes上部署高可用的Service Mesh监控
在 k8s 上部署高可用的 service mesh 监控 pctang@caicloud.io 唐鹏程 才云科技TOC Solving issues in a new way Monitoring your service mesh Old-school monitoringPrometheus + Kubernetes ● A time series based monitoring0 码力 | 35 页 | 2.98 MB | 5 月前323-云原生观察性、自动化交付和 IaC 等之道-高磊
当提示出现问题后,就需要有定位问题位置的手段,进 一步要有能够指出问题根因、甚至提前就预警的手段。 拓扑流量图:是不是按预期运行 分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警: 主动告诉我 问题发生了! 微服务部署后就像个黑盒子,如何发现问题并在 远端运维是主要的课题,那么就需要从宏观告知 研发人员,并且提供日志、跟踪、问题根因分析 等工具进一步从微观帮助研发人员定位和解决问 题,这是这里在业务上的价值-稳定性赋能。 等,最后还要在OS上安装应用,并且 还要保证应用软件依赖拓扑结构不会 出错。 3. 集成点:包括新环境的硬件、软件和 应用与遗留系统的集成,比如,监控、 服务注册中心、文件传输、消息集成、 ITSM等系统的部署集成。 4. 由于上层所依赖的底层环境在不同交 付环境中是不同的,而传统交付方式 缺乏脚本能“理解”的方式来表达这些 差异,此外由于事后更新OS、三方库 或者系统,这些变更又缺乏校验关系, 升级时很难给予企业信心,这种交付 应用运行所依赖的服务:比如 MySQL 数据库,也包括应用服务本身:比如拥 有多个副本的 PHP 服务器。开发者可以把他们写的代码“打包”成一个应用组件。 • Trait描述了应用在具体部署环境中的运维特征,比如应用的水平扩展的策略和 Ingress 规则,它们在不同的部署环境里却往往有着截然不同的实现方式。 举一 个例子,同样是 Ingress,它在公有云上和本地数据中心的实现完全不同:前者 一般是0 码力 | 24 页 | 5.96 MB | 5 月前3Nacos架构&原理
的崛起,微服务多个模块逐步被划分,包括注册中心、配置中心,如果从 产品定位上,期望定位简单清晰,利于传播,我们需要分别开源我们内部产品,这样又会分散我们 品牌和运营资源。另外大部分客户没有阿里这么大的体量,模块拆分过细,部署和运维成本都会成 倍上涨,而且阿里巴巴也是从最早⼀个产品逐步演化成 3 个产品的,因此我们最终决定将内部三个 产品合并统⼀开源。定位为:⼀个更易于构建云原生应用的动态服务发现、配置管理和服务管理平 在系统开发过程中通常会将⼀些需要变更的参数、变量等从代码中分离出来独立管理,以独立的配 置文件的形式存在。目的是让静态的系统工件或者交付物(如 WAR,JAR 包等)更好地和实际的物 理运行环境进行适配。配置管理⼀般包含在系统部署的过程中,由系统管理员或者运维人员完成这 个步骤。配置变更是调整系统运行时的行为的有效手段之⼀。 配置管理 (Configuration Management) 在 Nacos 中,系统中所有 以做多版本管理和快速回滚。 Nacos 架构 < 28 Nacos 内核设计 Nacos ⼀致性协议 为什么 Nacos 需要⼀致性协议 Nacos 在开源支持就定下了⼀个目标,尽可能的减少用户部署以及运维成本,做到用户只需要⼀个 程序包,就可以快速以单机模式启动 Nacos 或者以集群模式启动 Nacos。而 Nacos 是⼀个需要 存储数据的⼀个组件,因此,为了实现这个目标,就需要在 Nacos0 码力 | 326 页 | 12.83 MB | 9 月前327-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊
可以结合私有云和公有各自的优势,尤 其是数据安全方面,这是客户使用公有 云的最大顾虑 • 在云原生产生之前,混合云架构就存在 了,云原生的混合云,除了具备传统混 合云的属性和特性,也同时具备了支撑 现在应用程序更好在不同云形态部署、 运行的能力。 • 云之间同步服务元数据为相同的服务治 理提供基础,同步镜像,为同一服务拓 展算力提供基础,同步Data,为隔离底 层云分布,在业务上的一致性上提供基 础。 • SLB会根据算力资源需要进行切流。 SLB会根据算力资源需要进行切流。 • 混合云本质是一种资源运用形式,资源 使用地位不对等,以私有云为主体。 控制台 控制台 高级能力-多云(资源角度) 调研机构Gartner公司指出,80%的内部部署开发软件现在支持云计算或云原生,不断发展的云计算生态系统使企业能够更快、 更灵活、更实时地运营,从而带来竞争压力。接受云原生和多云方法作为一种新常态,意味着企业可以避免云计算供应商锁定, 可以提供超过5个9的响 • 应用架构升级 • re-platform • re-build • re-host • 运维模式升级 • 从传统面向操作规则的运维转变为面向观测数据的自动化运维 • 重新定义软件交付模式 • 整体打包交付 • Git=Single Version Of Truth • 声明式API • 尽量采用OpenAPI作为系统集成胶水 • 重塑研发流水线 • 任何变更都提交git,有迹可循 • 变更经过几0 码力 | 20 页 | 5.17 MB | 5 月前3逐灵&木苏-阿里巴巴 K8S 超大规模实践经验
阿里巴巴容器的发展历程 ❖ 基于 k8s 云原生改造实践 ❖ k8s 规模及性能优化实践 ❖ 云原生应用管理演进路线 主要内容阿里巴巴容器的发展历程 2013 初步探索 使用容器的方式替换传统使用 VM 部署应用的,基于 lxc 自研 了 t4 容器并构建了 AI 集团管理 系统 2017 统一资源池 构建了 Sigma 调度系统,收敛了 众多运维平台之下的资源调度系 统,并构建了集团统一资源池, 面拥抱云原生,基于 k8s 生态在 阿里内部蓬勃发展。在 2019 双 11 中,k8s 体系支撑了阿里史上 规模最大的集群,并提供了极速 的应用扩容体验 2015 野蛮生长 体验到使用容器部署应用的优势 后,阿里内部发展出众多的运维 平台,包括 AliSwarm,Zeus, Hippo 等,极大地降低了业务运 维的成本 2018 转型 kubernetes 从自研的 Sigma 调度转型到 Docker K8s Pod main Container logtail sshd monitor 业务 ssh 日志 监控 通过 Dockerfile 打包应用 镜像,一次定义多次运行 通过镜像提供的组装机制 打包应用镜像,包含业务 及运维基础设施进程 更进一步组合多个容器 为一个 Pod,Pod 一次 定义多次运行不可变基础设施 • 应用与运维基础设施容器分离 • 支持各自独立升级0 码力 | 33 页 | 8.67 MB | 5 月前309-harbor助你玩转云原生-邹佳
私有云 和混合云)构建和运行可扩展的应用程序。云原生典型技术包括容器、服务网络、 微服务、不可变基础设施和声明性API等。 v1.0 by CNCF 容器-更轻量级和灵活的虚拟化 镜像-应用软件打包与分发 OCI: https://opencontainers.org/ OCI制品(artifact):镜像,Helm Chart,CNAB,OPA bundle等等 云原生与制品管理 [2] 用户管理 系统标签管理 P2P预热管理 Harbor 系统 系统级日志 搭建Harbor仓库服务 离线安装包 • 通过Docker-compose编 排运行 • 所需镜像皆打包在离线 包内 1 在线安装包 • 通过Docker-compose编 排运行 • 所需镜像从Dockerhub 来拉取 2 Helm Chart • 通过Helm来安装 • 目标为K8s集群 • 构建高可用(HA)仓库服务 [1] 使用离线安装包搭建HA仓库服务:基于内容复制能力或者基于外部共享服务 IDP 构建高可用(HA)仓库服务 [2] 使用Helm Chart和外部高可用服务(数据库,缓存和存储)部署HA的仓库服务 构建高可用(HA)仓库服务 [3] Harbor Operator提供基于K8s集群的all-in-one HA解决方案(也支持使用外部共享服务) Kubernetes Cluster0 码力 | 32 页 | 17.15 MB | 5 月前316-Nocalhost重新定义云原生开发环境-王炜
法满⾜开发的配置需求。 云原⽣解放了部署和运维,开发呢? Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 2 / 7 云原⽣和 Kubernetes 的普及,进⼀步屏蔽了“微服务”应⽤的复杂度,这主要体现在部署和运维阶段。 为了解决微服务应⽤在开发、测试和⽣产阶段环境⼀致性的问题,现代的微服务应⽤开发,都会将每⼀个组 件打包成 Docker 镜像,并以⼯作负载的形式对其进⾏部署。利⽤ DevOps DevOps 流⽔线中的持续集成和持续部署, 配合 Kubernetes 探针、HPA、应⽤⾃愈的能⼒,彻底解放了微服务应⽤的部署和运维环节。 但我们忽略了⼀个关键节点:开发阶段 微服务应⽤使⽤ Kubernetes ⼯作负载封装后,解决了开发过程应⽤的快速启动问题,开发⼈员只需要在本地 安装单节点的 Kubernetes 集群,例如 Minikube、Kind 等即可快速启动微服务应⽤。 但对于开发⼈ Nocalhost 重新定义的云原⽣开发环境,让我们⾸先站在不同的⻆⾊来看 Nocalhost 能给他们 带来什么。 开发⼈员: 摆脱每次修改需要重新 build 新镜像以及⻓时间的循环反馈,修改代码⽴即⽣效 ⼀键部署开发环境,摆脱本地环境搭建和资源不⾜的限制 本地 IDE 编辑器和开发环境联动,⽀持远程调试 图形化的 IDE 插件,⽆需熟悉 kubectl 命令即可完成云原⽣环境下的开发 管理⼈员: 统⼀管理微服务应⽤包,降低应⽤的维护成本0 码力 | 7 页 | 7.20 MB | 5 月前3Service Mesh Meetup #3 深圳站
feature/new_branch 会合并到 develop; • 5. 部署负责人将 develop 分支代码部署到测试环境,然后再通知 QA 测试;(脚本或者人工)有什么问题? • 效率低 • 没有代码检查; • 没有自动化测试(包括单元测试); • 沟通成本高 • 开发需要通知负责人、测试、产品等;(而且是每次构建/部署 都需要) • 依赖多较好的开发流程(流程化、自动化) • 1 review ,批准合并之后,feature/new_branch 会合并到 develop; • 8. Merge 触发 Jenkins/Drone 自动构建; • 9. 构建成功就执行你定义的工作流:打包镜像,触发 deploy 以及其他后续的 Automation Testing 等流程; • 10 . Drone 通知工作流程情况给开发/或者交付 QA 测试;如何提升工程效率?我是作者名称2017 是一种文化:一切自动化,工具化,规范化;选择哪个 CI/CD 工具?Docker stats 查看 Docker 服务所占用的CPU和内存开销DroneDrone • 一款使用 Go 开发,基于容器技术的 CI/CD 系统,能够单独部署,支持几乎所有的 Git 平台(Github,Gitlab,Bitbucket,Gogs,Gitea 等)。 • 它的特点: • 一个 .drone.yml 搞定(简单) • 原生 Docker0 码力 | 45 页 | 18.62 MB | 5 月前3
共 121 条
- 1
- 2
- 3
- 4
- 5
- 6
- 13