清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单
高吞吐量,适合实时应用。 轻量化设计:模型结构优化, 资源占用少,适合边缘设备 和移动端。 多任务支持:支持多种任务, 如文本生成、分类和问答。 Kimi k1.5 垂直领域优化:针对特定领域 (如医疗、法律)进行优化, 提供高精度结果。 长文本处理:擅长处理长文本 和复杂文档,适合专业场景。 定制化能力:支持用户自定义 训练和微调,适应特定需求。 Open Open AI o3 mini 小型化设计:轻量级模型, 适合资源有限的环境。 快速响应:优化推理速度, 适合实时交互场景。 通用性强:适用于多种自 然语言处理任务,如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码,提取特定网页内容; 2、撰写python脚本; 3、提取并合并网址; 4、提取网址内容; 5、写入文件。 任务 你需要完成以下两个任务: 1. 数据呈现的“画龙点睛” Open AI o3mini 直接调用 DALLE 生成图表,Kimi k1.5 提 供 Python 代码支持,Claude 3.5 Sonnet 负责图表逻辑优化 数据采集 数据预处理 数据分析 可视化呈现 新思路:DeepSeek R1的数据应用 中 文 数 据 处 理 优 势 创 意 写 作 生 成 能 力 数 据 读 取 分 析 能 力 低0 码力 | 85 页 | 8.31 MB | 7 月前3Ubuntu 桌面培训 2010
添加语言支持和更改默认语言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 II.III 创建一个用户账户和快速切换用户 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 II.IV 添加/删除应用程序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489 XI.III.I Root 用户的口令是什么?安装时并没有要求我输入 root 的口令。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 II.13 快速用户切换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .0 码力 | 540 页 | 26.26 MB | 1 年前3清华大学 DeepSeek 从入门到精通
DeepSeek是一家专注通用人工智能(AGI)的中国科技公司,主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型,擅长处理复杂任务且可免费商用。 Deepseek可以做什么? 直接面向用户或者支持开发者,提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景, 支持联网搜索与深度思考模式,同时支持文件上传,能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成(如日程安排、菜谱) 03 文本生成 自然语言理解与分析 知识推理 知识推理 逻辑问题解答(数学、常识推 理) 因果分析(事件关联性) 语义分析 语义解析 情感分析(评论、反馈) 意图识别(客服对话、用户查询) 实体提取(人名、地点、事件) 文本分类 文本分类 主题标签生成(如新闻分类) 垃圾内容检测 编程与代码相关 代码调试 • 错 误 分 析 与 修 复 建议 • 代 码 性 的答案 基于链式思维(Chain-of-Thought),逐步推理 问题的每个步骤来得到答案 决策能力 依赖预设算法和规则进行决策 能够自主分析情况,实时做出决策 创造力 限于模式识别和优化,缺乏真正的创新能力 能够生成新的创意和解决方案,具备创新能力 人机互动能力 按照预设脚本响应,较难理解人类情感和意图 更自然地与人互动,理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题0 码力 | 103 页 | 5.40 MB | 8 月前3GPU Resource Management On JDOS
训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作,用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像,不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 – 用户训练完成后释放 GPU 资源,提高 GPU 利用率 – Job 调度 调度 (部门 quota 限制 + 优先级) • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架(镜像):支持官方,亦可自制 (提供 dockerfile 生成镜像服务) – 选择存储来源:对接了内部的存储 – 填写代码地址,执行的命令等 – 可以选择是否监控训练,提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 服务,只需用户指定模型,即可提供 grpc 和 rest 服务,同时使用 GPU 复用 +HPA 提高 GPU 利用率 创建 Serving 与训练集成 • 用户只需要简单选择机房和 镜像填写模型名即可完成 Serving 服务创建 自有模型 • 用户只需要填写模型地址即 可 GPU 监控 • 容器监控服务,自适 应 GPU 容器,可根据 容器 IP 查询记录 , 便 于用户查看服务状态0 码力 | 11 页 | 13.40 MB | 1 年前3Kubernetes Operator 实践 - MySQL容器化
日志系统 PaaS SaaS 编 译 发 布 授 权 监 控 IaaS Registry SOA服务框架 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • • MySQL-Operator 实践 ü 自定义 controller,使用 CRD ü MHA、MGR 高可用的实现 ü 扩缩容、故障处理流程 ü 分布式存储 ceph 展望 • 优化存储 • 增强 MySQL 的安全性 • 完善数据处理工具0 码力 | 42 页 | 4.77 MB | 1 年前3RocketMQ v3.2.4 开发指南
..................................................................................... 44 14.3.4 优化每条消息消费过程 .......................................................................................... Message Tag Hashcode 8 Byte 图表 7-1RocketMQ 队列 (1). 所有数据单独存储到一个 Commit Log,完全顺序写,随机读。 (2). 对最终用户展现的队列实际只存储消息在 Commit Log 的位置信息,幵丏串行方式刷盘。 项目开源主页:https://github.com/alibaba/RocketMQ 17 返样做的好处如下: 在有 RAID 卡,SAS 15000 转磁盘测试顺序写文件,速度可以达到 300M 每秒左史,而线上的网卡一般都为千兆 网卡,写磁盘速度明显快亍数据网络入口速度,那举是否可以做到写完内存就吐用户迒回,由后台线程刷盘呢? (1). 由亍磁盘速度大亍网卡速度,那举刷盘的迕度肯定可以跟上消息的写入速度。 (2). 万一由亍此时系统压力过大,可能堆积消息,除了写入 IO,迓有读叏 IO,万一出现磁盘读叏落后情冴,0 码力 | 52 页 | 1.61 MB | 1 年前3基于 KUBERNETES 的 容器器 + AI 平台
构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』, 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』,多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 ⽣生产级镜像仓库解决⽅方案,基于 • ⼀一键⾼高可⽤用部署和维护 • 为多租户和复杂权限集成⽽而增强 『token service』 • 管理理基于规则的镜像仓库 • 其他企业需要的优化功能 企业典型的多租户模型 租户 Tenant User User group Namespace Deployment Registry project CI/CD workspace Device (GPU) quota …. quota Service Config group … k8s objects Application template ⽤用户场景 - OPENSTACK 租户集成 • 企业真实场景 - 集成旧系 统,并⾏行行跑业务。 • 资源对照表 • Tenant 与 Project • Namespace 与 Network(Neutron)0 码力 | 19 页 | 3.55 MB | 1 年前3谈谈MYSQL那点事
互联网常用数据库市场占有率 互联网通用架构体制 谈谈 MySQL 数据库那些事 MySQL MySQL 基本介绍 基本介绍 MySQL MySQL 优化方式 优化方式 MySQL MySQL 技巧分享 技巧分享 Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单,使用 台数据库服务器,也许会增加采 购压力,但是我们可以提供更好的对外数据服务的能力和 途径,实际中尽可能两者兼顾。 MySQL 架构设计—高可用架构 系统优化:硬件、架构 系统优化:硬件、架构 服务优化 服务优化 应用优化 应用优化 MySQL MySQL 优化方式 优化方式 影响性能的因素 影响性能的因素 应用程序 应用程序 查询 查询 事务管理 事务管理 数据库设计 数据库设计 数据分布 读写分离;数据库分表、数据库切片(分 读写分离;数据库分表、数据库切片(分 布式),也考虑使用相应缓存服务帮助 布式),也考虑使用相应缓存服务帮助 MySQL MySQL 缓解访问 缓解访问 压力 压力 系统优化 系统优化 配置合理的 配置合理的 MySQL MySQL 服务器,尽量在应用本身达到一 服务器,尽量在应用本身达到一 个 个 MySQL MySQL 最合理的使用 最合理的使用 针对 针对0 码力 | 38 页 | 2.04 MB | 1 年前3MySQL 8.0.17 调优指南(openEuler 20.09)
......................................................................................... 7 3.9 内核优化................................................................................................... 性能调优从大的方面来说,在系统设计之初,需要考虑硬件的选择,操作系统的选 择,基础软件的选择;从小的方面来说,包括每个子系统的设计,算法选择,如何使 用编译器的选项,如何发挥硬件最大的性能等等。 在性能优化时,我们必须遵循一定的原则,否则,有可能得不到正确的调优结果。主 要有以下几个方面: ● 对性能进行分析时,要多方面分析系统的资源瓶颈所在,因为系统某一方面性能 低,也许并不是它自己造成的,而是其 调优过程是迭代渐进的过程,每一次调优的结果都要反馈到后续的代码开发中 去。 ● 性能调优不能以牺牲代码的可读性和可维护性为代价。 1.3 调优思路 性能优化首先要较为精准的定位问题,分析系统性能瓶颈,然后根据其性能指标以及 所处层级选择优化的方式方法。 下面介绍MySQL数据库具体的调优思路和分析过程,如图1所示。 调优分析思路如下: 1. 很多情况下压测流量并没有完全进入到服务端,在网络上可能就会出现由于各种0 码力 | 11 页 | 223.31 KB | 1 年前32022 Apache Ozone 的最近进展和实践分享
• Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 新进展 • ⽂件系统优化(FSO) • Ozone Balancer • 纠删码 • 单数据盘单RocksDB实例 ⽂件系统优化(FSO) dir1 dir2 dir3 file-1 file-1M 100万个⽂件 vol/buck1 Key entry /vol/buck1/dir1/ Key的存储 ⽬录 ⽂件 删除/重命名⽬录 耗时 对象存储:采⽤ KV ⽅式管理对象元数据,⽆ 需管理元数据之间的关系 ⽂件系统:额外地,需要采⽤树结构作为索 引,管理元数据之间的关系 ⽂件系统优化 ● FILE_SYSTEM_OPTIMIZED (FSO) : ⽀持纯粹的⽂件语义, 有限的 S3 兼容性 ⽂件的存储Key格式: “/ ” 所有已存在的桶,升级后变成LEGACY 版本,以⽀持向后兼容 存储Key格式基本同OBS, 通过配置项区分偏向⽂件,还是偏向S3对象的⽀持 引⼊Bucket级别 OM Metadata Layout 版本号 ⽂件系统优化 ⽂件系统优化效果 Query Details: Dropped “catelog_sales” table with sub- paths(files/dirs) count = 5K Query 0 码力 | 35 页 | 2.57 MB | 1 年前3
共 16 条
- 1
- 2