TVM工具组
绝赞招聘中 TVM CAFFE 前端 2019·11·16绝赞招聘中 TVM 在平头哥 • 工具链产品 平头哥芯片平台发布的配套软件中, TVM 是工具链产品的重要组成部分: 负责将预训练好的 caffe 或者 tensorflow 的模型,转换到 LLVM IR,最后生成可以在无剑 SoC 平台上 执行的二进制。绝赞招聘中 为何添加 caffe 前端? 客户需求 评估 评估阶段:客户用于评估芯片的网络,caffe 模型占很大比重。 竞品已支持 caffe 前端 当前各大芯片厂商的部署工具大多数都支持,支持 caffe 前端有利于提高竞争力。 开源社区 存量的开源 caffe 网络模型众多,TVM 直接支持 caffe 让大家更方便尝试 caffe 资源。绝赞招聘中 当前进度 无 caffe 依赖 from_caffe 直接导入 caffe 模型文件,不需要预先安装 flatten / normalize / crop / proposal / roipooling / permute / priorbox绝赞招聘中 未来 命令行工具 将 caffe 模型转换的功能,通过一组命令行工具提供,命令行工具支持 windows / linux 平台。 支持更多 caffe op / net 随着客户需求和社区发展,提供更多的 caffe 分支变种的 op / net0 码力 | 6 页 | 326.80 KB | 5 月前3TiDB中文技术文档
JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制文档 Bit-value Literals Boolean 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 数据迁移 故障诊断 TiDB 周边工具 Syncer Loader TiDB-Binlog PD Control TiKV Control TiDB Controller TiDB-Binlog 部署方案 - 4 - 本文档使用 书栈(BookStack 中文技术文档》 由 进击的皇虫 使用 书栈(BookStack.CN) 进行构建,生成于 2018- 06-25。 书栈(BookStack.CN) 仅提供文档编写、整理、归类等功能,以及对文档内容的生成和导出工具。 文档内容由网友们编写和整理,书栈(BookStack.CN) 难以确认文档内容知识点是否错漏。如果您在阅读文档 获取知识的时候,发现文档内容有不恰当的地方,请向我们反馈,让我们共同携手,将知识准确、高效且有效地传递0 码力 | 444 页 | 4.89 MB | 6 月前3【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502
21 DeepSeek出现之前的十大预判 之八 智能体推动大模型快速落地 能够调用各种工具,具有行动能力 调用企业专业知识,更懂企业 将日常重复性业务流程形成Playbook,实现流程自动化 通过目标拆解,多次调用大模型以及专家模型协同,形成 慢思考能力 传统软件是辅助人的工具,Agent是能够自主工作的数字员工,是新的生产力政企、创业者必读 22 DeepSeek出现之前的十大预判 建立强大生态,成为全球人工智能根技术,无推广情况下各国 政府、企业、云厂商纷纷接入,获得全球最大影响力 改变中美竞争格局:美国是闭源封闭垄断思路,中国领导开源 文化,加速中国领先地位 中国人民使用的AI工具先进性已超过美国,普及率超过美国, 使用AI人口超过美国总人口,且直接用上最先进的DeepSeek-R1 DeepSeek颠覆式创新——开源 33政企、创业者必读 新时代下的集中力量办大事 响应:响应速度更快,用户体验更好 部署:可以私有化部署,保障政府企业数据安全 训练:不需要从头训练,只需要专业知识库或者微调就可以 人才:大模型训练复杂程度降低,对人才要求也降低 工具:已经有全套工具 走专业化大模型 之路,大模型落 地门槛大幅降低 从原子弹变成 「茶叶蛋」 52政企、创业者必读 基于DeepSeek是打造专业大模型、 垂直大模型、场景大模型的最佳选择 D0 码力 | 76 页 | 5.02 MB | 5 月前3curvefs client删除文件和目录功能设计
inode id 由于inode放在原地,那么由于dentry已经被删除,那么查询工具就较为复杂,不能复用原有的client逻辑,需要组织成moosefs那样的meta文件系统可能需要引入额外的复杂性,但是依然可以实现简单的 工具查询。 由于该方案,删除的inode是分散于每个partition中,那么查询工具可能需要遍历所有partion去查询所有的删除inode。 第二种方案: 将ino sh目录可以是实际的目录结构,有dentry和inode,并遵循当前inode和dentry的放置方式(inode按照inodeid分布,dentry按照parentid分布) 这种方案的优点是便于工具对trash进行查询,毕竟是实际的目录结构,完全遵循文件系统,可能可以复用client的当前设计,甚至可以参考moosefs实现一个meta文件系统来管理,更为优雅。 但是缺点是DEL和UNDEL需 ,二是每个fs一个trash,并且trash不能放在fs的根目录下,因为存在跟用户的目录重名的问题。 一是使用全局唯一的trash 倾向于使用方案1,各方面实现上较为简单,异常处理不会很复杂,查询工具可以先实现一个简单的。 3. 是否需要做session机制(在metaserver打开),来维护inode的打开情况? 经讨论,需要实现session机制,以应对打开文件被另一个进程删除的场景的场景。0 码力 | 15 页 | 325.42 KB | 5 月前3Rust 程序设计语言 简体中文版 1.85.0
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 552 22.4. D - 实用开发工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 昭著的陷阱。即使谨慎的实践者,亦唯恐代码出现漏洞、崩溃或损坏。 Rust 破除了这些障碍:它消除了旧的陷阱,并提供了伴你一路同行的友好、精良的工具。想 要 “深入” 底层控制的程序员可以使用 Rust,无需时刻担心出现崩溃或安全漏洞,也无需因为 工具链不靠谱而被迫去了解其中的细节。更妙的是,语言设计本身会自然而然地引导你编写出 可靠的代码,并且运行速度和内存使用上都十分高效。 已经在从事编写底层代码的程序员可以使用 团队协作而言,非常高效的 工具。底层代码容易出现各种微妙的错误,在大多数其他语言中,这些错误只能通过广泛的测 试和经验丰富的开发者的仔细审核代码来捕捉。在 Rust 中,编译器充当了守门员的角色,拒 绝编译包含这些难以察觉的错误的代码,包括并发错误。通过与编译器合作,团队可以将时间 集中在程序逻辑上,而不是追踪 bug。 Rust 也为系统编程世界带来了现代化的开发工具: • Cargo 是内0 码力 | 562 页 | 3.23 MB | 10 天前3Curve质量监控与运维 - 网易数帆
github代码仓库: https://github.com/opencurve/curve Curve 3/33为用户服务 作为一个复杂的大型分布式存储系统,Curve 需要利用科学的方法论和专业的工具,在整个 软件生命周期内更好地为用户服务: 质量——向用户交付稳定可靠的软件; 监控——直观地展示Curve运行状态; 运维——保障Curve始终稳定高效运行。 质量 ✓ 质 质量管理体系(设计、开发、review、CI) ✓ 测试方法论(单元测试、集成测试、系统测试) 监控 ✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 (易部署、易升级、自治) ✓ 运维工具(部署工具、管理工具) 4/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系软件质量 软件质量的定义是:软件与明确地和隐含地定义的需求相一致的程度。 理与展示: Prometheus——面向云原生应用程序的开源 的监控&报警工具,curve利用它进行监控指标 的采集与存储。 Daily reporter——python脚本,定时从 Grafana获取指定集群的图表,生成集群监控 日报,并通过邮件发送。 Grafana——开源的度量分析和可视化工具, curve利用它进行数据可视化展示。 20/33监控指标(metric)的生成0 码力 | 33 页 | 2.64 MB | 5 月前323-云原生观察性、自动化交付和 IaC 等之道-高磊
分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警: 主动告诉我 问题发生了! 微服务部署后就像个黑盒子,如何发现问题并在 远端运维是主要的课题,那么就需要从宏观告知 研发人员,并且提供日志、跟踪、问题根因分析 等工具进一步从微观帮助研发人员定位和解决问 题,这是这里在业务上的价值-稳定性赋能。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-2 可观察性是云原生特别关注的运维支撑能力,因为 渗透到了PaaS本身, 或者大家常说的定制化场景,如果不进行解耦就会有长期存在的矛盾。 • 为了应付定制化,客户需要等待平台研发的排期,因为平台研发需要定制 化处理定制化场景下的软件、运维工具或者规范等等,并需要不断的测试。 • 为了应付各类的环境的问题,势必要求交付人员的能力非常强,也是成本 居高不下的原因之一。 在K8s这种环境中,存在两种定制化的手段:其一是Deployment API,但是它却 交付的方式都是一致的。 DevOps是一种文化,是一种组织赋能,在无所不在,OAM除了在交付过程中提供了基于应用的 交付方案,同时将CICD与底层实现解耦,可以插接无限制的工具组件,使得可以对应不同交付 场景所要求的不同工具链。比如叠加serverless能力加快镜像构建速度、叠加安全左移能力等等。 OAM使得整体PAAS在通用化的情况下,向多种客户环境交付赋能。 OAM应用实例 从基础设施0 码力 | 24 页 | 5.96 MB | 6 月前3人工智能安全治理框架 1.0
理不当、非授 权访问、恶意攻击、诱导交互等问题,可能导致数据和个人信息泄露。 3.1.3 系统安全风险 (a)缺陷、后门被攻击利用风险。人工智能算法模型设计、训练和验证 的标准接口、特性库和工具包,以及开发界面和执行平台可能存在逻辑缺陷、- 5 - 人工智能安全治理框架 漏洞等脆弱点,还可能被恶意植入后门,存在被触发和攻击利用的风险。 (b)算力安全风险。人工智能训练运行所依赖的算力基础设施,涉及多源、 边界传递等风险。 (c)供应链安全风险。人工智能产业链呈现高度全球化分工协作格局。 但个别国家利用技术垄断和出口管制等单边强制措施制造发展壁垒,恶意阻断 全球人工智能供应链,带来突出的芯片、软件、工具断供风险。 3.2 人工智能应用安全风险 3.2.1 网络域安全风险 (a)信息内容安全风险。人工智能生成或合成内容,易引发虚假信息传播、 歧视偏见、隐私泄露、侵权等问题,威胁公民生命财产安全、国家安全、意识 等问题,将对用户人身生命财产安全、经济社会安全稳定等造成安全威胁。 (b)用于违法犯罪活动的风险。人工智能可能被利用于涉恐、涉暴、涉赌、 涉毒等传统违法犯罪活动,包括传授违法犯罪技巧、隐匿违法犯罪行为、制作 违法犯罪工具等。 (c)两用物项和技术滥用风险。因不当使用或滥用人工智能两用物项和 技术,对国家安全、经济安全、公共卫生安全等带来严重风险。包括极大降低 非专家设计、合成、获取、使用核生化导武器的门槛;设计网络武器,通过自0 码力 | 20 页 | 3.79 MB | 29 天前314-Chaos Mesh 在网易伏羲私有云自动化故障注入实践-张慧
SIG 发起人 Email:zhangui05@corp.netease.com 云 原 生 学 院 目录 网易伏羲私有云简介 为什么混沌测试 什么是混沌测试 如何选择混沌测试工具 为什么是 Chaos Mesh Chaos Mesh 在网易伏羲的实践 网易伏羲私有云简介 网易伏羲私有云简介 AI 模型 支撑游戏业务 云游戏 为什么混沌测试 造故障,测试系统在各种压力下的行为,识别并修复故障问题,避免造成严重后果。 混沌工程将预想的事情和实际发生的事情进行对比,通过“有意识搞破坏”来提升系统稳定性。 鲁棒性 故障注入 如何选择混沌测试工具 混沌工具 混沌工具 为什么是 Chaos Mesh 为什么是 Chaos Mesh ● PodChaos: kill / fail / container/... ● NetworkChaos:0 码力 | 25 页 | 3.33 MB | 6 月前3MySQL 兼容性可以做到什么程度
? Maxwell Debezium A: PolarDB-X 全局 Binlog:完全兼容 • 与 MySQL Binlog 体验完全一致 • 保障分布式事务完整性 • 透明:下游系统或工具改造成本为零 • 实现复杂度高 Q: 分布式数据库有哪些问题要考虑Demo for Global Binlog with Flink CDCPolarDB-X Global Binlog 特性详情 文件格式兼容:Binlog v4 row-based • SQL 指令兼容:show binary logs… • MySQL DUMP 协议 • 保证分布式事务完整性与顺序 • 同一连接串 已验证工具或系统 • MySQL Slave(change master) • DTS • Canal/CloudCanal • Maxwell • Debezium • Streamsets • • mysql-binlog-connector-java • Flink CDC 性能指标 • 25w rps • 8GB 大事务 • 5s 延迟* 下一步 • 验证更多工具 • GTID • 多流业务系统 上游 Single Source of Truth 问题背景 已有系统迁移怎么办? 下游Demo for ReplicationPolarDB-X Replication0 码力 | 18 页 | 3.02 MB | 5 月前3
共 31 条
- 1
- 2
- 3
- 4