TiDB中文技术文档
类应用适合较大的值,TP 类应用适合较小的值。 作用域: SESSION | GLOBAL 默认值: 4 这个变量用来设置 index lookup join 算法的并发度。 作用域: SESSION | GLOBAL 默认值: 5 这个变量用来设置 hash join 算法的并发度。 作用域:SESSION | GLOBAL 默认值:1 这个变量用来设置顺序 scan 操作的并发度,AP 类应用适合较大的值,TP 数。 TiDB 在 MySQL 的 Optimizer Hint 语法上,增加了一些 TiDB 专有的 Hint 语法, 使用这些 Hint 的时 候,TiDB 优化器会尽量使用指定的算法,在某些场景下会比默认算法更优。 由于 hint 包含在类似 /*+ xxx */ 的 comment 里,MySQL 客户端在 5.7.7 之前,会默认把 comment 清 除掉,如果需要在旧的客户端使用 提示优化器使用 Sort Merge Join 算法,这个算法通常会占用更少的内存,但执行时间会更久。 当数据量太大,或系统内存不足时,建议尝试使用。 SELECT /*+ TIDB_INLJ(t1, t2) */ * from t1,t2 where t1.id = t2.id 提示优化器使用 Index Nested Loop Join 算法,这个算法可能会在某些场景更快,消耗更少系统资源,有的场0 码力 | 444 页 | 4.89 MB | 5 月前3TiDB 原理与实战
过来时几乎没迁移成本。 ○ 目前还有少量函数或功能未 实现 Plan optimization 逻辑优化 ● 主要依据关系代数的等价交 换做一些逻辑变换 物理优化 ● 主要依据数据读取、表连接方式、表连接顺序、排序等技术对查询进行优化。 TP Parse Logical Plan Physical Plan Exec Stat CBO RBO Plan optimization Logical plan ● join 并行优化,支持 hash join ● 小表放到内存,等值 key 建立哈希表 ● 大表是用 goroutine 分批取值,匹配哈希表 ● 之后会支持 merge sort join 等常用算法 small table big table build hash table join worker join worker join worker hash table output Online0 码力 | 23 页 | 496.41 KB | 5 月前3Rust 程序设计语言 简体中文版 1.85.0
DoS)攻击。然而这并不是可用的最快的算法,不过为了更高的 安全性值得付出一些性能的代价。如果性能监测显示此哈希函数非常慢,以致于你无法接受, 你可以指定一个不同的 hasher 来切换为其它函数。hasher 是一个实现了 BuildHasher trait 的类型。第十章会讨论 trait 和如何实现它们。你并不需要从头开始实现你自己的 hasher; crates.io 有其他人分享的实现了许多常用哈希算法的 hasher 一个 trait。下一部分会讲到 trait。不过简单 来说,这个错误表明 largest 的函数体不能适用于 T 的所有可能的类型。因为在函数体需要 比较 T 类型的值,不过它只能用于我们知道如何排序的类型。为了开启比较功能,标准库中定 义的 std::cmp::PartialOrd trait 可以实现类型的比较功能(查看附录 C 获取该 trait 的更多信 息)。依照帮助说明中的建议,我们限制 sort_by_key 使用 FnMut 而不是 FnOnce 作为 trait bound。这个闭包以一个 slice 中当前被考虑的元素的引用作为参数,并返回一个可以排序的 K 类型的值。当你想按照 slice 中每个元素的某个属性进行排序时,这个函数非常有用。在示例 13-7 中,我们有一个 Rectangle 实例的列表,并使用 sort_by_key 按 Rectangle 的 width 属性对它们从低到高排0 码力 | 562 页 | 3.23 MB | 9 天前3人工智能安全治理框架 1.0
针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 ……………………… 14 6.4 社会公众安全应用指引 制和方式,对确需政府监管事项及时予以响应。 1.3 技管结合、协同应对。面向人工智能研发应用全过程,综合运用技术、 管理相结合的安全治理措施,防范应对不同类型安全风险。围绕人工智能研发 应用生态链,明确模型算法研发者、服务提供者、使用者等相关主体的安全责 任,有机发挥政府监管、行业自律、社会监督等治理机制作用。 1.4 开放合作、共治共享。在全球范围推动人工智能安全治理国际合作, 共享最佳实践,提倡 优化完善。 2.1 安全风险方面。通过分析人工智能技术特性,以及在不同行业领域 应用场景,梳理人工智能技术本身,及其在应用过程中面临的各种安全风险 隐患。 2.2 技术应对措施方面。针对模型算法、训练数据、算力设施、产品服务、 应用场景,提出通过安全软件开发、数据质量提升、安全建设运维、测评监测 加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性- 3 - 人工智能安全治理框架0 码力 | 20 页 | 3.79 MB | 28 天前3【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502
很多公司参与开源,帮助改进产品,众人拾柴火焰高, 反哺开源产品,形成正循环政企、创业者必读 DeepSeek出现之前的十大预判 之十 中美差距快速缩小 美国预训练堆算力的路线不可持续,有待发现新范式“换道超车” 软件和算法差距并不大,主要差距在工程、硬件等方面 23政企、创业者必读 DeepSeek的出现验证了我们的预判 而DeepSeek的创新更具颠覆性 24政企、创业者必读 DeepSeek是完美的颠覆式创新 34政企、创业者必读 成本的急剧降低 DeepSeek可适配国产硬件,促进国产硬件发展 DeepSeek的优化降低对推理硬件的要求,减少推理成本 训练成本降低,堆显卡模式受质疑,探索新思路,算法优化空间大 无需训练自己的基座模型,直接部署在DeepSeek上,不用重复发明轮子 公开蒸馏方法,帮助其他模型提升能力,实现了模型制造模型,犹如工业母机 小模型可部署在企业内电脑或一体机上,使用成本降低,形成分布式推理网络 控制 • 废品无人天车吊装控制 • 铁水质量预报 • 高炉温度分布 • 高炉燃料比监测 • 高炉精准出铁预测 • 高炉炉况诊断 • 高炉燎铁能耗预测 • 高炉在含量智能预监 • 铁包动态调度算法(铁包 跟踪) • 烟气余热回收控制 • 部署工艺模型分析诊断 • 能源诊断分析 • 建设质量工艺动态设计 优化 • 堆堵料异常检测 • 炼铁原料混匀过程调度 优化 • 风机风压参数实时捕捉0 码力 | 76 页 | 5.02 MB | 5 月前3蚂蚁金服网络代理演进之路
3草案中的1-RTT机制通 过扩展的方式提前应用 • ECC-signature扩展 使用高效ECDSA签名算法的同 时,兼容广泛使用的RSA证书 按需握手 • 业务可根据需求灵活选择明文 或密文传输,提升业务效率 动态Record Size • 平衡吞吐与时延 高效 优化 灵活 TLS扩展安全合规能力持续升级 国密算法 • 拥抱监管 • 安全可控 • 金融科技 AntTLS库 • 基于OpenSSL 服务鉴权 流量控制 TLS,国密 服务鉴权 流量控制蚂蚁金服率先大规模落地SOFAMesh UDPA 安全 统一数据 平面API 存量连接无损迁移 提升5倍发布效率 TLS双向加密 支持国密算法 WAF 流量镜像 多协议 SOFARPC Dubbo HTTP1.1/2 平滑升级 性能 单跳CPU增加5%消耗 0.2ms RT 蚂蚁金服100+应用,10w+容器已经mesh化,部分业务链路通过下沉, 的能力是 go的1倍。 ü p256在go上有汇编优化,ECDSA优于go-boring ü 在AES-GCM对称加密上,go的能力是go-boring的20倍 ü 在SHA,MD等HASH算法也有对应的汇编优化 ü 对Go-GMSSL汇编优化HTTP性能数据 指标 SOFAMosn Envoy QPS 33674 52516 CPU 390% 370% MEM 30M 22M0 码力 | 46 页 | 19.93 MB | 5 月前3分布式NewSQL数据库TiDB
CERTIFICATE----- ... -----END MY CERTIFICATE----- 必选,私钥⽂件(key⽂件) 数字签名算法为RSA的⽂件的⽂本格式如下: -----BEGIN RSA PRIVATE KEY----- ... -----END RSA PRIVATE KEY----- 数字签名算法为ECDSA的⽂件的⽂本格式如下,EC PARAMETERS为可选: -----BEGIN EC PARAMETERS----- 填写证书时,请确保证书格式正确,如果校验格式错误,则会添加证书不成功。 ⼿动输⼊证书 ⼿动输⼊证书 如果您选择⼿动输⼊证书,则⽂本需要依次包含以下字段:私钥、⽹站证书、中间证书、根证书等。 数字签名算法为RSA格式参考如下(在复制时请核对证书的完整性): -----BEGIN RSA PRIVATE KEY----- ... -----END RSA PRIVATE KEY----- -----BEGIN . -----END MY CERTIFICATE----- -----BEGIN MY CERTIFICATE----- ... -----END MY CERTIFICATE----- 数字签名算法为ECDSA格式参考如下(在复制时请核对证书的完整性): -----BEGIN EC PRIVATE KEY----- ... -----END EC PRIVATE KEY----- -----BEGIN0 码力 | 120 页 | 7.42 MB | 5 月前3Curve文件系统元数据管理
→ skip list (key是name,每个目录下一个) 计算出来的 binlog,随时间会越来越大 差 DG Master/Slave glusterfs 无中心化服务器 dht算法 hash 扩展时大量迁移 client缓存 inode→ hashtable(gfid) dentry→ hashtable(name) inode扩展属性字段 和写数据一样 好 用多台元数据服务器需要对元数据进行合理的分片。 当前的一个可行方案是按照inodeid进行分片。分片算法如何设计,热点如何解决下半年细化,当前简单按照算法为 serverid = (inodeid / inode_per_segment) mod metaserver_num 进行分片。分片算法的具体实现不影响下面的讨论。 比如说分片规则按照每个分片管100个inodeid,如果有3个meta0 码力 | 24 页 | 204.67 KB | 5 月前3蚂蚁金服ServiceMesh数据平面 SOFAMosn深层揭秘
virtual host 路由 •支持 headers/url/prefix 路由 •支持基于 host metadata 的 subset 路 由 •支持重试 后端管理 •基础负载均衡算法 •主动健康检查 •Subset 负载策略Highlights 2 ØX-Protocol: 支持 RPC on HTTP2的通用方案(完善中) Ø支持平滑升级中协议无关存量链接迁移 Ø支持指定 实现6倍 ØGolang 对 AES-GCM 有汇编优化,性能是 boring SSL golang 版本的20 倍 ØGolang 对 SHA, MD 等 HASH 算法都有汇编优化 Ø除 p384,RSA 外,其他算法 golang 原生性能好于boring SSL golang性能优化规划 15 eBPF Keyless Center 加速卡 DPDK MOSN 用户态 内核态0 码力 | 44 页 | 4.51 MB | 5 月前3新一代云原生分布式存储
素 — 数据分布 无中心节点:哈希算法 INPUT (Offset, Len) HASH HASH mod 72 (DiskNums) (0, 4MB) 163342856 2 58 (4MB, 8MB) 759463473 9 3 (8MB, 16MB) 342165799 5 51 • 映射信息无需记录,直接通过计算获得 • 伪随机算法在服务器数量特别大的时候接近均衡 • 归置组 归置组中的成员为副本 OSD:Object Storage Device, 管理一个磁盘的进程架构简介 — 数据放置 使用多级哈希的方式 使用CRUSH算法根据pgid获得指定的副本个数的id osd.1, osd.2, osd.3 对ObjectID进行哈希并取模(复制组数量)得到pgid head_D35c9011 根据 offset, len0 码力 | 29 页 | 2.46 MB | 5 月前3
共 22 条
- 1
- 2
- 3