TiDB 原理与实战
TiDB 原理与实战 lixia@pingcap.com @紫沐夏_go About me ● 程序媛,TiDB committer, Go 语言狂热粉 ○ 主要研究方向为分布式系统, 坚信分布式系统才是未来 ● 目前在 PingCAP 就职 ○ 15 年中旬加入 PingCAP ○ 主要参与模块为 TiDB 的 online DDL,SQL 优化器,各种必要的功能改 进以及性能提升 ● 20 and age < 30 age > 20 and age < 30 age > 20 and age < 30 Hash join 并行优化,支持 hash join ● 小表放到内存,等值 key 建立哈希表 ● 大表是用 goroutine 分批取值,匹配哈希表 ● 之后会支持 merge sort join 等常用算法 small table big table build hash table join worker join worker join worker hash table output Online DDL 现状,锁表(有些数据支持读操作,但是也以消耗大量内存为代价) ● 架构师们在设计整个系统的时候都会很慎重的考虑表结构 ● DBA 在做此类操作前要做足准备 TiDB解决方案,参考 Google 动态变更 schema 的论文 absent --> delete0 码力 | 23 页 | 496.41 KB | 5 月前3Greenplum上云与优化
张广舟(明虚) 阿里云高级专家 Greenplum上云与优化 — ApsaraDB for Greenplum介绍 2016Postgres中国用户大会 目 录 content ApsaraDB for GP的定位 ApsaraDB for GP的内核优化 未来的规划 2016Postgres中国用户大会 ApsaraDB for GP的定位 2016Postgres中国用户大会 2016Postgres中国用户大会 GP vs. RDS? Select count(*) from customer where status = valid group by city 列存与压缩原理举例 ….. ….. Name Id status city 列存块 ….. 列存块 列存 ≈索引 + index only 2016Postgres中国用户大会 GP vs 查看所有连接信息 杀连接 创建和删除插件 2016Postgres中国用户大会 解决OOM问题 实例的OOM有时很频繁,同时OOM很难提前监控 我们的办法 利用外部脚本监控cgroup中的内存统计 发生内存水位较高时,将实例移入公共 cgroup;同时发出cancel query信号给内核 水位下降时移回实例的cgroup 2016Postgres中国用户大会 Linux Box CGroup0 码力 | 26 页 | 1.13 MB | 1 年前3PostgreSQL WAL日志解析与应用
Postgres Conference China 2016 中国用户大会 PostgreSQL WAL日志解析与应用 王硕 山东瀚高基础软件股份有限公司 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 CONTENTS Part 01 Part 02 Part 03 WAL 日志简介 到了磁盘 上。 • XLogInsert 把xlog日志中的内容写出内存 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Locks of WAL • WALInsertLock 此锁用于将事务日志记录内容插入事务日志内存缓冲区内。 首先,加锁,然后将包括整个缓冲区(full_page_writes打开状态)的内0 码力 | 16 页 | 705.31 KB | 1 年前3Apache Cassandra static column 介绍与实战
Apache Cassandra static column 介绍与实战 Spark大数据博客 - https://www.iteblog.com Apache Cassandra static column 介绍与实战 假设我们有这样的场景:我们想在 Cassandra 中使用一张表记录用户基本信息(比如 email、密 码等)以及用户状态更新。我们知道,用户的基本信息一般很少会变动,但是状态会经常变化, KEY ("username") 1 / 5 Apache Cassandra static column 介绍与实战 Spark大数据博客 - https://www.iteblog.com ... ); InvalidRequest: Error from server: ... ); 2 / 5 Apache Cassandra static column 介绍与实战 Spark大数据博客 - https://www.iteblog.com InvalidRequest: Error from server: code=2200 [Invalid query]0 码力 | 5 页 | 0 Bytes | 1 年前3Al原生数据库与RAG
Al原生数据库与RAG 张颖峰 英飞流(上海)信息科技有限公司 创始人 目 录 RAG技术实践 01 Infinity系统架构 02 RAG技术实践 第一部分 基于向量数据库的RAG解决方案 文档 文本块 向量 VectorDB Embedding 向量相似度 提问 答案 查询 结果 文本切分 相关文本块 提示词 提示词模版 对话机器人 搜索 推荐0 码力 | 25 页 | 4.48 MB | 1 年前3πDataCS赋能工业软件创新与实践
reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 赋能⼯业软件创新与实践 吴疆 拓数派产品社区总监 CONTENTS @2024 OpenPie. All rights reserved. OpenPie Confidential 杭州拓数派科技发展有限公司 使命:数据计算,只为新发现 愿景:成为立⾜中国基础数据计算领域的全球顶级⾼科技创新机构 价值观:以⼈为本、开放创新、拥抱变化、诚信正直 拓数派中国总部与全球分支机构 海 外 研 发 中 ⼼ 北京研发中⼼ 杭 州 总 部 上海全球品牌战略与⽣态发展中⼼ ⼴州研发中⼼ @2024 OpenPie. All rights reserved. OpenPie Confidential 国际顶级创始团队 2021 2022 当天即获得头部产业基⾦天使轮投资 成为Day-1准独角兽 7月 与中国⼈民⼤学成立实习基地,打造中 国的云原⽣数据库世界级智⼒⾼地 11月 4月 获得元⽲重元和东吴证券Pre-A轮投资 标 志着企业进⼊快速成长期 拓数派 正式成立 成立杭州总部、北京研发中⼼、 上海全球品牌战略与⽣态发展中⼼ 蓬勃发展的拓数派 驱动数据计算时代的到来 9月 成立加拿⼤研发中⼼0 码力 | 36 页 | 4.25 MB | 1 年前302 TiDB Operator 架构与实现 付业成
0 码力 | 47 页 | 1.73 MB | 5 月前3TiDB: HBase分布式事务与SQL实现
TiDB: HBase分布式事务与SQL实现 About me ● TiDB & Codis founder ● Golang expert ● Distributed database developer ● Currentlly, CEO and co-founder of PingCAP liuqi@pingcap.com https://github.com/pingcap/tidb0 码力 | 34 页 | 526.15 KB | 1 年前3Brin Index主Greenplum 7中的理论与实现
Confidential │ ©2021 VMware, Inc. 3 Confidential │ ©2021 VMware, Inc. Brin Index 在Greenplum 7中的 理论与实践 陈金豹,VMWare内核工程师 Confidential │ ©2021 VMware, Inc. 目录 Brin Index On Heap AppendOnly Table0 码力 | 32 页 | 1.04 MB | 1 年前3TiDB 可观测性的设计与实现 陈霜
TiDB 可观测性 的设计与实现 – 陈霜 About me ● 陈霜, TiDB Insight R&G Engineer, PingCAP ● chenshuang@pingcap.com ● Github: crazycs520 Agenda ● TopSQL: Bind SQL With CPU Resources ● System Table0 码力 | 39 页 | 3.97 MB | 1 年前3
共 134 条
- 1
- 2
- 3
- 4
- 5
- 6
- 14