Greenplum开源MPP数据库介绍
0 码力 | 23 页 | 4.55 MB | 1 年前3使用JDBC连接数据库
使用JDBC连接数据库 北京理工大学计算机学院 金旭亮 Java数据库应用程序全局视图 Java应用程序 JDBC数据库驱动 (*.jar) JDBC规定了一整套访问数据库的标准API,所有数据库都 需要实现它,因此,使用JDBC访问数据库的Java应用程 序,是很容易切换底层数据库的。 JDBC核心类型一览表 核心类型(java.sql) 说明 DriverManager 负责装载/卸载驱动程序 Connection 与数据库建立连接 Statement 在一个给定的连接中执行SQL语句 PreparedStatement 用于执行预编译的SQL命令 CallableStatement 用于调用数据库中存储过程 ResultSet 保存SQL命令的执行结果 上述组件是独立于底层数据库的,也就是说,只要连接上了数据 库,相同的代码,就可以顺利工作…… JDBC访问数据库的基本步骤 加载JDBC驱动程序 加载JDBC驱动程序 创建数据库连接 执行SQL语句 接收并处理SQL的返回结果 关闭创建的各个对象 对于有可视化界面的应用 程序,或者是Server端 应用程序,应该在独立的 线程中完成这些步骤。 出于精简学习负担的目的,我们将以SQLite为例介绍 JDBC的基本使用,在此基础之上,后面选择微软的 SQL Server来介绍JDBC的高级特性…… JDBC连接SQLite数据库 下载SQLite的JDBC驱动-10 码力 | 20 页 | 1.02 MB | 1 年前3Al原生数据库与RAG
Al原生数据库与RAG 张颖峰 英飞流(上海)信息科技有限公司 创始人 目 录 RAG技术实践 01 Infinity系统架构 02 RAG技术实践 第一部分 基于向量数据库的RAG解决方案 文档 文本块 向量 VectorDB Embedding 向量相似度 提问 答案 查询 结果 文本切分 相关文本块 提示词 提示词模版 对话机器人 搜索 推荐 LLM对企业信息架构的改变 对话机器人 搜索 推荐 数据库 APIs 文档 网站 日志 交易记录 向量数据库 LLM 编排 Copilot RAG典型挑战和解决方案 挑战一:向量召回不准确 挑战四:幻觉、胡说八道 挑战五:定制化成本 挑战二:数据组织混乱丧失语义 挑战三:多样化查询需求 数据加工 数据库 文档结构识别 文字加工 多路召回 系统 文档内容抽取 文档格式解析 Prompt Template 提示模板 Recall 多路召回 Query 问题 Embedding 向量化 KnowledgeBase 知识库 ANN Parser Vector Index Full Text Index Cross Attentional Reranker 重排序 基于视觉的文档理解和切分 Documents0 码力 | 25 页 | 4.48 MB | 1 年前3分布式NewSQL数据库TiDB
优刻得科技股份有限公司 版权所有 分布式 分布式NewSQL数据库 数据库 TiDB 产品⽂档 2 9 11 12 12 12 12 12 13 14 14 14 14 15 15 16 16 18 ⽬录 ⽬录 ⽬录 ⽬录 概览 概览 什么是 什么是TiDB 产品优势 产品优势 ⾼度兼容 MySQL 动态扩展 分布式事务 HTAP 真正⾦融级⾼可⽤ 适⽤场景 适⽤场景 对数据⼀致性及⾼可靠 Real-time HTAP 场景 数据汇聚、⼆次加⼯处理的场景 真正⾦融级⾼可⽤ UCloud 云上 云上 TiDB 架构⽰意图 架构⽰意图 TiDB TiDB Serverless ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 2/120 20 20 21 24 24 25 28 28 28 28 28 29 30 30 32 33 34 36 36 Serverless 删除 实例 实例 创建TiDB集群 查看TiDB实例列表 查看TiDB实例详情 删除TiDB实例 ⽤户 ⽤户 添加⽤⼾及权限 重置⽤⼾密码 删除⾮root⽤⼾ ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 3/120 38 39 40 40 41 41 43 43 43 46 49 49 52 53 55 57 57 58 580 码力 | 120 页 | 7.42 MB | 5 月前3PostgreSQL和Greenplum 数据库故障排查
2018年PostgreSQL中国技术大会 PostgreSQL和Greenplum 数据库故障排查 赵振平 zzp@taryartar.com 北京太阳塔信息科技有限责任公司 2018年PostgreSQL中国技术大会 自我介绍 微信号:laohouzi999 2018年PostgreSQL中国技术大会 • 赵振平,太阳塔技术总监 • 电子工业出版社签约作家 • 腾讯最具价值专家(TVP) 腾讯最具价值专家(TVP) • 计算机畅销书作家 • 贵州省省管专家 • 国家首批大数据高级职称 • 出版了技术专著《Oracle数据库精讲与疑难解析》 • 出版了技术专著《成功之路:Oracle 11g学习笔记》 • 出版了技术专著《IT架构实录》 微信号:laohouzi999 2018年PostgreSQL中国技术大会 微信号:laohouzi999 2018年PostgreSQL中国技术大会 据定 义命令,比如CREATE,ALTER,和DROP 语句。mod记录所有ddl 语句,加上数据修改语句INSERT,UPDATE等,all记录所有执行的 语句,将此配置设置为all可跟踪整个数据库执行的SQL语句。 log_duration = off 记录每条SQL语句执行完成消耗的时间,将此配置设置为on, 用于统计哪些SQL语句耗时较长。 记录校验点的信息 log_checkpoints0 码力 | 84 页 | 12.61 MB | 1 年前3Greenplum on Kubernetes 容器化MPP数据库
Greenplum on Kubernetes 容器化MPP数据库 AGENDA 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 云数据库背景 云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式 数据共享 ● 云数据库市场巨大 ● 云数据库增速巨大 ● DBasS的需求 ● 跨云的需求 云数据库实现方案 云数据库需求 ● DBasS ○ 自动化运维 ○ 自动化调优 ● 弹性资源管理 ○ 存储资源 ○ 计算资源 ● 安全 ○ 用户数据 ○ 临时文件 ○ 网络传输 ○ 权限控制 ● 跨云 ○ 公有云 ○ 私有云 云数据库实现方案 ● 全新数据库 ○ Snowflake Snowflake ● 原有数据库架构升级 ○ Vertica Eon Mode ● 容器化数据库+Kubernetes ○ Apache Spark ○ CockroachDB ○ Apache HAWQ 云数据库存储方案 ● 块存储 ○ 文件系统接口 ● 对象存储 ○ 成本低 ○ 扩展性强 ○ 访问延迟高 Greenplum on Kubernetes Network Interconnect0 码力 | 33 页 | 1.93 MB | 1 年前3阿里云云数据库 Redis 版 快速入门
云数据库 Redis 版 快速入门 快速入门 文档目的 快速入门旨在介绍如何创建 Redis 实例以及连接实例数据库,使用户能够了解从购买 Redis 实例到开始使用实 例的流程。 目标读者 首次购买 Redis 实例的用户 想要了解如何连接 Redis 实例的用户 快速入门流程图 若您初次使用云数据库 Redis 版,请先了解使用限制以及关于 应用程序,您可以通过该控制台上直观的用户界面进行实例 创建、网络设置、实例管理、密码设置等操作。 Redis 管理控制台是阿里云管理控制台的一部分,关于控制台的通用设置和基本操作请参见使用阿里云管理控 云数据库 Redis 版 快速入门 1 制台。本文将介绍 Redis 控制台的通用界面,若有差异,请以控制台实际界面为准。 前提条件 使用阿里云账号登录 Redis 管理控制台。若没有阿里云账号,请单击注册。 进行查看,详细步骤请参见DMS 登录云 数据库。 可运维时间段 您可以在实例信息页面对可运维时间进行修改,阿里云会在可运维时间对实例进行生产维护,维护期间可能会 发生闪断,建议您尽量选择业务低峰期为运维时间段。 性能监控 单击实例 ID 即可进入实例信息页面,在左侧导航栏中选择性能监控查看 Redis 的历史性能数据,可以查看到 云数据库 Redis 版 快速入门 20 码力 | 29 页 | 1.07 MB | 1 年前3深度揭秘Greenplum开源数据库透明加密
深度揭秘Greenplum开源数据库 透明加密 Greenplum 研发工程师 王淏舟 1. 我们所面临的问题 2. 基于pgcypto的数据加密方案 3. GPDB数据透明加密方案设计 4. GPDB数据透明加解密流程 5. 总结 我们所面临的问题 什么是Greenplum数据库 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 支持Python/R/Java直接访问处理数据库数据 • https://github.com/greenplum-db/gpdb GPDB GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 运行模式 GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 • 数据备份恢复 管理模式 GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 管理模式 GPDB的数据安全 System Admin • 管理集群 • 数据备份恢复 GPDB为单独数据库软件 • 非一体机 • 缺少对硬件和系统的控制 潜在风险(一) GPDB的数据安全0 码力 | 48 页 | 10.19 MB | 1 年前3微信 SQLite 数据库 损坏恢复实践
微信 SQLite 数据库 损坏恢复实践 johnwhe (何俊伟) ◊ 问题背景 ◊ 常规做法 ◊ 数据备份 ◊ Repair Kit ◊ 组合方案 SQLite 恢复 ◊ 微信聊天记录只存客户端 ◊ SQLCipher 加密数据库 问题背景 ◊ SQLite 概率性损坏 ◊ 1/20,000 ~ 1/10,000 ◊ 256MB ~1%,1GB ~1‰ ◊ 设备断电、kernel SQLite 恢复 组合方案 Repair Kit 备份恢复 dump 尝试恢复最新数据 遇到错误,填补缺漏 前面都无法恢复,最后尝试 ◊ WeChat Database ◊ 加密数据库组件 ◊ 包含全部三种恢复方案 ◊ Android / iOS ◊ 其他特性与优化 WCDB 组件 WCDB 组件 今天开源! 关注我们的公众号 https://github.com/tencent/wcdb0 码力 | 31 页 | 546.35 KB | 1 年前3云原生数据库PieCloudDB 性能优化之路
郭峰 拓数派 云原生数据库PieCloudDB 性能优化之路 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州拓数派科技发展有限公司(又称“OpenPie”),以“Data Computing for New Discoveries”「数据计算,只为新发现」为使命, 成立后的短短10个月时间内,完成了包括头部产业基金、东吴证券、元 禾重元和政府科创平台在内的连续三轮战略融资。 禾重元和政府科创平台在内的连续三轮战略融资。 旗下云原生分析型数据库 PieCloudDB,以云计算架构为设计基础,首 创全新 eMPP 分布式技术,帮助企业建立竞争壁垒的同时,实现数据价 值最大化,并在新基建中承担可靠和可控的世界级云数据库底座。 PostgreSQL优化器简介 PieCloudDB优化器之分布式特性简介 PieCloudDB优化器之云原生特性简介 Q/A Contents 录 目 01 •0 码力 | 26 页 | 711.44 KB | 1 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100