2.1.1 Golang主动式内存缓存的优化探索之路Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 支持灵活的信息过滤条件 内存不够用怎么办？ 03. 冷热可交换、策略可定制、内存可扩展，多种冷数据淘汰组件，自由组合 存储扩展，冷热数据交换 可自定义冷热数据交换策略 还能提供什么帮助？ 04. 降低硬件成本，降低依赖，保证稳定性 同样的性能，需要更少的硬件资源，降低成本 01 核心数据在本地，依赖少，更稳定 02 • 千万级内存对象，GC严重耗时，如何解决？ • 复杂的查询场景，内存数据如何高效组织？ 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存如何保证更新，如何与数据库同步 同步、更新 被动方式 缓存过期 定期同步 主动方式 监听数据变化 数据加载，更新 02. 全量数据加载，增量数据监听0 码力 | 48 页 | 6.06 MB | 1 年前3- 2.7 Golang与高性能DSP竞价系统专业DSP解决⽅方案供应商 Golang与⾼高性能DSP竞价系统 By @QLeelulu 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • RTB: Real-time Bidding，实时竞价，允许⼲⼴广告买家根据 活动⺫⽬目标、⺫⽬目标⼈人群以及费⽤用⻔门槛等因素对每⼀一个⼲⼴广告 及每次⼲⼴广告展⽰示的费⽤用进⾏行竞价。 库存，因为该平台汇集了各种⼲⼴广告交易平台的库存。 什么是RTB与DSP 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved 什么是RTB与DSP 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved 什么是RTB与DSP 专业DSP解决⽅方案 © ReservedAll Right Reserved • ⾼高并发量请求处理（峰值QPS 20万） • 每天上百亿竞价请求 • 每个竞价请求要在100毫秒内响应（包含⺴⽹网络延迟） • 复杂的出价算法与逻辑 DSP竞价系统的挑战 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 竞价请求解析（JSON0 码力 | 51 页 | 5.09 MB | 1 年前3
- 使用Go与redis构建有趣的应用计算机技术图书作者和译者，偶尔也写⼀一点⼩小程序⾃自娱⾃自乐。 • 精通 Go、 Python 、 Ruby 、 PHP、 C 等数⼗十种语⾔言……的 Hello World ！ • 著作：《Redis 设计与实现》，《Redis 使⽤用教程》（写作中）。 • 翻译：《Go Web 编程》，《Redis 实战》。 • 开源⽂文档：《Go 标准库中⽂文⽂文档》，《Redis 命令参考》，《SICP 解题集》等。 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 RDB+AOF 混合） 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） • 内存存储和基于多路路复⽤用的事件响应系统，确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合）0 码力 | 176 页 | 2.34 MB | 1 年前3
- 4.GPT 与数据库的生态整合GPT 与数据库的生态整合 王琦智 PingCAP TiDB 开发者生态高级工程师 目 录 自然语言到 SQL 01 自然语言到图表 02 GPTs 调用数据库 API 03 总结 04 自然语言到SQL OSS Insight 自然语言到图表 Thoughts to insights made easy(with AI) GPTs 调用数据库 API Thank You0 码力 | 21 页 | 3.33 MB | 1 年前3
- 2.游戏战中陪伴助手微服务架构设计与应用游戏战中陪伴助手微服务架构设计与应用 张敏 - AndruZhang 腾讯 - 高级后台工程师 目 录 功能介绍 01 早期探索 02 方案设计和工程实现 03 性能和成本优化 04 DevOps 建设 05 总结 & QA 06 功能介绍 第一部分 战中陪伴助手介绍——和平精英最佳第五人 战中陪伴助手介绍——和平精英最佳第五人 • 游戏战斗中指导 / 建议 • 敌人在附近 开发插件 - 入参：对局状态和当前事件信息 - 出参：符合条件的 token 列表 - 技术方案 - github.com/traefik/yaegi 推荐系统——特殊的推荐流程 战中推荐与传统推荐的不同 - 物料：Token 的组合 => 策略点 => 物料 - 类比：Token => 词汇 => embedding - 画像：人群画像 vs 对局画像 - 不同： - 传统推荐：多物料展示，多多益善 000+ 核，其中推荐系统接近 18,000 - 现象：网络流量极大 - 原因：流量中包含对局完整历史（Token 历史、推荐历史、……） 服务（某灰度下） 峰值 CPU 使用率 峰值 内存 峰值 CPU 核 峰值网络 I/O show_common 35～50% 10～12% 400+ 1.68 + 36.4 = 38.1 Gbps router 40～55% 6% 500+0 码力 | 47 页 | 11.10 MB | 1 年前3
- 如何使用 docker 部署一个 beego 项目id="相比于虚拟机的优势">相比于虚拟机的优势
容器提供了与虚拟机相似的资源分配和隔离优势。然而，相同之处仅此而已。
一个虚拟机需要它自己的客户操作系统而容器共享主机操作系统的内核。这意味着容器更加轻量 且需要更少的资源。从本质上讲，一个虚拟机是操作系统中的一个操作系统。而另一方面的容器则更 是操作系统中的其它应用程序。基本上，容器需要的资源（内存、磁盘空间等等）比虚拟机少很多， 且具有比虚拟机快很多的启动时间。
class="highlight-line">docker images这行该命令将输出与以下类似的内容：
0 码力 | 5 页 | 269.19 KB | 1 年前3 - 大规模高性能区块链架构设计模式与测试框架-李世敬大规模高性能区块链架构 设计模式与测试框架 Gopher Meetup 深圳站 2021 年 8 ⽉ 21 号 趣�科技 李世敬 目录 区块链概述 01 大规模高性能区块链架构设计介绍 02 基于Go插件的区块链性能测试工具 03 写在最后 04 区块链概述 4 趣链科技 版权所有 ©2016-2021 4 趣链科技 版权所有 ©2016-2021 4 趣链科技 版权所有 ©2016-2021 ©2016-2021 4 区块链诞生 区块链是互联网发展到一 定阶段的必然产物，是在 低成本、高效、快捷的基 础上对其安全可信及多元 价值传递与贡献分配体系 的完善。 物理世界 价值互联网 移动互联网 互联网 数据可信 资产可信 合作可信 可信 普适 信息 数字世界 5 趣链科技 版权所有 ©2016-2021 5 趣链科技 版权所有 ©2016-2021 5 趣链科技 轮胎、悬架等 基础硬件配置 电路油路 等传导系统 引擎、动⼒系统 汽油等润滑系统 车载⾃动化功能 公路、越野等具体场景 公有链基础架构⾃下⽽上分为六层：数据层、⽹络层、共识层、激励层、合约层与应⽤层。如果将区块链⽐作⼀ 辆汽车，那么各层分别对应汽车的各个组成部分（下图所⽰），各层之间协同合作，形成多中⼼化可信系统 12 趣链科技 版权所有 ©2016-2021 12 趣链科技 版权所有0 码力 | 39 页 | 56.58 MB | 1 年前3
- Go Web编程SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 3 1.Go环境配置 1.1. Go安装 1.2. GOPATH 与工作空间 1.3. Go 命令 1.4. Go开发工具 1.5. 小结 2.Go语言基础 2.1. 你好，Go 2.2. Go基础 2.3. 流程和函数 2.4. struct 2.5. 面向对象 4 模板处理 7.5 文件操作 7.6 字符串处理 7.7 小结 8.Web服务 8.1 Socket编程 8.2 WebSocket 8.3 REST 8.4 RPC 8.5 小结 9.安全与加密 9.1 预防CSRF攻击 9.2 确保输入过滤 9.3 避免XSS攻击 9.4 避免SQL注入 9.5 存储密码 9.6 加密和解密数据 9.7 小结 10.国际化和本地化 10.1 设置默认地区 2 本地化资源 10.3 国际化站点 4 10.4 小结 11.错误处理，调试和测试 11.1 错误处理 11.2 使用GDB调试 11.3 Go怎么写测试用例 11.4 小结 12.部署与维护 12.1 应用日志 12.2 网站错误处理 12.3 应用部署 12.4 备份和恢复 12.5 小结 13.如何设计一个Web框架 13.1 项目规划 13.2 自定义路由器设计 130 码力 | 295 页 | 5.91 MB | 1 年前3
- Go 构建大型开源分布式数据库技术内幕COUNT(c1) TiKV TiKV TiKV COUNT(c1) COUNT(c1) 并行 Hash Join 还有一些你看不到的东西：调度 调度的目标 ● CPU ● IO ● 内存 ● 磁盘使用量 ● 网络流量 ● Location Awareness 调度的方法 ● PD 周期性根据 Cache 中的集群信息，生成调度计划（Operator） ● Operator Peer，将 leadership 移入 ● RegionBalance ○ 统计不同 Store 上的 Peer 数量 ■ 从 Peer 最多（磁盘空间最紧张）的 Store 上找出一个 Region ■ 找到 Peer 最少（磁盘空间最富余）的 Store ■ 生成 [AddPeer, RemovePeer] 或 [AddPeer, TransferLeader, RemovePeer] 流量排行榜 ○ 统计排行榜 TopN 在 Store 的分布情况 ○ 生成 Operator 使之均衡 调度的难点 ● 难以评判什么样的数据分布情况是最优解 ○ 机器配置不同 ○ CPU、内存、磁盘、网络多种因素相互制约 ○ 用户场景多变 ● 调度所依赖的集群状态不一定是最新的 ● 调度本身也会带来系统负担 多副本管理策略 ● 使用多副本保证数据安全（Data safety）0 码力 | 44 页 | 649.68 KB | 1 年前3
- Hello 算法 1.1.0 Go版作者：靳宇栋（@krahets） 代码审阅：刘代富（@Reanon） Release 1.1.0 2024‑04‑15 序 两年前，我在力扣上分享了“剑指 Offer”系列题解，受到了许多读者的鼓励和支持。在与读者交流期间，我 最常被问的一个问题是“如何入门算法”。逐渐地，我对这个问题产生了浓厚的兴趣。 两眼一抹黑地刷题似乎是最受欢迎的方法，简单、直接且有效。然而刷题就如同玩“扫雷”游戏，自学能力 强 力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， 相信你可以更加自如地刷题和阅读文献，逐步构建起完整的知识体系。 我深深赞同费曼教授所言：“Knowledge 网页版以获得更优的阅读体验。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读！” ——邓俊辉，清华大学计算机系教授 “如果我当年学数据结构与算法的时候有《Hello 算法》，学起来应该会简单 10 倍！” ——李沐，亚马逊资深首席科学家 计算机的出现给世界带来了巨大变革，它凭借高速的计算能力和出色的可编程性，成为了执行算法与处理数 据的理想媒介。无论是电子游戏的逼真画面、自动驾驶的智能决策，还是0 码力 | 383 页 | 18.48 MB | 1 年前3
共 74 条
- 1
- 2
- 3
- 4
- 5
- 6
- 8