大规模生产环境下的 Faster-CPython 主讲人： 王文洋 老板思维 已知：公司有xx个计算集群 每个集群有xxxxx个core Python进程占比xx% 如果：提升 10% 那么：可以节省 xx * xxxxx * xx% * 10%个core 降本 xx * xxxxx * xx% * 10% * n >> 我的工资 结论：。。。 Why

Kapacitor • InfluxDB：⾼高性能的时序数据库。 • vs ES: 8X写⼊入，少4X磁盘占⽤用，3~7响应速度 • Telegraf：⽀支持200+数据渠道 • 开源免费版本缺少集群、安全、管理理等功能 • Chronograf：不不如Grafana强⼤大灵活 Elastic Stack (BELK) • Beats + Elasticsearch + Logstash 全⽂文索引查询强，过滤快、聚集功能强⼤大 • 不不⽀支持外部关联，有SQL适配器器 • 缺点： • 企业特性需要商业License • 内存管理理挑战较⼤大，复杂统计易易失控 • 超过百TB规模后运维成本⾼高 • 存储压缩效率偏低 Kibana核⼼能⼒ • 交互式查询控制台、tail-f • 完整报表中⼼与交互功能 • ⾼级图表功能：地图、关系图 • 时序数据 • 机器学习（收费） 其他OLAP选择: Druid • 性能优越： • PB级别规模 • 亚秒级OLAP系统 • 实时写⼊入与查询 • 组件⻆角⾊色较多，搭建较为复杂 • Json-QL（有SQL适配器器） • 不不⽀支持外Join、窗⼝口等 其他OLAP选择: Clickhouse • 性能优越： • 10亿+条规模⽐比商业软件快5倍 • ⽐比MySQL快⼏几百倍 • 稳定可靠，⾮非Hadoop体系，

的，但是，在非常高的抽象计算中，高级的 Python 程序设计也是非常 难学的，所以，高级程序语言不等于简单。 但是，对于初学者和完成普通任务，Python 语言是非常简单易用的。连 Google 都在大规模使用 Python，你就不用担心学了会没用。 用 Python 可以做什么？可以做日常任务，比如自动备份你的 MP3；可 以做网站，很多著名的网站包括 YouTube 就是 Python 写的；可以做网 中文：http://c.open.163.com/coursera/courseIntro.htm?cid=12 NoSQL 你也许还听说过 NoSQL 数据库，很多 NoSQL 宣传其速度和规模远远超 过关系数据库，所以很多同学觉得有了 NoSQL 是否就不需要 SQL 了 呢？千万不要被他们忽悠了，连 SQL 都不明白怎么可能搞明白 NoSQL 呢？ 数据库类别 既然我们要 的优点是简单易用，可以直接从 Session 中取出用户登录信息。 Session 的缺点是服务器需要在内存中维护一个映射表来存储用户登录 信息，如果有两台以上服务器，就需要对 Session 做集群，因此，使用 Session 的 Web App 很难扩展。 我们采用直接读取 cookie 的方式来验证用户登录，每次用户访问任意 URL，都会对 cookie 进行验证，这种方式的好处是保证服务器处理任意

数据量的变化，算法会表现出不同的效率。例如，在输入 数据量较小时，算法 A 的运行时间比算法 B 短；而在输入数据量较大时，测试结果可能恰恰相反。因此，为 了得到有说服力的结论，我们需要测试各种规模的输入数据，而这需要耗费大量的计算资源。 2.1.2 理论估算 由于实际测试具有较大的局限性，因此我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称 为渐近复杂度分析（asymptotic == 1: return 1 return exp_recur(n - 1) + exp_recur(n - 1) + 1 指数阶增长非常迅速，在穷举法（暴力搜索、回溯等）中比较常见。对于数据规模较大的问题，指数阶是不 可接受的，通常需要使用动态规划或贪心算法等来解决。 5. 对数阶 ?(log ?) 与指数阶相反，对数阶反映了“每轮缩减到一半”的情况。设输入数据大小为 ? ，由于每轮缩减到一半，因 指标。 ‧ 我们可以通过实际测试来评估算法效率，但难以消除测试环境的影响，且会耗费大量计算资源。 ‧ 复杂度分析可以消除实际测试的弊端，分析结果适用于所有运行平台，并且能够揭示算法在不同数据 规模下的效率。 时间复杂度 ‧ 时间复杂度用于衡量算法运行时间随数据量增长的趋势，可以有效评估算法效率，但在某些情况下可 能失效，如在输入的数据量较小或时间复杂度相同时，无法精确对比算法效率的优劣。

数据量的变化，算法会表现出不同的效率。例如，在输入 数据量较小时，算法 A 的运行时间比算法 B 短；而在输入数据量较大时，测试结果可能恰恰相反。因此，为 了得到有说服力的结论，我们需要测试各种规模的输入数据，而这需要耗费大量的计算资源。 2.1.2 理论估算 由于实际测试具有较大的局限性，因此我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称 为「渐近复杂度分析 asymptotic == 1: return 1 return exp_recur(n - 1) + exp_recur(n - 1) + 1 指数阶增长非常迅速，在穷举法（暴力搜索、回溯等）中比较常见。对于数据规模较大的问题，指数阶是不 可接受的，通常需要使用动态规划或贪心算法等来解决。 5. 对数阶 ?(log ?) 与指数阶相反，对数阶反映了“每轮缩减到一半”的情况。设输入数据大小为 ? ，由于每轮缩减到一半，因 指标。 ‧ 我们可以通过实际测试来评估算法效率，但难以消除测试环境的影响，且会耗费大量计算资源。 ‧ 复杂度分析可以消除实际测试的弊端，分析结果适用于所有运行平台，并且能够揭示算法在不同数据 规模下的效率。 时间复杂度 ‧ 时间复杂度用于衡量算法运行时间随数据量增长的趋势，可以有效评估算法效率，但在某些情况下可 能失效，如在输入的数据量较小或时间复杂度相同时，无法精确对比算法效率的优劣。

数据量的变化，算法会表现出不同的效率。例如，在输入 数据量较小时，算法 A 的运行时间比算法 B 短；而在输入数据量较大时，测试结果可能恰恰相反。因此，为 了得到有说服力的结论，我们需要测试各种规模的输入数据，而这需要耗费大量的计算资源。 2.1.2 理论估算 由于实际测试具有较大的局限性，因此我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称 为渐近复杂度分析（asymptotic == 1: return 1 return exp_recur(n - 1) + exp_recur(n - 1) + 1 指数阶增长非常迅速，在穷举法（暴力搜索、回溯等）中比较常见。对于数据规模较大的问题，指数阶是不 可接受的，通常需要使用动态规划或贪心算法等来解决。 5. 对数阶 ?(log ?) 与指数阶相反，对数阶反映了“每轮缩减到一半”的情况。设输入数据大小为 ? ，由于每轮缩减到一半，因 time_complexity.py === def linear_log_recur(n: int) -> int: """ 线性对数阶""" if n <= 1: return 1 # 一分为二，子问题的规模减小一半 count = linear_log_recur(n // 2) + linear_log_recur(n // 2) # 当前子问题包含 n 个操作 for _ in range(n):

展开完整测试非常耗费资源。随着输入数据量的变化，算法会表现出不同的效率。例如，输入数据量较小时， 算法 A 的运行时间可能短于算法 B；而输入数据量较大时，测试结果可能相反。因此，为了得到有说服力的 结论，我们需要测试各种规模的输入数据，这样需要占用大量的计算资源。 理论估算 由于实际测试具有较大的局限性，我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称为 「复杂度分析 Complexity Analysis」或「渐近复杂度分析 我们可以通过实际测试来评估算法效率，但难以消除测试环境的影响，且会耗费大量计算资源。 2. 复杂度 hello‑algo.com 34 ‧ 复杂度分析可以克服实际测试的弊端，分析结果适用于所有运行平台，并且能够揭示算法在不同数据 规模下的效率。 时间复杂度 ‧ 时间复杂度用于衡量算法运行时间随数据量增长的趋势，可以有效评估算法效率，但在某些情况下可 能失效，如在输入数据量较小或时间复杂度相同时，无法精确对比算法效率的优劣。 解）。 Figure 12‑1. 归并排序的分治策略 12.1.1. 如何判断分治问题 一个问题是否适合使用分治解决，通常可以参考以下几个判断依据： 1. 问题可以被分解：原问题可以被分解成规模更小、类似的子问题，以及能够以相同方式递归地进行划分。 2. 子问题是独立的：子问题之间是没有重叠的，互相没有依赖，可以被独立解决。 3. 子问题的解可以被合并：原问题的解通过合并子问题的解得来。

数据量的变化，算法会表现出不同的效率。例如，在输入 数据量较小时，算法 A 的运行时间比算法 B 更少；而输入数据量较大时，测试结果可能恰恰相反。因此，为 了得到有说服力的结论，我们需要测试各种规模的输入数据，而这需要耗费大量的计算资源。 2.1.2 理论估算 由于实际测试具有较大的局限性，我们可以考虑仅通过一些计算来评估算法的效率。这种估算方法被称为 「渐近复杂度分析 asymptotic == 1: return 1 return exp_recur(n - 1) + exp_recur(n - 1) + 1 指数阶增长非常迅速，在穷举法（暴力搜索、回溯等）中比较常见。对于数据规模较大的问题，指数阶是不 可接受的，通常需要使用动态规划或贪心等算法来解决。 5. 对数阶 ?(log ?) 与指数阶相反，对数阶反映了“每轮缩减到一半”的情况。设输入数据大小为 ? ，由于每轮缩减到一半，因 价指标。 ‧ 我们可以通过实际测试来评估算法效率，但难以消除测试环境的影响，且会耗费大量计算资源。 ‧ 复杂度分析可以克服实际测试的弊端，分析结果适用于所有运行平台，并且能够揭示算法在不同数据 规模下的效率。 时间复杂度 ‧ 时间复杂度用于衡量算法运行时间随数据量增长的趋势，可以有效评估算法效率，但在某些情况下可 能失效，如在输入的数据量较小或时间复杂度相同时，无法精确对比算法效率的优劣。

MIT Press. 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》 Preliminaries Major difficulties: 自上而下：严重依赖专家和用户的干预（规模有限、质量存疑） Conventional KE – Features and Challenges 1、知识获取困难 e.g., 领域知识难以表达（形式化），因为它往往是一种隐性知识、过程知识。 鸵鸟不会飞 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》 大数据时代催生KE飞速前进发 展 Preliminaries Preliminaries 大数据时代的机遇 – 大规模知识自动获取 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》  Big Data + Machine Learning[R1] + Powerful Computation[R2] Ref：Danqi Chen, etc. Reading Wikipedia to Answer Open-Domain Questions 大数据时代的到来，使得知识库技术突破了长久以来制约 其发展的规模与质量瓶颈。知识图谱是这一突破的代表性 产物。知识工程（KE）在知识图谱（KG）技术的引领下 进入了全新的阶段（大数据时代的知识工程BigKE）, BigKE将显著提升机器的认知水平。 Preliminaries