Python与云 ——AWS的Python原生应用浅析 张孝峰 亚马逊AWS资深解决方案架构师 Python 30周年 Python发展时间线 2019/10 v3.8 v2.7.17 开始实现 1989/12 v0.9.0 1991/2 v1.0.0 1994/1 v2.0 2000/10 v2.5 2006/9 v2.6 2008/10 v3.0 2008/12 AWS同样功能丰富 AWS向客户提供超过165项功能全面的服务 涵盖计算、存储、数据库、联网、分析、机器人、 机器学习与人工智能、物联网、移动、安全、混 合云、虚拟现实与增强现实、媒体，以及应用开 发、部署与管理等方面。 如何管理和使用海量的云API Amazon Athena Amazon Redshift 超过165项服务 数千个不同的API AWS Tools and SDKs • Python www.mydomain.com ECS Cluster 应用负载均衡器 OAuth Task Weather Task Portal Task 12要素应用宣言 尽可能利用现代化的云平台 • 无需猜测容量 • 快速创新，低风险试错 • 摆脱无差异化的工作 • 数分钟全球化部署 Infrastructure as Code AWS CloudFormation 这个样例

开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 • ⾃自动发现 • 主要⽤用于短期指标 • ⽀支持20+外部存储⽤用于⻓长期存储 通⽤用指标类可视化 - grafana • 通⽤用的指标类可视化⽅方案 • 近70 数据源（⽀支持混合） • 新推简单⽇日志⽅方案：Promtail+Loki • ⾃自由报表定制与构建 • 30+ 可视化插件 • ⽀支持查询原始指标 prometheus的扩展 - thanos • 如下机器器学习框架 • ⾃自动化：Ansible、Puppet等 • AI增强 - 降噪去重与模式识别 • 对海海量量⽇日志进⾏行行模式聚类（例例如从65万条⽇日志，聚类出50条⽇日志模式） 阿⾥里里云⽇日志服务 Sumologic Splunk 消除告警疲劳 • 传统阈值⽅方式的告警并不不能解决问题： • 阈值难以合理理，或会⾮非常复杂 • 有效阈值维护成本较⾼高 • 过滤后的告警数量量依然较多

编码，用来把中文编进 去。 你可以想得到的是，全世界有上百种语言，日本把日文编到 Shift_JIS 里，韩国把韩文编到 Euc-kr 里，各国有各国的标准，就会不可避免地出 现冲突，结果就是，在多语言混合的文本中，显示出来会有乱码。 Python3 基础教程【完整版】 http://www.yeayee.com/ 44/531 因此，Unicode 应运而生。Unicode 把所有语言都统一到一套编码里， pass 参数组合 在 Python 中定义函数，可以用必选参数、默认参数、可变参数、关键 字参数和命名关键字参数，这 5 种参数都可以组合使用，除了可变参数 无法和命名关键字参数混合。但是请注意，参数定义的顺序必须是：必 选参数、默认参数、可变参数/命名关键字参数和关键字参数。 比如定义一个函数，包含上述若干种参数： def f1(a, b, c=0, *args, **kw): Python3 基础教程【完整版】 http://www.yeayee.com/ 287/531 如 Apache。为了缓解这个问题，IIS 和 Apache 现在又有多进程+多线程 的混合模式，真是把问题越搞越复杂。 线程切换 无论是多进程还是多线程，只要数量一多，效率肯定上不去，为什么呢？ 我们打个比方，假设你不幸正在准备中考，每天晚上需要做语文、数学、 英语、物理、化学这

先把Python字节码翻译到一个精简版本， 便于分析 指令集这么大时准备追x86汇编了？ 指令集减小到15以内 混合IR tmp = Call(x, (1, 2)) Python字节码 LOAD_FAST f LOAD_CONST (1, 2) CALL_FUNCTION 1 混合是指Stack Machine和 Register-based Machine语义共存 为何不最直接翻 译成寄存器语义？

Reference, 发布 3.10.15 类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 以两个（非复数）数字为参数，在作整数除法时，返回商和余数。若操作数为混合类型，则适用二进 制算术运算符的规则。对于整数而言，结果与 (a // b, a % b) 相同。对于浮点数则结果为 (q, a % b)，其中 q 通常为 math.floor(a / b)，但可能比它小 不必是一个 Python 标识符 (参 见setattr())。 13 The Python Library Reference, 发布 3.10.15 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性）名 称以使用getattr() 来提取它。 globals() 返回实现当前模块命名空间的字典。对于函数内的代码，这是在定义函数时设置的，无论函数在哪里 __getattribute__() 中或是通过 __slots__。一个名称不为标识符的属性将不可使用点号标记 来访问，但是可以通过getattr() 等来访问。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性）名 称以便使用setattr() 来设置它。 class slice(stop) class slice(start, stop[, step])

能在不同版本之间改变。例如，当实参是一个 类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 它将两个（非复数）数字作为实参，并在执行整数除法时返回一对商和余数。对于混合操作数类型，适 用双目算术运算符的规则。对于整数，结果和 (a // b, a % b) 一致。对于浮点数，结果是 (q, a % b) ，q 通常是 math.floor(a / b) 但可能会比 例如，getattr(x, 'foobar') 等同于 x.foobar。如果指定的属性不存在，且提供了 default 值， 则返回它，否则触发AttributeError。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性）名 称以使用getattr() 来提取它。 globals() 返回实现当前模块命名空间的字典。对于函数内的代码，这是在定义函数时设置的，无论函数在哪里 性或者新增属性。函数会将值赋给该属性，只要对象允许这种操作。例如，setattr(x, 'foobar', 123) 等价于 x.foobar = 123。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性）名 称以便使用setattr() 来设置它。 class slice(stop) class slice(start, stop[, step])

也可能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 以两个（非复数）数字为参数，在作整数除法时，返回商和余数。若操作数为混合类型，则适用 二进制算术运算符的规则。对于整数而言，结果与 (a // b, a % b) 相同。对于浮点数则结果 为 (q, a % b)，其中 q 通常为 math.floor(a / b)，但可能比它小 存在，则如果提供了 default 则返回该值，否则将引发AttributeError。name 不必是一个 Python 标识符 (参见setattr())。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性） 名称以使用getattr() 来提取它。 globals() 返回实现当前模块命名空间的字典。对于函数内的代码，这是在定义函数时设置的，无论函数在哪 用点号标 21 The Python Library Reference, 发布 3.10.15 记来访问，但是可以通过getattr() 等来访问。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性） 名称以便使用setattr() 来设置它。 class slice(stop) class slice(start, stop[, step])

能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 它将两个（非复数）数字作为实参，并在执行整数除法时返回一对商和余数。对于混合操作数类型， 适用双目算术运算符的规则。对于整数，结果和 (a // b, a % b) 一致。对于浮点数，结果是 (q, a % b) ，q 通常是 math.floor(a / b) 但可能会比 的值。例如，getattr(x, 'foobar') 等同于 x.foobar。如果指定的属性不存在，且提供了 default 值，则返回它，否则触发AttributeError。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性） 名称以使用getattr() 来提取它。 globals() 返回实现当前模块命名空间的字典。对于函数内的代码，这是在定义函数时设置的，无论函数在哪 现有属性或者新增属性。函数会将值赋给该属性，只要对象允许这种操作。例如，setattr(x, 'foobar', 123) 等价于 x.foobar = 123。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性） 名称以便使用setattr() 来设置它。 class slice(stop) class slice(start, stop[, step])

能在不同版本之间改变。例如，当实参是一个 类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 它将两个（非复数）数字作为实参，并在执行整数除法时返回一对商和余数。对于混合操作数类型，适 用双目算术运算符的规则。对于整数，结果和 (a // b, a % b) 一致。对于浮点数，结果是 (q, a % b) ，q 通常是 math.floor(a / b) 但可能会比 和二进制数）会生成整数。包含小数点或幂运算符的数字字面值会生成浮点数。在数字字面值末尾加上 'j' 或 'J' 会生成虚数（实部为零的复数），你可以将其与整数或浮点数相加来得到具有实部和虚部的复数。 Python 完全支持混合运算：当一个二元算术运算符的操作数有不同数值类型时，” 较窄” 类型的操作数会拓 宽到另一个操作数的类型，其中整数比浮点数窄，浮点数比复数窄。不同类型的数字之间的比较，同比较这 些数字的精确值一样。 操作 bytes 和 bytearray 对象都支持通用 序列操作。它们不仅能与相同类型的操作数，也能与任何bytes-like object 进 行互操作。由于这样的灵活性，它们可以在操作中自由地混合而不会导致错误。但是，操作结果的返回值类 型可能取决于操作数的顺序。 注解: bytes 和 bytearray 对象的方法不接受字符串作为其参数，就像字符串的方法不接受 bytes 对象作为其参

能在不同版本之间改变。例如，当实参是一个 类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 它将两个（非复数）数字作为实参，并在执行整数除法时返回一对商和余数。对于混合操作数类型，适 用双目算术运算符的规则。对于整数，结果和 (a // b, a % b) 一致。对于浮点数，结果是 (q, a % b) ，q 通常是 math.floor(a / b) 但可能会比 和二进制数）会生成整数。包含小数点或幂运算符的数字字面值会生成浮点数。在数字字面值末尾加上 'j' 或 'J' 会生成虚数（实部为零的复数），你可以将其与整数或浮点数相加来得到具有实部和虚部的复数。 Python 完全支持混合运算：当一个二元算术运算符的操作数有不同数值类型时，” 较窄” 类型的操作数会拓 宽到另一个操作数的类型，其中整数比浮点数窄，浮点数比复数窄。不同类型的数字之间的比较，同比较这 些数字的精确值一样。 操作 bytes 和 bytearray 对象都支持通用 序列操作。它们不仅能与相同类型的操作数，也能与任何bytes-like object 进 行互操作。由于这样的灵活性，它们可以在操作中自由地混合而不会导致错误。但是，操作结果的返回值类 型可能取决于操作数的顺序。 注解: bytes 和 bytearray 对象的方法不接受字符串作为其参数，就像字符串的方法不接受 bytes 对象作为其参