Python与云 ——AWS的Python原生应用浅析 张孝峰 亚马逊AWS资深解决方案架构师 Python 30周年 Python发展时间线 2019/10 v3.8 v2.7.17 开始实现 1989/12 v0.9.0 1991/2 v1.0.0 1994/1 v2.0 2000/10 v2.5 2006/9 v2.6 2008/10 v3.0 2008/12 AWS同样功能丰富 AWS向客户提供超过165项功能全面的服务 涵盖计算、存储、数据库、联网、分析、机器人、 机器学习与人工智能、物联网、移动、安全、混 合云、虚拟现实与增强现实、媒体，以及应用开 发、部署与管理等方面。 如何管理和使用海量的云API Amazon Athena Amazon Redshift 超过165项服务 数千个不同的API AWS Tools and SDKs • Python www.mydomain.com ECS Cluster 应用负载均衡器 OAuth Task Weather Task Portal Task 12要素应用宣言 尽可能利用现代化的云平台 • 无需猜测容量 • 快速创新，低风险试错 • 摆脱无差异化的工作 • 数分钟全球化部署 Infrastructure as Code AWS CloudFormation 这个样例

第 1 章：准备工作 在通过这本书学习 Flask 开发前，我假设你了解了 Python 和 HTML 的基础知识。 你的 Python 版本可以是 2.7，也可以是 3.3 及以上版本。电脑的操作系统可以是 Windows，也可以是 macOS 或 Linux。 安装编辑器和浏览器 对于编辑器来说，每个人都有不同的偏好，你可以自由选择。可以选择功能丰富的 IDE（集成开发环境），比如 这个命令会打印出当前计算机用户的名称。其他常用的命令还有 cd 命令，用来 切换目录（change directory）； mkdir 命令，用来创建目录（make directory）。在不同的操作系统上，执行某个操作的命令可能会有所不同，在必要 的地方，书里会进行提示。 我们先来为我们的程序创建一个文件夹： $ mkdir watchlist $ cd watchlist 除非特别说 MODIFICATIONS'] = False # 关闭对模型 修改的监控 # 在扩展类实例化前加载配置 db = SQLAlchemy(app) 如果你固定在某一个操作系统上进行开发，部署时也使用相同的操作系统，那么可 以不用这么做，直接根据你的需要写出前缀即可。 提示 你可以访问 Flask 文档的配置页面查看 Flask 内置的配置变量；同样的，在 Flask-SQLAlchemy

开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 • ⽐比MySQL快⼏几百倍 • 稳定可靠，⾮非Hadoop体系， • 类SQL功能 • 缺点： • 聚合结果要在⼀一台机器器内存内 • 缺少完整更更新删除操作 • ⽀支持操作系统有限 ⼤大数据⽅方案开源全景图（部分）与Python作⽤用 • 数据治理理：Python ETL、PySpark、Flink/Blink-Python • 机器器学习：Airflow（编排）+ 如下机器器学习框架 • ⾃自动化：Ansible、Puppet等 • AI增强 - 降噪去重与模式识别 • 对海海量量⽇日志进⾏行行模式聚类（例例如从65万条⽇日志，聚类出50条⽇日志模式） 阿⾥里里云⽇日志服务 Sumologic Splunk 消除告警疲劳 • 传统阈值⽅方式的告警并不不能解决问题： • 阈值难以合理理，或会⾮非常复杂 • 有效阈值维护成本较⾼高 • 过滤后的告警数量量依然较多

version_string (str): 浏览器版本字符串. 比如‘5.1’ – os.family (str): 操作系统家族. 比如‘iOS’ – os.version (tuple): 操作系统版本元组. 比如 (5, 1) – os.version_string (str): 操作系统版本字符串. 比如‘5.1’ – device.family (str): 设备家族. 比如‘iPhone’ device.brand (str): 设备品牌. 比如‘Apple’ – device.model (str): 设备型号. 比如‘iPhone’ • user_language (str): 用户操作系统使用的语言. 比如 'zh-CN' • server_host (str): 当前会话的服务器 host，包含域名和端口，端口为 80 时可以被省略 • origin (str): 当 前 用 应用的 WSGI 或 ASGI app。很适合当你不想使用 Web 框架内置的 server 来启动服务的情况。比如，你想使用其他 WSGI server 来启动应用，或者你正在将应用部 署到一些云环境中。目前仅在 Flask、Django 和 FastApi 后端中支持 wsgi_app() / asgi_app() 在 1.1 版更改: Added the cdn parameter in

version_string (str): 浏览器版本字符串. 比如‘5.1’ – os.family (str): 操作系统家族. 比如‘iOS’ – os.version (tuple): 操作系统版本元组. 比如 (5, 1) – os.version_string (str): 操作系统版本字符串. 比如‘5.1’ – device.family (str): 设备家族. 比如‘iPhone’ device.brand (str): 设备品牌. 比如‘Apple’ – device.model (str): 设备型号. 比如‘iPhone’ • user_language (str): 用户操作系统使用的语言. 比如 'zh-CN' • server_host (str): 当前会话的服务器 host，包含域名和端口，端口为 80 时可以被省略 • origin (str): 当 前 用 应用的 WSGI 或 ASGI app。很适合当你不想使用 Web 框架内置的 server 来启动服务的情况。比如，你想使用其他 WSGI server 来启动应用，或者你正在将应用部 署到一些云环境中。目前仅在 Flask、Django 和 FastApi 后端中支持 wsgi_app() / asgi_app() 在 1.1 版更改: Added the cdn parameter in

version_string (str): 浏览器版本字符串. 比如‘5.1’ – os.family (str): 操作系统家族. 比如‘iOS’ – os.version (tuple): 操作系统版本元组. 比如 (5, 1) – os.version_string (str): 操作系统版本字符串. 比如‘5.1’ – device.family (str): 设备家族. 比如‘iPhone’ device.brand (str): 设备品牌. 比如‘Apple’ – device.model (str): 设备型号. 比如‘iPhone’ • user_language (str): 用户操作系统使用的语言. 比如 'zh-CN' • server_host (str): 当前会话的服务器 host，包含域名和端口，端口为 80 时可以被省略 • origin (str): 当 前 用 应用的 WSGI 或 ASGI app。很适合当你不想使用 Web 框架内置的 server 来启动服务的情况。比如，你想使用其他 WSGI server 来启动应用，或者你正在将应用部 署到一些云环境中。目前仅在 Flask、Django 和 FastApi 后端中支持 wsgi_app() / asgi_app() 在 1.1 版更改: Added the cdn parameter in

version_string (str): 浏览器版本字符串. 比如‘5.1’ – os.family (str): 操作系统家族. 比如‘iOS’ – os.version (tuple): 操作系统版本元组. 比如 (5, 1) – os.version_string (str): 操作系统版本字符串. 比如‘5.1’ – device.family (str): 设备家族. 比如‘iPhone’ device.brand (str): 设备品牌. 比如‘Apple’ – device.model (str): 设备型号. 比如‘iPhone’ • user_language (str): 用户操作系统使用的语言. 比如 'zh-CN' • server_host (str): 当前会话的服务器 host，包含域名和端口，端口为 80 时可以被省略 • origin (str): 当 前 用 应用的 WSGI 或 ASGI app。很适合当你不想使用 Web 框架内置的 server 来启动服务的情况。比如，你想使用其他 WSGI server 来启动应用，或者你正在将应用部 署到一些云环境中。目前仅在 Flask、Django 和 FastApi 后端中支持 wsgi_app() / asgi_app() 在 1.1 版更改: Added the cdn parameter in

version_string (str): 浏览器版本字符串. 比如‘5.1’ – os.family (str): 操作系统家族. 比如‘iOS’ – os.version (tuple): 操作系统版本元组. 比如 (5, 1) – os.version_string (str): 操作系统版本字符串. 比如‘5.1’ – device.family (str): 设备家族. 比如‘iPhone’ device.brand (str): 设备品牌. 比如‘Apple’ – device.model (str): 设备型号. 比如‘iPhone’ • user_language (str): 用户操作系统使用的语言. 比如 'zh-CN' • server_host (str): 当前会话的服务器 host，包含域名和端口，端口为 80 时可以被省略 • origin (str): 当 前 用 应用的 WSGI 或 ASGI app。很适合当你不想使用 Web 框架内置的 server 来启动服务的情况。比如，你想使用其他 WSGI server 来启动应用，或者你正在将应用部 署到一些云环境中。目前仅在 Flask、Django 和 FastApi 后端中支持 wsgi_app() / asgi_app() 在 1.1 版更改: Added the cdn parameter in

version_string (str): 浏览器版本字符串. 比如‘5.1’ – os.family (str): 操作系统家族. 比如‘iOS’ – os.version (tuple): 操作系统版本元组. 比如 (5, 1) – os.version_string (str): 操作系统版本字符串. 比如‘5.1’ – device.family (str): 设备家族. 比如‘iPhone’ device.brand (str): 设备品牌. 比如‘Apple’ – device.model (str): 设备型号. 比如‘iPhone’ • user_language (str): 用户操作系统使用的语言. 比如 'zh-CN' • server_host (str): 当前会话的服务器 host，包含域名和端口，端口为 80 时可以被省略 • origin (str): 当 前 用 应用的 WSGI 或 ASGI app。很适合当你不想使用 Web 框架内置的 server 来启动服务的情况。比如，你想使用其他 WSGI server 来启动应用，或者你正在将应用部 署到一些云环境中。目前仅在 Flask、Django 和 FastApi 后端中支持 wsgi_app() / asgi_app() 在 1.1 版更改: Added the cdn parameter in

version_string (str): 浏览器版本字符串. 比如‘5.1’ – os.family (str): 操作系统家族. 比如‘iOS’ – os.version (tuple): 操作系统版本元组. 比如 (5, 1) – os.version_string (str): 操作系统版本字符串. 比如‘5.1’ – device.family (str): 设备家族. 比如‘iPhone’ device.brand (str): 设备品牌. 比如‘Apple’ – device.model (str): 设备型号. 比如‘iPhone’ • user_language (str): 用户操作系统使用的语言. 比如 'zh-CN' • server_host (str): 当前会话的服务器 host，包含域名和端口，端口为 80 时可以被省略 • origin (str): 当 前 用 应用的 WSGI 或 ASGI app。很适合当你不想使用 Web 框架内置的 server 来启动服务的情况。比如，你想使用其他 WSGI server 来启动应用，或者你正在将应用部 署到一些云环境中。目前仅在 Flask、Django 和 FastApi 后端中支持 wsgi_app() / asgi_app() 在 1.1 版更改: Added the cdn parameter in