PyConChina2022-上海-Python Profiling原理深入探索与实践-羿莉

《PyConChina2022-上海-Python Profiling原理深入探索与实践-羿莉》摘要如下： ### 背景概述 - **定义**：Profiling是一种通过收集程序运行时信息，分析程序动态行为的方法，关注时间、空间复杂度、函数调用频率等。 - **步骤**：包括数据采集、统计分析、可视化和推理分析。 - **目的**：在云计算背景下，用于代码优化（提升效率）和资源优化（降低成本）。 ### Python Profiling的场景 - **即时（Ad hoc）Profiling**：针对特定问题进行优化。 - **持续（Continuous）Profiling**：长期监控和优化，但通常只到函数粒度，函数内部细节未知。 ### Profiling技术原理 - **确定性剖析 vs 采样剖析**：确定性剖析（如`line_profiler`）通过设置断点记录每行的执行时间；采样剖析（如`py-spy`）通过定期采样程序的调用栈。 - **函数粒度 vs 行粒度**：函数粒度分析只关注函数层面，行粒度分析更精细。 - **物理时间 vs CPU时间**：物理时间包括等待时间（如I/O），CPU时间只计计算术运算时间。 ### 工具链和解决方案 - **CPU Profiling工具**： - `cProfile`、`Profile`：内置工具，功能简单。 - `Pyinstrument`：带有可视化界面，适合即时分析。 - `line_profiler`：基于行粒度的剖析工具。 - `py-spy`：基于Rust实现，适合持续Profiling，支持多种输出格式。 - **Memory Profiling工具**： - `memory-profiler`：简单易用。 - `memray`：适合大规模场景，支持多线程和异步。 - **新兴方案**：`Pyroscope`，支持持续Profiling，适合多 язы言环境。 ### py-spy详解 - **优点**： - Overhead低，适合持续Profiling。 - 基于Rust实现，运行安全性高。 - 支持多种输出格式（如`speedscope`），提供`top`和`dump`功能。 - **缺点**： - 多数场景需要`sudo`权限。 - 在K8s环境中需启用`SYS_PTRACE`。 - 与macOS系统完整性保护（SIP）冲突。 - 对Idle线程和无GIL状态的限制。 ### 总结 本文深入探讨了Python Profiling的原理和技术，全面的介绍了常用工具链及其适用场景，并详细分析了新兴工具`py-spy`的优势和限制，为Python性能优化提供了实践指导。