★第16章、多进程与多线程 ★多进程mul�processing.Process类 python多进程（mul�-process）适用于计算密集型的任务， 对于I/O密集型任务应该使用多线程（mul�-thread），比如磁盘读写， 网络通信等 在python中，对于计算密集型任务，多进程占优势；对于IO密集型任 务，多线程占优势。 使用多进程时，各进程拥有独立的内存空间，无法共享内存空间，所 "__main__": main() 单线程顺序执行耗时: 98.03768038749695 线程池并发执行耗时: 36.293702602386475 ★多线程threading.Thread类 python多线程（mul�-thread）适用于I/O密集型的任务， 对于计算密集型任务应该使用多进程（mul�-process） Python3有两个标准库 _thread 和 threading print(f'主线程结束时间：{time.strftime("%Y-%m-%d %H:%M:%S")}') if __name__ == "__main__": main() ★多线程同步之lock（互斥锁） 使用threading.Lock()方法创建一个互斥锁， 互斥锁在同一时刻只允许一个线程访问共享数据 import threading import random num

...................................... 267 Python3 基础教程【完整版】 http://www.yeayee.com/ 3/531 多线程 .................................................................................................. 这两类网络服务，而要同时服务多个用户就必须使用多进 程或多线程模型，这两种模型由 ForkingMixIn 和 ThreadingMixIn 提供。 通过组合，我们就可以创造出合适的服务来。 比如，编写一个多进程模式的 TCP 服务，定义如下： class MyTCPServer(TCPServer, ForkingMixIn): pass 编写一个多线程模式的 UDP 服务，定义如下： class 这种复杂的进程可以有多个线程，多个线程可以同时执行，多 线程的执行方式和多进程是一样的，也是由操作系统在多个线程之间快 速切换，让每个线程都短暂地交替运行，看起来就像同时执行一样。当 然，真正地同时执行多线程需要多核 CPU 才可能实现。 我们前面编写的所有的 Python 程序，都是执行单任务的进程，也就是 只有一个线程。如果我们要同时执行多个任务怎么办？ 有两种解决方案： 一种是启动多

• 解释执⾏行行：序列列化慢（动态特性的tradeoff） Flask Production Server • gunicorn 多进程解决多核利利⽤用率问题 • gevent 协程替代多线程⽹网络模型 • 更更⾼高效的序列列化lib 3 定位性能瓶颈 Profile before Optimizing Python Profilers • time.time() • cProfile 放个flamegraph • 开源地址 wrk • 制造压⼒力力 • 挖掘整体性能瓶颈 • 实现⾮非常精妙的压⼒力力⼯工具，强烈烈安利利（要不不要写个py binding） 4 动⼿优化 多线程服务器的问题 • 每个请求单独进GPU，利利⽤用率不不⾼高 • ⼤大量量请求并⾏行行，CUDA会爆 • wrk截图 service-streamer • 请求排队组装成batch，再⼀一起送进GPU 再次说明：先profile再优化 pybind c++ extenstion • pybind11 • 感谢知乎cuBERT提供的c++实现 • ⽤用pybind11⼀一波封装 • 再加上正经多线程 model inference optimize • 终于到了了我们直觉的优化部分
 • 先补了了补GPU和Cuda的知识
 • ⼏几个可以选择的⽅方案：
 1. 买更更多更更贵的机器器——fp16、v100、cpu化


implementation，解析速度提升10倍+ 缺点举例3-并发机制 CPU利用率不高 切换、调度代价 其它任务cpu抢占 多进程 协程 多线程 子程序内切换，无线程切换开销 不加锁，单一子程序内执行效率高 无法多子任务并发 解决办法：CPU密集型并发任务独立为微服务，多线程/协程调用 GIL锁 无法并发 4 总结展望 总结、期望 总结 理解业务，对问题 进行合理建模 选择合适的语言完

一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742 17.8 _thread --- 底层多线程 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 745 17.9 _dummy_thread --- else: print("Object is still live!") o.do_something_useful() 使用单独的“存活”测试会在多线程应用中制造竞争条件；其他线程可能导致某个弱引用在该弱引用被 调用前就失效；上述的写法在多线程应用和单线程应用中都是安全的。 特别版本的ref 对象可以通过子类化来创建。在WeakValueDictionary 的实现中就使用了这种方式 来减少 decimal.DefaultContext 此上下文被Context 构造器用作新上下文的原型。改变一个字段（例如精度）的效果将是改 变Context 构造器所创建的新上下文的默认值。 此上下文最适用于多线程环境。在线程开始前改变一个字段具有设置全系统默认值的效果。不推荐 在线程开始后改变字段，因为这会要求线程同步避免竞争条件。 在单线程环境中，最好完全不使用此上下文。而是简单地电显式创建上下文，具体如下所述。

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 786 17.8 _thread --- 底层多线程 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 789 17.9 _dummy_thread else: print("Object is still live!") o.do_something_useful() 使用单独的“存活”测试会在多线程应用中制造竞争条件；其他线程可能导致某个弱引用在该弱引用被调用 前就失效；上述的写法在多线程应用和单线程应用中都是安全的。 特别版本的ref 对象可以通过子类化来创建。在WeakValueDictionary 的实现中就使用了这种方式来减 少 decimal.DefaultContext 此上下文被Context 构造器用作新上下文的原型。改变一个字段（例如精度）的效果将是改变Context 构造器所创建的新上下文的默认值。 此上下文最适用于多线程环境。在线程开始前改变一个字段具有设置全系统默认值的效果。不推荐在 线程开始后改变字段，因为这会要求线程同步避免竞争条件。 在单线程环境中，最好完全不使用此上下文。而是简单地电显式创建上下文，具体如下所述。

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 831 17.10 _thread --- 底层多线程 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 832 18 网络和进程间通信 835 18 (续上页) print("Object is still live!") o.do_something_useful() 使用单独的“存活”测试会在多线程应用中制造竞争条件；其他线程可能导致某个弱引用在该弱引用被 调用前就失效；上述的写法在多线程应用和单线程应用中都是安全的。 特别版本的ref 对象可以通过子类化来创建。在WeakValueDictionary 的实现中就使用了这种方式 来减少 decimal.DefaultContext 此上下文被Context 构造器用作新上下文的原型。改变一个字段（例如精度）的效果将是改 变Context 构造器所创建的新上下文的默认值。 此上下文最适用于多线程环境。在线程开始前改变一个字段具有设置全系统默认值的效果。不推荐 在线程开始后改变字段，因为这会要求线程同步避免竞争条件。 在单线程环境中，最好完全不使用此上下文。而是简单地电显式创建上下文，具体如下所述。

上下文变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785 17.10 _thread --- 底层多线程 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788 17.11 _dummy_thread else: print("Object is still live!") o.do_something_useful() 使用单独的“存活”测试会在多线程应用中制造竞争条件；其他线程可能导致某个弱引用在该弱引用被 调用前就失效；上述的写法在多线程应用和单线程应用中都是安全的。 特别版本的ref 对象可以通过子类化来创建。在WeakValueDictionary 的实现中就使用了这种方式 来减少 decimal.DefaultContext 此上下文被Context 构造器用作新上下文的原型。改变一个字段（例如精度）的效果将是改 变Context 构造器所创建的新上下文的默认值。 此上下文最适用于多线程环境。在线程开始前改变一个字段具有设置全系统默认值的效果。不推荐 在线程开始后改变字段，因为这会要求线程同步避免竞争条件。 在单线程环境中，最好完全不使用此上下文。而是简单地电显式创建上下文，具体如下所述。

上下文变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785 17.10 _thread --- 底层多线程 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788 17.11 _dummy_thread else: print("Object is still live!") o.do_something_useful() 使用单独的“存活”测试会在多线程应用中制造竞争条件；其他线程可能导致某个弱引用在该弱引用被 调用前就失效；上述的写法在多线程应用和单线程应用中都是安全的。 特别版本的ref 对象可以通过子类化来创建。在WeakValueDictionary 的实现中就使用了这种方式 来减少 decimal.DefaultContext 此上下文被Context 构造器用作新上下文的原型。改变一个字段（例如精度）的效果将是改 变Context 构造器所创建的新上下文的默认值。 此上下文最适用于多线程环境。在线程开始前改变一个字段具有设置全系统默认值的效果。不推荐 在线程开始后改变字段，因为这会要求线程同步避免竞争条件。 在单线程环境中，最好完全不使用此上下文。而是简单地电显式创建上下文，具体如下所述。

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 892 17.10 _thread --- 底层多线程 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 893 18 网络和进程间通信 897 else: print("Object is still live!") o.do_something_useful() 使用单独的“存活”测试会在多线程应用中制造竞争条件；其他线程可能导致某个弱引用在该弱引用被调用 前就失效；上述的写法在多线程应用和单线程应用中都是安全的。 特别版本的ref 对象可以通过子类化来创建。在WeakValueDictionary 的实现中就使用了这种方式来减 少 decimal.DefaultContext 此上下文被Context 构造器用作新上下文的原型。改变一个字段（例如精度）的效果将是改变Context 构造器所创建的新上下文的默认值。 此上下文最适用于多线程环境。在线程开始前改变一个字段具有设置全系统默认值的效果。不推荐在 线程开始后改变字段，因为这会要求线程同步避免竞争条件。 在单线程环境中，最好完全不使用此上下文。而是简单地电显式创建上下文，具体如下所述。