. . . . . . . . . . . . . . . . . . . . . . 27 3.3.4.1 数据并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.3.4.2 设备并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . • OpenGL 支持的 GPU, 比如 AMD, 通过 PlaidML Keras 后端。 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 • Keras 内置对多 GPU 数据并行的支持。 • 优步的 Horovod 对 Keras 模型有第一流的支持。 • Keras 模型可以被转换为 TensorFlow 估计器并在 Google Cloud 的 GPU 集群上训练。 3.3.4 如何在多 GPU 上运行 Keras 模型? 我们建议使用 TensorFlow 后端。有两种方法可在多个 GPU 上运行单个模型：数据并行和设 备并行。 在大多数情况下，你最需要的是数据并行。 3.3.4.1 数据并行 数据并行包括在每个设备上复制一次目标模型，并使用每个模型副本处理不同部分的输入数据。 Keras 有一个内置的实用函数 keras.utils.multi_

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785 17 并发执行 799 17.1 threading --- 基于线程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 799 17.1.1 语句中使用锁、条件和信号量 . . . . . . . . . . . . . . . . . . . . . . . . . . . 811 17.2 multiprocessing --- 基于进程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 812 17.2.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 859 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 860 17.5.1 Executor 对象 . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 841 17 并发执行 855 17.1 threading --- 基于线程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 855 17.1.1 线程本地数据 语句中使用锁、条件和信号量 . . . . . . . . . . . . . . . . . . . . . . . . . 867 17.2 multiprocessing --- 基于进程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 868 17.2.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914 17.5.1 Executor 对象 . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 837 17 并发执行 851 17.1 threading --- 基于线程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 851 17.1.1 线程本地数据 语句中使用锁、条件和信号量 . . . . . . . . . . . . . . . . . . . . . . . . . 863 17.2 multiprocessing --- 基于进程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 864 17.2.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910 17.5.1 Executor 对象 . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813 17 并发执行 827 17.1 threading --- 基于线程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 827 17.1.1 线程本地数据 语句中使用锁、条件和信号量 . . . . . . . . . . . . . . . . . . . . . . . . . 839 17.2 multiprocessing --- 基于进程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 840 17.2.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.5.1 Executor 对象 . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813 17 并发执行 827 17.1 threading --- 基于线程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 827 17.1.1 线程本地数据 语句中使用锁、条件和信号量 . . . . . . . . . . . . . . . . . . . . . . . . . 839 17.2 multiprocessing --- 基于进程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 840 17.2.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.5.1 Executor 对象 . . . . . . . .

. . . . . . . . . 722 17 并发执行 755 17.1 threading --- 基于线程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755 17.2 multiprocessing --- 基于进程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813 17.6 subprocess --- 子进程管理 . . . . . . . . . . . . . . . . . . . . . . . . . . 1581 26.10 test.support.script_helper --- 用于 Python 执行测试工具 . . . . . . . . . . . . . . . . 1593 27 调试和分析 1595 27.1 审计事件表 . . . . . . . . . . . . . . .

. . . . . . . . . . 673 17 并发执行 703 17.1 threading --- 基于线程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703 17.2 multiprocessing --- 基于进程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757 17.6 subprocess --- 子进程管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1476 26.10 test.support.script_helper --- 用于 Python 执行测试工具 . . . . . . . . . . . . . . 1488 27 调试和分析 1491 27.1 审计事件表 . . . . . . . . . . . . . . . . .

. . . . . . . . . . 673 17 并发执行 703 17.1 threading --- 基于线程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703 17.2 multiprocessing --- 基于进程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757 17.6 subprocess --- 子进程管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1476 26.10 test.support.script_helper --- 用于 Python 执行测试工具 . . . . . . . . . . . . . . 1488 27 调试和分析 1491 27.1 审计事件表 . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 731 17 并发执行 745 17.1 threading --- 基于线程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 745 17.1.1 线程本地数据 语句中使用锁、条件和信号量 . . . . . . . . . . . . . . . . . . . . . . . . . 757 17.2 multiprocessing --- 基于进程的并行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757 17.2.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 801 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 801 17.5.1 Executor 对象 . . . . . . . . .