Celery 2.3 Documentation

### 《Celery 2.3 Documentation》总结 #### 1. 概述 - 本文档描述了 Celery 2.3 版本的功能和使用方法，是 Celery 分布式任务队列的官方文档。 #### 2. 用户指南 - **任务基础**： - 任务上下文、日志记录、任务重试（支持自定义重试延迟）、任务选项（如任务名称、decorator 装饰器）等。 - 任务状态： - 内置状态：PENDING（等待）、STARTED（开始）、SUCCESS（成功）、FAILURE（失败）、RETRY（重试）、REVOKED（撤销）。 - 支持自定义任务状态。 - 自定义任务类：支持自定义任务类的创建和扩展。 - 任务运行和调度： - 支持 ETA（预计开始时间）和 countdown（倒计时）。 - 任务过期和序列化、连接和连接超时设置。 - 路由选项和 AMQP 选项。 - **工人指南**： - 工人启动、停止、重启和配置。 - 并发控制、持久撤销和时间限制。 - 支持低级操作，提供灵活性。 - **性能和策略**： - 任务粒度、异常处理、避免同步子任务发起、禁用不必要的速率限制。 - 提供多种性能优化策略。 #### 3. 内部机制 - **模块参考**： - `celery.utils`： - 提供多种实用工具函数，如 `chunks`（将迭代器分割为固定大小的块）、`cry`（获取所有活动线程的堆栈跟踪）、`deprecated`（处理弃用功能）、`find_module`（支持点号的模块查找）等。 - `dispatch` 模块：支持信号连接和断开，管理信号接收者。 - 其他模块： - `celery.worker`：提供工人组件和消费者逻辑。 - `celery.concurrency`：提供多种并发模型（如多线程、多进程、事件驱动）。 - **内部变更**： - 模块重命名：`celery.worker.listener` 重命名为 `celery.worker.consumer`，`CarrotListener` 重命名为 `Consumer`。 - 移除已弃用模块：`celery.models` 和 `celery.management.commands`。 - 安全性更新： - 移除 `RemoteExecuteTask` 及相关函数（如 `dmap`、`execute_remote`），因其存在潜在的安全风险。 - 修复统计命令传输broker密码的安全漏洞。 #### 4. 变更历史 - **版本更新**： - 2.3.5、2.3.4 等版本发布，包含安全修复和功能改进。 - 2.3.0 版本主要更新： - 支持通过 kombu.pidbox 提供远程控制命令。 - 移除已弃用功能，优化模块结构。 - **已移除功能**： - `celery.execute.apply_async`、`apply`、`delay_task` 等功能已弃用，建议使用任务实例的直接调用。 - `TaskSet` 从 `celery.task.base` 导入已弃用。 #### 5. API 参考 - 提供详细的模块和类参考，包括： - `celery.app`、`celery.task`、`celery.result`、`celery.schedules`、`celery.exceptions` 等核心模块。 - 扩展模块：如 `celery.contrib.abortable`、`celery.contrib.batches` 等。 #### 6. 安全提示 - 使用 `RemoteExecuteTask` 及相关功能可能存在安全风险，建议谨慎使用。 - 建议在通信中使用加密，以防止密码嗅探。 #### 总结 本文档全面介绍了 Celery 2.3 的功能、使用方法、内部实现和 API 参考，重点突出了任务管理、工人配置、性能优化和安全性改进。用户可以根据需要选择阅读相关部分，以便更好地使用 Celery 进行分布式任务调度。