Scrapy 2.7 Documentation

《Scrapy 2.7 Documentation》主要包含Scrapy框架的功能、安装指南、版本更新说明以及框架架构等内容。以下是核心内容的总结： ### 1. **版本更新说明** - **Scrapy 2.7.1**（2022-11-02）： - **新功能**：放宽了代理认证头部限制，恢复对scrapy-zyte-smartproxy的兼容性。 - **错误修复**：修复了多个问题，包括使用`-O/--overwrite-output`和`-t/--output-format`选项时的冲突，替换了deprecated asyncio APIs，并修复了Scrapy内部使用的deprecated APIs。 - **文档更新**：升级了contributor covenant至v2.1，修复了拼写错误。 - **Scrapy 2.3.0**（2020-08-04）： - **新功能**：支持Google Cloud Storage作为反馈存储后端，引入`FEED_EXPORT_BATCH_ITEM_COUNT`设置以分批次输出项目。 - **弃用**：移除了`scrapy.linkextractors`中的多个类，建议使用`LinkExtractor`代替。 - **Scrapy 1.3.3**（2017-03-10）： - 错误修复：恢复了缺失依赖时的导入错误NameValuePair默认设置。 - **Scrapy 1.3.2**（2017-02-13）： - 错误修复：修复了请求类序列化问题、tutorial中选择器的一致性及Twisted 17+中的TLS兼容性。 - **Scrapy 1.3.1**（2017-02-08）： - **新功能**：支持布尔设置的字符串值、`response.xpath()`的XPath变量和命名空间声明、Python 3.6支持。 - **测试**：开始在PyPy上运行测试，但仍未完全支持。 ### 2. **安装指南** - **支持的Python版本**：要求Python 3.7+，支持CPython和PyPy（部分测试仍失败，PyPy尚未正式支持）。 - **安装方式**： - 使用Anaconda/Miniconda的conda-forge渠道安装，推荐在Windows上使用。 - 或通过PyPI使用pip安装，建议在专用虚拟环境中安装。 ### 3. **架构概述** - Scrapy架构包括组件如调度器、下载器、蜘蛛、项目管道等，数据流从调度器开始，通过下载器、蜘蛛、项目管道，最终存储结果。 - 架构图清晰展示了组件交互和数据流向，还提供了详细说明，帮助用户理解Scrapy的运行机制。 ### 4. **文档清理与质量保障** - **文档清理**：涉及多个问题，优化了代码的类型提示、测试覆盖率、错误修复、格式化字符串使用及超类调用等，保持代码现代化。 ### 5. **贡献与版本控制** - 鼓励用户为Scrapy项目贡献力量，详细说明了贡献指南。 - 解释了Scrapy的版本命名规则及API的稳定性，帮助用户理解版本更新策略和兼容性。 ### 6. **常用设置** - **ITEM_PIPELINES_BASE**：默认启用的管道，用户项目中不应修改，应改用ITEM_PIPELINES。 - **JOBDIR**：爬虫状态保存目录，用于暂停/恢复爬虫。 - **日志设置**：包括启用日志、编码、日志文件名、日志格式等，帮助用户配置日志记录。 ### 7. **命令行工具** - **scrapy settings**：获取Scrapy设置值，显示项目或默认值。 - **runspider**：运行独立的蜘蛛文件，无需创建项目。 - **version**：查看Scrapy版本和依赖信息，适合生成错误报告。 - **bench**：运行快速基准测试，评估性能。 --- 以上为《Scrapy 2.7 Documentation》的核心内容总结，涵盖了主要功能更新、安装指南、架构概述及常用设置和工具的信息。