Scrapy 2.4 Documentation

## 《Scrapy 2.4 文档》摘要 ### 1. 基本概念 Scrapy 是一个用于抓取网站并提取结构化数据的框架，适用于数据挖掘、信息处理等多种应用。其核心组件包括： - **Item**：定义要抓取的数据结构。 - **Item Loaders**：用于填充提取到的数据。 - **Item Pipeline**：用于后处理和存储抓取到的数据。 - **Feed Exports**：支持以不同格式和存储方式输出数据。 ### 2. 设置 Scrapy 提供多种配置选项，包括： - 下载器设置（如 `DOWNLOAD_DELAY`、`DOWNLOAD_TIMEOUT`）。 - Feed 导出设置（如 `FEED_EXPORT_ENCODING`）。 - 爬虫限制设置（如 `DEPTH_LIMIT`、`DNSCACHE_SIZE`）。 ### 3. 命令行工具 Scrapy 提供多个命令行工具： - `scrapy settings`：查看设置值。 - `scrapy runspider`：运行自包含的 Spider 文件。 - `scrapy version`：查看 Scrapy 版本信息。 - `scrapy bench`：运行基准测试。 ### 4. 安装指南 - 支持 Python 3.6+，建议在专用虚拟环境中安装。 - 安装方式： - 使用 conda：`conda install -c conda-forge scrapy` - 使用 pip：`pip install Scrapy` ### 5. 主要功能 - 强大的可扩展性，支持通过信号和 API 插入自定义功能。 - 内置扩展和中间件，支持 cookie 处理、HTTP 特性、用户代理欺骗等。 - Telnet 控制台，用于调试和introspect 爬虫进程。 - 支持通过 Sitemap、XML/CSV 提取数据，并提供媒体管道和缓存 DNS 解析器。 ### 6. 异常 文档列出了 Scrapy 中的所有异常及其含义，帮助用户理解错误信息并进行调试。 ### 7. 发布说明 - 新增功能：支持 Python 3.8、新的 `Request.from_curl` 方法。 - 致命变化：移除了 Python 3.4 支持，更新了依赖项版本。 - 废弃设置：如 `SPIDER_MANAGER_CLASS`，建议改用 `SPIDER_LOADER_CLASS`。 ### 8. 示例案例 提供了一个简单的 Spider 示例，展示如何抓取引语数据并按页码分批处理。 --- 本摘要涵盖了 Scrapy 2.4 的核心功能、配置选项、命令行工具、安装方法及主要更新内容，旨在为用户提供一个清晰的入门指南和快速参考。