Scrapy 0.20 Documentation

《Scrapy 0.20 文档》摘要如下： --- ### 1. Scrapy 概述 Scrapy 是一个用于爬取网站并提取结构化数据的应用框架，适用于数据挖掘、信息处理和网页抓取等场景。它支持通过 API 或网页抓取提取数据，并提供了灵活的pipeline系统用于数据处理和存储。与 Django 模型类似，Scrapy 使用 Item 类定义数据结构，但更简单，专注于字段元数据。 --- ### 2. 核心功能与架构 - **Scrapy 引擎**：Scrapy 的核心组件，负责协调各部分工作流程。 - **调度器（Scheduler）**：管理爬取请求，确保高效执行。 - **下载器（Downloader）**：负责从网页获取内容。 - **爬虫（Spider）**：定义抓取规则，提取数据并生成 Item。 - **Item Pipeline**：处理和存储提取到的数据。 - **中间件（Middleware）**：扩展或修改 Scrapy 的默认行为。 --- ### 3. 新功能与改进 - **Scrapyd**：用于部署 Scrapy 爬虫到生产环境。 - **简化图片管道**：无需子类化即可使用图片管道。 - **Scrapy Shell**：默认显示 Scrapy 日志，方便调试。 - **可插拔的爬虫队列**：通过 “spider queues” 实现灵活的执行队列。 --- ### 4. 快速入门 - **安装**：在本地安装 Scrapy。 - **教程**：通过抓取 Dmoz 网站的实例，学习如何创建项目、定义 Item、编写爬虫和实现数据管道。 - **示例项目**：提供了一个名为 dirbot 的示例项目，帮助用户实践。 --- ### 5. 关键资源 - **帮助与支持**：包括 FAQ、用户邮件列表、IRC 频道和问题追踪器。 - **社区贡献**：鼓励用户在 Snipplr 上分享代码片段。 - **文档结构**：文档涵盖了 Scrapy 的架构、核心 API、Item 定义、爬虫编写及项目配置。 --- 通过以上内容，用户可以快速了解 Scrapy 的核心功能、架构和使用方法，并通过教程和示例项目快速上手。