Scrapy 0.20 Documentation

# Scrapy 0.20 文档总结 本文档为Scrapy框架的官方文档，版本为0.20.2，包含了Scrapy的核心功能、使用方法及相关说明，旨在帮助用户快速上手并深入理解Scrapy的各项特性。 ## 1. Scrapy概述 Scrapy是一个用于网页抓取和数据提取的应用程序框架，适用于数据挖掘、信息处理和网页抓取等多种场景。它不仅支持通过网页抓取数据，还可以通过API提取数据，或者作为通用网络爬虫使用。 ## 2. 常用命令行工具 Scrapy通过命令行工具提供了一系列功能，以下是部分核心命令： - **语法：`scrapy settings [options]`**：用于获取Scrapy设置的值。若在项目中运行，会显示项目设置值，否则显示默认值。 - 示例：`$ scrapy settings --get BOT_NAME` - 示例：`$ scrapy settings --get DOWNLOAD_DELAY 0` - **语法：`scrapy runspider `**：运行自包含的Spider文件，无需创建项目。 - 示例：`$ scrapy runspider myspider.py` - **语法：`scrapy version [-v]`**：显示Scrapy版本，`-v`选项可显示详细信息（包括Python、Twisted和平台信息）。 - 示例：`$ scrapy version` - 示例：`$ scrapy version -v` - **语法：`scrapy deploy [ | -l | -L ]`**（版本0.11新功能）：部署项目到Scrapyd服务器。 - **语法：`scrapy bench`**（版本0.17新功能）：运行快速基准测试。 此外，用户还可以通过设置`COMMANDS_MODULE`自定义命令。 ## 3. 项目结构 默认情况下，Scrapy项目的目录结构如下： ``` scrapy.cfg myproject/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py spider1.py spider2.py ... ``` - `scrapy.cfg`文件定义了项目设置模块，示例： ```ini [settings] default = myproject.settings ``` ## 4. 数据抽取与存储 Scrapy的核心目标是从非结构化源（如网页）中提取结构化数据。以下是关键点： - **Items**：用于存储抓取的数据，类似于字典。 - 示例： ```python from scrapy.item import Item, Field class Product(Item): name = Field() price = Field() stock = Field() last_updated = Field(serializer=str) ``` - **Item Exporters**：用于快速将抓取的数据导出为文件（如XML、CSV等）。 ## 5. 其他功能 - **信号（Signals）**：Scrapy提供了一系列信号，允许用户在特定事件发生时执行自定义逻辑。 - **异常（Exceptions）**：定义了Scrapy的所有异常及其含义。 - **自定义命令**：用户可以通过`COMMANDS_MODULE`设置添加自定义命令。 总结来说，Scrapy文档涵盖了框架的使用方法、核心功能、项目结构及扩展性，适合从初学者到高级用户参考。