Scrapy 1.3 Documentation

以下是对《Scrapy 1.3 Documentation》的中文总结： --- **Scrapy 1.3 文档总结** ### 文档概述 该文档涵盖了Scrapy的所有功能和使用方法，适合开发者和用户参考。 ### 1. **获取帮助** - **FAQ**：解答常见问题。 - **索引和模块索引**：查找具体信息。 - **社区支持**： - 在StackOverflow上使用`scrapy`标签提问。 -查阅Scrapy用户邮件列表存档，或在邮件列表中提问。 - 在IRC频道`#scrapy`中寻求帮助。 - 在GitHub问题跟踪器中报告错误。 ### 2. **入门指南** - **Scrapy概述**：了解Scrapy的功能和用途。 - **安装指南**：在电脑上安装Scrapy。 - **Scrapy教程**：创建第一个Scrapy项目。 - **示例**：通过预制的Scrapy项目进一步学习。 ### 3. **基本概念** - **命令行工具**：用于管理Scrapy项目。 - **Spider**：定义爬取网站的规则。 - **选择器**：使用XPath从网页中提取数据。 - **Scrapy Shell**：在交互式环境中测试提取代码。 - **项（Items）**：定义要抓取的数据结构。 - **Item Loaders**：将提取的数据填充到项中。 - **Item Pipeline**：对抓取的数据进行后处理和存储。 ### 4. **核心API** - **Crawler对象**：Scrapy API的主要入口，用于访问所有核心组件。 - **设置（Settings）**：管理Scrapy的配置。 - **信号（Signals）**：用于扩展和中间件 hook 功能。 - **统计（Stats）**：记录和访问爬取行为数据。 - **扩展（Extensions）**：管理已启用的扩展。 - **CrawlerRunner类**：用于在已设置的Twisted反应堆中运行爬虫。 ### 5. **版本控制和API稳定性** - **版本格式**：`A.B.C`，分别表示主要版本、发布版本和修复版本。 - **开发版本**：以`dev`后缀标识。 - **API稳定性**： - 私有方法（以`_`开头）不保证稳定。 - 功能的向后兼容性尽可能保持，但重大更改会在发布说明中明确提及。 ### 6. **示例Spider** 提供了一个简单的Spider示例，抓取[http://quotes.toscrape.com](http://quotes.toscrape.com)上的名言，包括分页处理： ```python import scrapy class QuotesSpider(scrapy.Spider): name = "quotes" start_urls = ['http://quotes.toscrape.com/tag/humor/'] def parse(self, response): for quote in response.css('div.quote'): yield { 'text': quote.css('span.text::text').extract_first(), 'author': quote.xpath('span/small/text()').extract_first(), } next_page = response.css('li.next a::attr("href")').extract_first() if next_page is not None: next_page = response.urljoin(next_page) yield scrapy.Request(next_page, callback=self.parse) ``` --- 以上是文档的核心内容和关键信息的总结，涵盖了Scrapy的功能、使用方法、核心API以及版本控制等重点内容。