Scrapy 0.18 Documentation

### 《Scrapy 0.18 Documentation》总结 #### 1. **Scrapy 简介** - Scrapy 是一个用于网页抓取的高效框架，提供了从网页提取数据、处理数据、存储数据的一整套功能。 - 核心功能包括：异步下载、多线程处理、数据清洗、扩展插件支持等。 - 支持通过 XPath、CSS 选择器等方式提取数据，并提供交互式 shell 测试提取代码。 #### 2. **核心组件** - **Scrapy 引擎**：控制数据流，触发事件。 - **调度器（Scheduler）**：负责请求队列的管理。 - **下载器（Downloader）**：负责抓取网页内容。 - **蜘蛛（Spiders）**：用户自定义类，用于解析响应，提取项或链接。 - **管道（Item Pipeline）**：处理提取的项，常用于清洗、验证、存储。 - **中间件（Downloader Middleware 和 Spider Middleware）**：可扩展的钩子，用于自定义处理请求和响应。 #### 3. **数据流** Scrapy 的数据流如下： 1. 引擎从蜘蛛获取初始请求，并将其传递给调度器。 2. 调度器将请求逐一分配给下载器。 3. 下载器抓取网页内容并返回响应。 4. 引擎将响应传递给蜘蛛进行处理。 5. 蛛ogen器提取的项通过管道进行处理。 #### 4. **版本与 API 稳定性** - Scrapy 的版本格式为 `x.y.z`： - `x`：主版本号，偶数为稳定分支。 - `y`：次版本号，奇数为开发分支。 - `z`：补丁版本号。 - 目标是实现 API 稳定性，特别是在 1.0 版本中。以单下划线 `_` 开头的方法或函数为私有，未稳定。 - 稳定的 API 可能新增功能，但现有方法保持兼容。 #### 5. **实验性功能** - 文档记录了一些可能在未来版本中稳定的实验性功能，但目前 API 未稳定，使用时需谨慎。 - 包括通过外部库添加命令、二进制文件等功能。 #### 6. **设置与功能** - 常用设置包括： - `TELNETCONSOLE_ENABLED`：启用 Telnet 控制台。 - `TEMPLATES_DIR`：模板目录。 - `URLLENGTH_LIMIT`：URL 长度限制。 - `USER_AGENT`：用户代理。 - 功能模块： - **Feed 导出**：支持将数据导出为 JSON、CSV、XML 等格式。 - **Item Loaders**：用于填充项数据。 - **信号（Signals）**：用于触发特定事件。 #### 7. **扩展功能** - Scrapy 支持通过中间件、扩展和管道进行功能扩展。 - 内置功能包括： - Cookies 和会话管理。 - HTTP 压缩、认证、缓存。 - 爬行深度限制。 -EDIA 管道：自动下载媒体资源。 #### 8. **工具与资源** - **Scrapy 命令行工具**：提供多种命令，用于创建项目、运行蜘蛛、测试提取代码等。 - **项目结构**：默认目录结构包括 `scrapy.cfg`、`items.py`、`pipelines.py`、`settings.py`、`spiders` 等。 - **Web 服务和 Telnet 控制台**：用于监控和调试爬虫进程。 #### 9. **安装与入门** - 前置条件：Python 2.6 或 2.7、OpenSSL。 - 入门步骤：安装 Scrapy、创建项目、编写蜘蛛、运行爬虫。 #### 10. **总结** Scrapy 是一个功能强大且灵活的网页抓取框架，支持高效的数据提取与处理。通过其模块化设计和丰富的扩展功能，用户可以根据需求自定义爬虫行为。此外，Scrapy 提供了良好的文档和社区支持，适合从初学者到高级用户。