Scrapy 1.7 Documentation

以下是对《Scrapy 1.7 Documentation》内容的简要总结： --- ### 1. **Scrapy 概述** Scrapy 是一个高效的、 widespectrum 的网页抓取和数据提取框架，用于从网页中获取结构化数据，可用于数据挖掘、信息处理、监控、自动化测试等多种场景。它不仅支持网页抓取，还可以通过 API 提取数据。 --- ### 2. **命令行工具** Scrapy 提供多个命令行工具，分为全局命令和项目命令： - **全局命令**：如 `startproject`、`genspider`、`settings`、`runspider`、`shell`、`fetch`、`view`、`version` 等。 - **项目命令**：如 `crawl`、`check`、`list`、`edit`、`parse`、`bench` 等。 - 例如：`scrapy settings --get BOT_NAME` 用于获取 Scrapy 设置值；`scrapy runspider myspider.py` 用于运行自包含的 Spider 文件。 --- ### 3. **版本控制与 API 稳定性** - **版本号结构**：A.B.C，分别表示 major version、release number 和 bugfix release number。升级时需注意-breaking变化。 - **开发版本**：以 `1.3dev` 命名，不保证生产环境安全。 - **API 稳定性**：私有方法（以单下划线开头）不保证稳定，稳定 API 可能会扩展新功能，但现有功能保持兼容。 --- ### 4. **发布说明** - **Scrapy 1.7.4**：修复了相关问题，主要集中在 Item Loader 的初始化问题。 - **Scrapy 1.7.3**：对 Python 3.4 环境中的 lxml 版本进行限制。 - **Scrapy 1.7.2**：修复了 Python 2 的支持问题。 - **Scrapy 1.7.1**：重新打包，修复了 PyPI 发布问题。 --- ### 5. **获取帮助** - **FAQ**：常见问题解答。 - **社区支持**：StackOverflow、Scrapy subreddit、scrapy-users 邮件列表、IRC 频道。 - **问题报告**：通过 issue 跟踪器报告 Bug。 --- 以上是《Scrapy 1.7 Documentation》的核心内容和关键信息的总结，涵盖了 Scrapy 的功能、命令行工具、版本控制、API 稳定性、发布说明以及获取帮助的方式。