Scrapy 2.1 Documentation

《Scrapy 2.1 Documentation》总结如下： --- ### Scrapy 概述 - **Scrapy**: 一个高效的网页抓取和数据抽取框架，适用于数据挖掘、监控、自动化测试等场景。 - **核心功能**: 爬取网站并从网页中提取结构化数据。 --- ### 使用 Scrapy #### 获取帮助 - **FAQ**: 常见问题解答。 - **社区支持**: - StackOverflow（标签 `scrapy`） - Reddit（r/scrapy） - 邮件列表（scrapy-users） - IRC 频道 `#scrapy` - GitHub 计题跟踪（https://github.com/scrapy/scrapy/issues） #### 快速上手 1. **安装**: 使用 pip 安装。 2. **教程**: 完成第一个 Scrapy 项目。 3. **示例**: 通过预制项目了解更多功能。 #### 基本概念 - **命令行工具**: 管理 Scrapy 项目。 - **Spiders**: 爬虫程序。 - **模块重构**: Scrapy 2.1 对模块进行了大规模调整，拆分了 `scrapy.contrib` 和 `scrapy.contrib_exp`，部分包已外包。 - **向后兼容性**: 内部调整保留了兼容性，但使用废弃模块会有警告。 #### 核心功能 - **作业管理**: 支持暂停和恢复抓取。 - **协程与异步**: 支持 `asyncio` 语法和异步库。 - **扩展**: 通过中间件、信号和扩展功能自定义 Scrapy。 #### 核心 API - **Crawler 对象**: 核心入口，提供访问 Scrapy 组件的方式。 - 功能：管理设置、信号、统计、扩展和执行引擎。 - **CrawlerRunner**: 帮助管理和运行爬虫，适用于已设置的 reactor。 #### 插件与中间件 - **Downloader Middleware**: 自定义页面请求和下载方式。 - **Spider Middleware**: 自定义蜘蛛输入输出。 - **Extensions**: 扩展 Scrapy 功能。 - **Item Exporters**: 快速导出数据（如 XML、CSV 格式）。 #### 版本与变更 - **支持的 Python 版本**: Python 3.5+（CPython 和 PyPy），不再支持 Python 2。 - **版本变更**: 包括模块重构、外包和功能改进。 #### 社区与贡献 - **贡献方式**: 文档撰写、报告问题、提交补丁、回答问题等。 - **报告问题**: 提交高质量的 Bug 报告，注意检查 FAQ 和已有问题。 #### Scrapy 的核心理念 - **灵活性与可扩展性**: 支持自定义功能。 - **模块化**: 通过中间件和扩展轻松扩展。 - **高效性**: 支持异步和高性能数据处理。 --- 这份文档详细介绍了 Scrapy 的功能、使用方法、核心概念和社区支持，适合开发者快速上手和深入理解 Scrapy 的高级功能。