Scrapy 2.11 Documentation
1.76 MB
425 页
0 评论
语言 | 格式 | 评分 |
---|---|---|
英语 | .pdf | 3 |
摘要 | ||
文档主要介绍了Scrapy框架2.11.1版本的更新内容,包括新功能、错误修复、弃用通知和文档更新。新功能包含对Google Cloud Storage的Feed Exports支持、batch item delivery设置以及parse命令的功能增强。错误修复涉及CSV导出问题和request方法处理。文档更新包括OpenSSL加密设置和数据类项的示例。质量保证部分提到了代码改进和依赖版本升级。同时,文档详细说明了Scrapy的核心组件和配置机制,包括Item Pipeline的使用和Feed Exports的工作原理。 | ||
AI总结 | ||
```markdown
# Scrapy 2.11 文档总结
Scrapy 2.11版本发布了多个子版本,主要更新内容如下:
**版本2.11.1:**
- **新功能:**
- 支持将Google Cloud Storage作为Feed导出目标。
- 新增`FEED_EXPORT_BATCH_ITEM_COUNT`设置以支持批量交付。
- `parse`命令现可指定输出文件。
- `Request.from_curl`和`curl_to_request_kwargs()`函数新增对`--data-raw`的支持。
- 内置蜘蛛子类(如`CrawlSpider`)现在可使用解析回调。
- **弃用:**
- `scrapy.utils.python.retry_on_eintr`函数已弃用。
- **错误修复:**
- 修复了数据类和`attr.s`项的CSV导出问题。
- 在无指定请求方法的情况下,请求正文现在默认设置为POST方法。
- Windows 10.0.14393及以上版本现支持ANSI转义序列处理,以确保彩色输出。
- **文档:**
- 更新了关于`DOWNLOADER_CLIENT_TLS_CIPHERS`设置的OpenSSL密码套例格式链接。
- 简化了使用数据类项的代码示例。
**版本2.10.0:**
- **主要特性:**
- 新增对Python 3.12的支持,并移除对Python 3.7的支持。
- 引入了简化配置第三方组件的扩展框架。
- 现在可以配置可重试的异常。
- 对Feed导出进行了多项修复和改进。
- **更改:**
- `FEED_STORE_EMPTY`设置的默认值更改为`True`。
- **依赖项更新:**
- `lxml`最低版本要求提高至4.4.1。
- `boto3`现被推荐为S3导出的首选库,而非`botocore`。
**版本2.7.0:**
- **主要特性:**
- 增加了对Python 3.11的支持,并移除对Python 3.6的支持。
- 改进了异步回调的支持,并默认启用了`asyncio`。
- 项字段的输出名称现在可为任意字符串。
- 集中配置请求指纹现为可能。
**文档更新:**
- 更新了代码行为准则至Contributor Covenant v2.1版。
- 修复了多处拼写错误并简化了代码示例。
**质量保障:**
- 扩展了类型提示的使用。
- 固定了`brotli`版本以确保PyPy测试的稳定。
- 现代化了CI配置并改进了预提交检查。
以上是Scrapy 2.11版本系列的主要更新内容,涵盖了功能改进、弃用信息、错误修复、文档更新和质量保障等方面。
``` |
P1
P2
P3
P4
P5
P6
P7
下载文档到本地,方便使用
- 可预览页数已用完,剩余
418 页请下载阅读 -
文档评分