pdf文档 Scrapy 2.11 Documentation

1.76 MB 425 页 0 评论
语言 格式 评分
英语
.pdf
3
摘要
文档主要介绍了Scrapy框架2.11.1版本的更新内容,包括新功能、错误修复、弃用通知和文档更新。新功能包含对Google Cloud Storage的Feed Exports支持、batch item delivery设置以及parse命令的功能增强。错误修复涉及CSV导出问题和request方法处理。文档更新包括OpenSSL加密设置和数据类项的示例。质量保证部分提到了代码改进和依赖版本升级。同时,文档详细说明了Scrapy的核心组件和配置机制,包括Item Pipeline的使用和Feed Exports的工作原理。
AI总结
```markdown # Scrapy 2.11 文档总结 Scrapy 2.11版本发布了多个子版本,主要更新内容如下: **版本2.11.1:** - **新功能:** - 支持将Google Cloud Storage作为Feed导出目标。 - 新增`FEED_EXPORT_BATCH_ITEM_COUNT`设置以支持批量交付。 - `parse`命令现可指定输出文件。 - `Request.from_curl`和`curl_to_request_kwargs()`函数新增对`--data-raw`的支持。 - 内置蜘蛛子类(如`CrawlSpider`)现在可使用解析回调。 - **弃用:** - `scrapy.utils.python.retry_on_eintr`函数已弃用。 - **错误修复:** - 修复了数据类和`attr.s`项的CSV导出问题。 - 在无指定请求方法的情况下,请求正文现在默认设置为POST方法。 - Windows 10.0.14393及以上版本现支持ANSI转义序列处理,以确保彩色输出。 - **文档:** - 更新了关于`DOWNLOADER_CLIENT_TLS_CIPHERS`设置的OpenSSL密码套例格式链接。 - 简化了使用数据类项的代码示例。 **版本2.10.0:** - **主要特性:** - 新增对Python 3.12的支持,并移除对Python 3.7的支持。 - 引入了简化配置第三方组件的扩展框架。 - 现在可以配置可重试的异常。 - 对Feed导出进行了多项修复和改进。 - **更改:** - `FEED_STORE_EMPTY`设置的默认值更改为`True`。 - **依赖项更新:** - `lxml`最低版本要求提高至4.4.1。 - `boto3`现被推荐为S3导出的首选库,而非`botocore`。 **版本2.7.0:** - **主要特性:** - 增加了对Python 3.11的支持,并移除对Python 3.6的支持。 - 改进了异步回调的支持,并默认启用了`asyncio`。 - 项字段的输出名称现在可为任意字符串。 - 集中配置请求指纹现为可能。 **文档更新:** - 更新了代码行为准则至Contributor Covenant v2.1版。 - 修复了多处拼写错误并简化了代码示例。 **质量保障:** - 扩展了类型提示的使用。 - 固定了`brotli`版本以确保PyPy测试的稳定。 - 现代化了CI配置并改进了预提交检查。 以上是Scrapy 2.11版本系列的主要更新内容,涵盖了功能改进、弃用信息、错误修复、文档更新和质量保障等方面。 ```
P1
P2
P3
P4
P5
P6
P7
下载文档到本地,方便使用
- 可预览页数已用完,剩余 418 页请下载阅读 -
文档评分
请文明评论,理性发言.