在scrapy python中改变刮取数据的顺序。

问题描述 投票:0回答:1

我正在使用scrapy从一个网站上刮取数据,我得到的数据是这样的格式,例如{'Date': '03062020', 'LTV': '90',}{'Date': '03062020', 'LTV': '80',}。

{'Date': '03062020','LTV': '70',}...我想改变这个序列。我想LTV ->70 ,80,90,在这个序列。首先是LTV 70数组,然后是80,依此类推。注:我使用的是Scrapy框架。

python scrapy web-crawler fifo lifo
1个回答
0
投票

Scrapy按照设计的解析顺序输出项目。你不能依赖它们的特定顺序。

如果你想以一种特定的方式对输出项进行排序,你应该做以下工作之一。

  • 在运行Scrapy后使用自定义脚本对输出文件中的项目进行排序。

  • 编写一个自定义的 出口商 对输出文件中的项目进行排序,从它的 finish_exporting() 办法

© www.soinside.com 2019 - 2024. All rights reserved.