我有一个scrapy脚本
Scrapy脚本:
class test_spider(XMLFeedSpider):
name='test'
start_urls=['https://www.example.com']
custom_settings={
'ITEM_PIPELINES':{
'test.test_pipe': 100,
},
}
itertag='pages'
def parse1(self,response,node):
yield Request('https://www.example.com/'+node.xpath('@id').extract_first()+'/xml-out',callback=self.parse2)
def parse2(self,response):
yield{'COLLECT1':response.xpath('/@id').extract_first()}
for text in string.split(response.xpath(root+'/node[@id="page"]/text()').extract_first() or '','^'):
if text is not '':
yield Request(
'https://www.example.com/'+text,
callback=self.parse3,
dont_filter=True
)
def parse3(self,response):
yield{'COLLECT2':response.xpath('/@id').extract_first()}
class listings_pipe(object):
def process_item(self,item,spider):
pprint(item)
理想的结果将是组合dict项目,如
{'COLLECT1':'部分数据','COLLECT2':['某些数据','部分数据',...]}
有没有办法在每个parse1事件后调用管道?得到项目的组合词汇?
在你的Parse2
方法中,使用meta
并使用collection1
将parse3
传递给meta
。然后在Parse3
获得你的collection1
,extract
你的collection2
并产生结合你想要的结果。
有关meta的更多信息,您可以阅读here