scrapy 相关问题

Scrapy是一个用Python编写的快速开源高级屏幕抓取和Web爬行框架,用于抓取网站并从其页面中提取结构化数据。它可用于各种用途,从数据挖掘到监控和自动化测试。


这个网站的价格是如何呈现的?

我需要一个蜘蛛来抓取这个网站():我希望抓取工具下载此页面的产品信息(https://search.suning.com/iphone/),包括价格,但我不能直接从...

回答 1 投票 1

Scrapy 404错误:未处理或不允许HTTP状态代码

我正在尝试使用scrapy刮取网站coursetalk,我首先尝试使用蜘蛛模板并得到404错误:2017-12-29 23:34:30 [scrapy] DEBUG:忽略响应<404 https://万维网....

回答 2 投票 2

在scrapyd安装后找不到Scrapyd-deploy命令

我创建了几个我打算与scrapyd同时运行的网络蜘蛛。我首先使用以下命令在Ubuntu 14.04中成功安装了scrapyd:pip install scrapyd,当我运行时......

回答 2 投票 7

如何使用scrapy提取表内的项目

我想提取下面链接中表中列出的所有函数:python函数列表我已经尝试使用chrome开发人员控制台来获取要在文件中使用的确切xpath ...

回答 2 投票 0

如何使用Scrapy获取stat(item_scraped_count)?

我想获取已删除项目的总计数,但我总是从scrapy.stats导入stats类错误MySpider(Spider):name =“myspider”start_urls = [“http://example.com”] ...

回答 1 投票 0

在Scrapy类中更正来自多个解析def的输出

我从一个页面提取数据,然后从此页面迭代URL并从另一个页面获取另一个信息。但输出不正确 - 请参见截图。来自第二个'def'的物品落入......

回答 1 投票 0

无法使用scrapy抓取某些网站

我过去2年一直在使用scrapy。现在有一些问题,我无法找出这是什么问题。我正在爬行大约80个站点。所有这些都被抓取,但大约有6个网站没有被抓取。我在用 ...

回答 1 投票 0

来自“错误:蜘蛛错误处理”的位置

我正在阅读之前蜘蛛发射的日志。我很想知道这个例外的位置以及我如何采取行动:2019-04-12 22:00:55 [scrapy.core.scraper]错误:蜘蛛错误......

回答 1 投票 0

Scrapy中的复杂评论

我正在使用Scrapy。我想在页面上搜索评论:https://www.thingiverse.com/thing:2/comments我会刮更多的网站,所以我想拥有灵活的代码。我不知道怎么刮...

回答 1 投票 0

按顺序运行Multiple Spider

类Myspider1 #do something ....类Myspider2 #do something ...以上是我的spider.py文件的架构。我试图先运行Myspider1,然后运行Myspider2倍数......

回答 2 投票 4
推荐问题