screen-scraping 相关问题

屏幕抓取(也称为网络抓取或数据抓取)是一种用于从用户界面收集和解析信息的软件技术。如果您的问题是关于从网站或Web-API进行抓取,请使用[web-scraping]标记。

用于提取多个视频视图的Google脚本编辑器代码

我有一个youtube链接的电子表格,我想自动拉取Youtube上的查看次数。我已经能够编写代码来拉取一个youtube ID的视图计数,但一直有......

回答 1 投票 0

高级HTTP / 2代理,用于分布式抓取解决方案的负载平衡

我已经构建了一个分布式HTTP scraper解决方案,它通过设计使用不同的“出口地址”地址,以平衡网络负载。该解决方案支持IPv4,IPv6和HTTP代理...

回答 2 投票 1

如何在使用Regex的已定义字符串之前获取第一个句子

我正在做一些抓取,我想刮一个src元素的某个部分,但不知道如何使用正则表达式。这里有正则表达式忍者可以帮助我吗? srcset =“HTTPS://cimg.co/w / ...

回答 5 投票 0

BeautifulSoup抓取返回{{variable}}而不是页面上显示的文本

我正在尝试使用BeautifulSoup从网站上抓取一些数据,而我正在找回看似Django标签的文字,例如{{ResultLink}}而不是我在...时可以看到的实际网址

回答 1 投票 1

获得推特喜欢

我试图在每个推特上提取信息,但它只返回错误数量的喜欢或根本没有。我很确定我的代码是正确的。我相信这可能是因为......

回答 1 投票 0

使用Javascript抓取网站?

我正在努力将信息提交给严重依赖Javascript来完成其大部分操作的网站。当我在浏览器中禁用Javascript时,该网站甚至无法工作。我搜索过......

回答 6 投票 13

通过URL数组循环来解析html,不循环

我正在尝试提取产品描述,第一个循环遍历每个产品,嵌套循环进入每个产品页面并抓取描述以提取。对于范围内的页面(1,2):...

回答 1 投票 0

Java和SetWindowDisplayAffinity

我正在使用jna.extra.User32Extra库,我必须更改windowdisplayaffinity值。不幸的是输出总是假的,我不知道为什么,这个代码不起作用。我期待WDA_MONITOR ......

回答 1 投票 1

Python:ConnectionError:在抓取特定网站时“连接已中止”

我正在试图抓住这个网站:https://www.footpatrol.com/然而,似乎该网站否认了我的抓取尝试。使用标题没有帮助。来自bs4进口BeautifulSoup导入...

回答 1 投票 0

获取div中的图像链接#imgTagWrapperId

我希望提取只是一个图像的链接作为一个字符串使用R中的R我试过的是:url

回答 1 投票 1

如何打印BeautifulSoup收集的数据?

没有以前的Python经验,所以这可能是非常基本的。我正在努力记录加拿大零售商SportChek出售的所有曲棍球棒的名称和后来的价格。到目前为止我的代码看起来像......

回答 4 投票 1

如何使用selenium处理和选择网站上日期选择器的元素?

我在selenium中遇到一个问题,即通过从网站上的日期选择器中选择特定日期来废弃我想要的数据。但是,我尝试下面的代码(例如我选择2019年4月11日)只能......

回答 1 投票 1

使用Scrapy和Python进行分页刮擦

我正在尝试抓取所有网站的条目和可用内容,以尝试使用scrapy学习。到目前为止,我已经能够抓取页面上的所有博客条目,然后转到下一页并...

回答 2 投票 0

如何将输入参数传递给通过运行python文件访问的scrapy搜寻器?

我想将多个在线网页处理为CSV文件。为了做到这一点,我创建了一个带有scrapy的webscraper,它通过执行python文件来运行。它通过执行python文件来运行。 python3 ...

回答 1 投票 -1

如何使用Python为NOWTV可用电影刮取HTML

随着时间的推移,我正在创建一个研究数据集,它将在NOWTV上为我提供可用的电影名称。这将来自URL(https://www.nowtv.com/stream/all-movies)输出为每部电影......

回答 2 投票 -4

Web Scraping Elements按类和标签名称

我正在尝试从下面提到的网站复制数据,我需要各种尺寸,价格,设施,特价,储备。我在代码下面框架,但我能够正确复制元素。第一件事只有三个......

回答 3 投票 4

有没有人知道可以从JavaScript调用创建和保存桌面屏幕截图的无GUI应用程序?

虽然这个主题可能听起来像我想做一些狡猾的事情,但我不是;我维护着一个由几百个电话运营商使用的内部网站,并希望添加以下内容......

回答 5 投票 0

使用python抓取网页的所有颜色

我想找到一种有效的方法从python的给定page-url中提取某种颜色调色板(列表或其他东西)。我想要的是采取所有背景的颜色,颜色...

回答 2 投票 0

如何从原始字符串中获取所有电子邮件

我试过这段代码:contents ='[email protected] ..... thankyou'match = re.findall(r'[\ w \ .-] + @ [\ w \ .-] +' ,内容)打印匹配结果:[email protected] ..... thankyou我想......

回答 1 投票 -3

从ajax驱动的弹出框中包含的工具提示中截取文本

我知道以前曾问过类似的问题,但似乎没有一个问题适用于这种特殊情况。我在几个网站上遇到过它,所以对于这个问题,我随机选择了SO自己标签的第一页......

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.