screen-scraping 相关问题

屏幕抓取(也称为网络抓取或数据抓取)是一种用于从用户界面收集和解析信息的软件技术。如果您的问题是关于从网站或Web-API进行抓取,请使用[web-scraping]标记。

脸书公开数据抓取

我正在尝试使用python从facebook上刮取公共数据,实现以下功能。使用关键字搜索和刮取数据 刮取一个配置文件 刮取一个页面 刮取一个帖子 我 ...

回答 1 投票 -2

Python DataFrame问题

我正在做一些Web抓取,并使用抓取的数据制作一个CSV。我创建了一个具有以下列的数据框:df = pd.DataFrame(columns = ['name','type','regular_price','Image src','Attribute 1 name','...

回答 1 投票 0

如何使用Puppeteer从iframe检索reCAPTCHA令牌?

我正在编写一个机器人,在完成任务后,我将使用该机器人抓取reCAPTCHA令牌。我正在尝试使用:等待page.evaluate(()=> document.getElementById('recaptcha-token')。value)...

回答 1 投票 0

如何使用Puppeteer抓取并找到type = hidden的输入?

我正在编写一个机器人,在完成任务后,我将使用该机器人抓取Recaptcha令牌。我正在尝试使用await page.evaluate(()=> document.getElementById('recaptcha-token')。value)...

回答 1 投票 0

如何在此处抓取javascript变量的数据?

这是网站的链接https://edge.pse.com.ph/companyPage/stockData.do?cmpy_id=630我想在这里获取数据:在此处输入图片描述我可以用Google工作表或python?

回答 1 投票 -1

为什么不从YouTube获取任何'a'标签?

我正在尝试通过BeautifulSoup从给定的输入频道链接中获取视频的所有链接。我发现视频的所有“ a”标记的ID均为“ video-title”,但以下代码未提供任何输出:...

回答 1 投票 0

Selenium python按类和标题获取属性

我已经在Google上进行了广泛的搜索,但无法获得答案,我正在尝试在标题中提取“ 90,856”。它的值随时间变化: ]

回答 1 投票 0

BeautifulSoup Scraper找不到文本?AttributeError:ResultSet对象没有属性'find_all'

编程超级新手,对于任何不良做法,我们深表歉意:我正在尝试制作一个能够刮除确实为我工作领域中的工作清单的刮板,并在网上关注了一些相关文章,然后...]]

回答 1 投票 1

我在Python中使用Reddit API抓取抓取了数据,但像'之类的字符显示为-t。我该如何解决?

我是Python的新手(还有StackOverflow,如果我做错了,请原谅)。我从/ r / loseit subreddit抓取了提交的内容,因此我可以清理它并在R中创建wordcloud进行分配。 ...

回答 1 投票 0

在基于Flask的网站上显示更改的Python变量

我目前正在建立一个基于Python3.6 Flask的网站,该网站托管在Flask服务器上,并提供从Web上其他来源获取的产品的实时价格,所有这些都可以在一个地方轻松找到...

回答 1 投票 0

如何使用python轻松地遍历XML子节点?

我想在此页面上抓取注释,但似乎无法了解如何遍历注释所在节点的子节点并获取数据点。这是hmtl的一部分:...

回答 1 投票 2

在HTML中我如何到达不在标记中的文本元素?

我正在尝试做一个网络抓取项目。我使用网站的精简版来简化我的工作,但图片中突出显示的元素没有任何标记。我无法列出比赛参与者...

回答 1 投票 -1

如何使用python语言中的Selenium和chromedriver刮擦此页面?

我正在尝试使用硒和chromedriver从网站“ http://www.nmpa.gov.cn/”抓取数据。当我运行代码时,chromedriver成功输入了url,但无法加载...

回答 1 投票 0


使用Python进行网页抓取时如何删除熊猫数据框中的字符?

[我正在尝试使用Python 3将本网站的表格刮到.csv文件中:2011-2012 NBA国家赛程表,该表的开始像是:修订后的赛程...

回答 3 投票 1

使用Python进行网页抓取时如何重新格式化表格的一半?

[我正在尝试使用Python 3将本网站的表格刮成.csv文件:2011-2012 NBA国家电视台时间表,该表格的开头是:修订后的时间表...

回答 1 投票 0

如何使用Python在网络上刮取图表?

[我正在尝试使用Python 3将本网站的图表转换成.csv文件:2016 NBA国家电视时间表,该图表的开头是:10月25日,星期二,纽约尼克斯/骑士队TNT。 ..

回答 1 投票 -1

我在此网站上找不到Xpath或语法错误

我正在尝试从此URL https://drive.getbigger.io/#/stores中收集数据,但是我没有找到我要导出的文本的Xpath,这是生产者的报价。首先,我尝试importxml ...

回答 1 投票 0


即使屏幕抓取器的路径正确,列表也将返回空

因此,我试图从Ubisoft网站上的免费游戏网站获取所有网址,但该网址始终返回空白。我不知道我在做什么错,下图显示了路径标题= {“ User -...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.