web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

无法使用selenium单击div按钮

我想点击一个实际上是div标签的按钮。我无法点击它。来自selenium import webdriver url =“https://www.qoo10.sg/item/LAPTOP-SCREEN-PROTECTOR-SCREEN-GUARD-FOR-13-14-15 -...

回答 2 投票 1

VBA IE Automation WebSite登录按钮无法正常工作

正在填充用户名,但该按钮仅在我用鼠标实际点击用户名字段后才能工作.... HTMLDoc.getElementById(“loginForm-email”)。重点HTMLDoc ....

回答 1 投票 1

Rvest,循环浏览页面上的元素以跟踪每个元素的链接?

所以我试图从一个包含我学校俱乐部俱乐部数据的网站上搜索数据。我有一个好的脚本去抓取来自网站的表面级数据,但是我可以通过...获得更多数据

回答 2 投票 0

我美丽的汤刮刀没有按预期工作

我试图从以下网页中提取成分列表:https://skinsalvationsf.com/2012/08/updated-comedogenic-ingredients-list/所以我要拉的第一个成分是......

回答 2 投票 1

使用python(自定义网址)下载bing图像搜索结果

我想使用python代码下载bing搜索图像。示例网址:https://www.bing.com/images/search?q = sketch%2520using%20iphone%2520students我的python代码生成一个bing搜索网址为...

回答 1 投票 -1

如何在具有不同内容的网站中废弃容器?

我想废弃这个网站。 https://www.dhgate.com/wholesale/electronics-robots/c103032.html我已经构建了一个scrapy代码:从urllib.parse导入scrapy导入urljoin类DhgateSpider(scrapy ....

回答 1 投票 0

php - 获取没有类或标签的文本html dom解析器

我已经陷入了一个典型的案例..我需要一些表中没有类或任何标签的文本..这只是一个纯文本..我只想得到这个文本。我需要抓我想要这篇文章。怎么样 ...

回答 1 投票 0

用python进行网络抓取。无法访问td元素

我正在尝试通过这个地址进行网络搜索:https://www.pro-football-reference.com/boxscores/这是美式足球的游戏分数页面。我想得到每个人的约会,胜利者和失败者......

回答 4 投票 1

解析BeautifulSoup,错误消息TypeError:强制转换为Unicode:需要字符串或缓冲区,找到NoneType

所以我正试图抓取一个亚马逊页面的数据,当我试图解析卖家所在的位置时,我收到了一个错误。这是我的代码:#getting the html request = urllib2.Request('http:// www ....

回答 1 投票 3

在Python上使用Selenium返回空'src'属性

我是一名新手程序员,我正在教自己一些网页编写。我正在尝试制作一个Python程序,通过使用...抓取网页从嵌入式播放器返回直接视频下载URL

回答 1 投票 0

用Selenium刮不同的表

目前我正在尝试从以下网站上删除所有价目表:http://aeroportos.weebly.com/fuel-prices.html#.W7SatGj7Sbj但是,我在试图找到...时面临一些问题。 。

回答 1 投票 0

刮取网址的CSV列表并将结果输出到不同的CSV

我试图从'YP_LA_Remodel_urls.csv文件中提取网址(我在下面包含了几个),抓取它们,然后将结果导出到Yp_LA_Remodel_Info.csv。如果我拿一个网址(不是来自csv)和......

回答 1 投票 0

Chrome Webdriver无法完成产品结帐自动化

我正在尝试自动检查此网站上的产品。但是,在最后一步,当一个按钮被点击提交付款时,按钮只是加载和...

回答 2 投票 1

如何更改属性值

我的“视图”按钮有以下元素:View Grade我选择了“...

回答 1 投票 0

VBA-无法将数据传递到网站表单

我试图将数据传递到第四页上的表单。我已成功浏览宏签名,根据输入的数据搜索特定页面,进入...

回答 2 投票 1

R在超链接中添加变量

我正在尝试创建一个代码,允许我根据变量更新超链接,或者最终通过循环遍历字符向量。我想做的是能够设置超链接...

回答 1 投票 0

脚本在解析链接时给出重复的结果

我正在尝试使用以下脚本从网页抓取图像链接,但是当我运行它时,脚本从那里获取两个链接(相同的链接两次)。为什么我会得到如此奇怪的结果?我需要 ...

回答 2 投票 1

BeautifulSoup:获取文字,创建字典

我正在搜集中央银行研究出版物的信息,到目前为止,对于美联储,我有以下Python代码:START_URL ='https://ideas.repec.org/s/fip/fedgfe.html'page = ...

回答 2 投票 2

如何从维基百科页面中提取数据

使用JavaScript从这个维基百科页面的表中提取数据的最佳方法是什么? https://en.wikipedia.org/wiki/Most_common_words_in_Spanish我尝试使用以下代码来...

回答 1 投票 -1

使用保存的html页面使用scrapy进行报废

我正在寻找一种方法来使用我在计算机上保存的html页面使用scrapy。就我而言,我收到一个错误:requests.exceptions.InvalidSchema:找不到'file:///的连接适配器...

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.