web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

从div,class和span元素进行Web抓取

我想从S&P Down Jones Indices网站上提取数据。相关数据嵌入在此代码中:

回答 1 投票 0

如何在vba中抓取web数据

我已经按照jsotola的建议并记录下 面的宏,但遇到错误,我该如何解决?运行时错误91,以下代码已突出显示Selection.ListObject ....

回答 1 投票 0

在py文件中存储和访问数据

我想每周自动下载种子。具体来说,我想在字典中存储系列,季节和剧集的名称,其中包括:series = {'Last.Week ....

回答 1 投票 1

刮取dl,dt,dd HTML数据

我试图使用Rvest&Selectorgadget从在线搜索中公开可用的房屋描述,并尝试按照几个在线教程来抓取网页但是我......

回答 1 投票 0

Python - 使用HTML标记进行Web抓取

我正在尝试抓取一个网页列出URL中发布的作业:https://careers.microsoft.com/us/en/search-results?ur = l-hyderabad有关网页的详细信息,请参阅图像检查Web检查......

回答 1 投票 0

lxml - 从间接url转换为direct url

我使用python和lxml来收集一些网络数据。如果我有一些元素:从lxml导入请求导入html r = requests.get(url)tree = html.fromstring(r.text)file_ = tree.xpath('some_xpath'...

回答 1 投票 0

使用Python 3和beautifulsoup4解析HTML表

所以我有HTML表格,我已经解析了数据,我在控制台中打印出来。 HTML代码: Station ...

回答 2 投票 0

使用美丽的汤刮痧多个URL

我有一个数据框,其中一列包含超过4000个不同的文章URL。我已经实现了以下代码来从URL中提取所有文本,它似乎适用于一个...

回答 1 投票 0

网络抓取Nodejs cheerio

我必须在网站上获得标签的内容。但是有许多<script>标签并且没有id属性。当我这样称呼它时,Cheerio没有得到<script>标签内容:$('...

回答 1 投票 0

python web抓取代码不会打开链接

这是“用python自动化无聊的东西”一书。起初我创建了一个.bat文件并使用cmd中的参数运行它,没有打开chrome中的任何页面,在这里查找,更改了代码,...

回答 2 投票 1

如何从字符串中过滤掉特定字符串

Python初学者在这里。对于我正在写的机器人,我对这部分代码感到难过。我正在使用Praw制作一个reddit机器人来梳理帖子并删除一组特定的字符(蒸汽CD密钥)。一世 ...

回答 2 投票 0

并发期货网络抓取

谁在读他的!感谢您抽出宝贵时间来看看这个。我目前正在尝试开发一个快速的webscraping函数,所以我可以刮掉一大堆文件。这是我的代码......

回答 1 投票 0

如何在Python中使用Selenium为亚马逊搜索页面找到正确的“布局”?

我正在使用Python 3.5从amazon.com上删除一些产品信息。在自动执行“search-grabinfo”过程的过程中,我发现它在页面布局时会中断...

回答 1 投票 0

Python请求 - 无法获得POST表单响应(仅返回表单)

我正在尝试使用Python的Requests模块填写POST表单,然后获取输出。许多网站似乎都使用此代码作为示例。但是,它只保留返回表单。我创造了......

回答 1 投票 1

Google Places API:是否有年度限制请求?

我创建了一个Python抓取工具,以便废弃Google Places API,我将其称为Fantail,并且因为2周后不再有效:它总是返回OVER_QUERY_LIMIT。一开始我教过那里......

回答 1 投票 -1

网页刮刮Python BeautifulSoup

我只是Python的初学者。我试图从网站上抓取数据并设法编写下面的代码。但是,我不知道如何继续前进,因为我无法获得href标签...

回答 3 投票 1

无法使用selenium单击div按钮

我想点击一个实际上是div标签的按钮。我无法点击它。来自selenium import webdriver url =“https://www.qoo10.sg/item/LAPTOP-SCREEN-PROTECTOR-SCREEN-GUARD-FOR-13-14-15 -...

回答 2 投票 1

VBA IE Automation WebSite登录按钮无法正常工作

正在填充用户名,但该按钮仅在我用鼠标实际点击用户名字段后才能工作.... HTMLDoc.getElementById(“loginForm-email”)。重点HTMLDoc ....

回答 1 投票 1

Rvest,循环浏览页面上的元素以跟踪每个元素的链接?

所以我试图从一个包含我学校俱乐部俱乐部数据的网站上搜索数据。我有一个好的脚本去抓取来自网站的表面级数据,但是我可以通过...获得更多数据

回答 2 投票 0

我美丽的汤刮刀没有按预期工作

我试图从以下网页中提取成分列表:https://skinsalvationsf.com/2012/08/updated-comedogenic-ingredients-list/所以我要拉的第一个成分是......

回答 2 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.