web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

使用VBA宏遍历javascrape网页上的每个表

我正在尝试从网站上抓取多个表格。到目前为止,我已经构建了一个excel VBA宏来执行此操作。我还想出了如何在网站的多个页面上获取所有数据。为......

回答 1 投票 1

在node.js中的Webscraper,JS修改了DOM

我正在尝试写一个webscraper,以获得一些销售线索。问题是在现代网页设计中,大多数网站使用一些JavaScript来修改DOM(通常使用React,Angular,甚至只是一些......

回答 1 投票 0

美丽的汤在子元素中找到href

我已经尝试了不同的解决方案,但我无法在 element. I can reach the div class with soup.select("div.quicklinks") but then I do not know how to take the href ...中获得href

回答 4 投票 0

无法摆脱脚本中的硬编码延迟

我在vba中编写了一个与selenium结合的脚本来解析网页中可用的所有公司名称。该网页已激活延迟加载方法,因此只有20个链接可见...

回答 6 投票 3

使用BeautifulSoup获取产品ID,品牌名称和图像时,在我的代码中出现问题

我试图从示例产品网址获取产品详细信息,使用以下代码 - def get_soup(url):soup =无尝试:response = requests.get(url)if response.status_code == 200:html ...

回答 1 投票 0

从blablacar网站提取5000骑行详情

任何人都可以帮我从blabla汽车的网址中提取骑手的详细信息或请为网页潦草提出一些想法从blabla汽车网站的网址中提取第一个5000骑行详情...

回答 1 投票 -3

从div,class和span元素进行Web抓取

我想从S&P Down Jones Indices网站上提取数据。相关数据嵌入在此代码中:

回答 1 投票 0

如何在vba中抓取web数据

我已经按照jsotola的建议并记录下 面的宏,但遇到错误,我该如何解决?运行时错误91,以下代码已突出显示Selection.ListObject ....

回答 1 投票 0

在py文件中存储和访问数据

我想每周自动下载种子。具体来说,我想在字典中存储系列,季节和剧集的名称,其中包括:series = {'Last.Week ....

回答 1 投票 1

刮取dl,dt,dd HTML数据

我试图使用Rvest&Selectorgadget从在线搜索中公开可用的房屋描述,并尝试按照几个在线教程来抓取网页但是我......

回答 1 投票 0

Python - 使用HTML标记进行Web抓取

我正在尝试抓取一个网页列出URL中发布的作业:https://careers.microsoft.com/us/en/search-results?ur = l-hyderabad有关网页的详细信息,请参阅图像检查Web检查......

回答 1 投票 0

lxml - 从间接url转换为direct url

我使用python和lxml来收集一些网络数据。如果我有一些元素:从lxml导入请求导入html r = requests.get(url)tree = html.fromstring(r.text)file_ = tree.xpath('some_xpath'...

回答 1 投票 0

使用Python 3和beautifulsoup4解析HTML表

所以我有HTML表格,我已经解析了数据,我在控制台中打印出来。 HTML代码: Station ...

回答 2 投票 0

使用美丽的汤刮痧多个URL

我有一个数据框,其中一列包含超过4000个不同的文章URL。我已经实现了以下代码来从URL中提取所有文本,它似乎适用于一个...

回答 1 投票 0

网络抓取Nodejs cheerio

我必须在网站上获得标签的内容。但是有许多<script>标签并且没有id属性。当我这样称呼它时,Cheerio没有得到<script>标签内容:$('...

回答 1 投票 0

python web抓取代码不会打开链接

这是“用python自动化无聊的东西”一书。起初我创建了一个.bat文件并使用cmd中的参数运行它,没有打开chrome中的任何页面,在这里查找,更改了代码,...

回答 2 投票 1

如何从字符串中过滤掉特定字符串

Python初学者在这里。对于我正在写的机器人,我对这部分代码感到难过。我正在使用Praw制作一个reddit机器人来梳理帖子并删除一组特定的字符(蒸汽CD密钥)。一世 ...

回答 2 投票 0

并发期货网络抓取

谁在读他的!感谢您抽出宝贵时间来看看这个。我目前正在尝试开发一个快速的webscraping函数,所以我可以刮掉一大堆文件。这是我的代码......

回答 1 投票 0

如何在Python中使用Selenium为亚马逊搜索页面找到正确的“布局”?

我正在使用Python 3.5从amazon.com上删除一些产品信息。在自动执行“search-grabinfo”过程的过程中,我发现它在页面布局时会中断...

回答 1 投票 0

Python请求 - 无法获得POST表单响应(仅返回表单)

我正在尝试使用Python的Requests模块填写POST表单,然后获取输出。许多网站似乎都使用此代码作为示例。但是,它只保留返回表单。我创造了......

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.