web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”(例如使用Excel VBA)的问题应该*进行彻底的研究*,因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序,定制软件的开发,甚至是标准化方式的手动数据收集。

为什么我无法通过网页抓取我的Facebook主页?

我想刮掉我的facebook主页,它总是使用python和beautifulsoup登录到我的机器上。我使用下面的代码:从urllib.request导入urlopen作为来自bs4 import的urlo ...

回答 1 投票 -1

网页抓取动态内容[重复]

我有一个关于从动态内容中删除的一般性问题,我试图用selenium解析Reddit页面,当我向下滚动时加载新内容,是最好的方法,就是保存HTML ...

回答 1 投票 -1

注入CSS以从屏幕截图API中删除模态/弹出窗口(url2png.com)

我正在尝试构建一个应用程序,它将采用URL的URL并显示网页的屏幕截图。但是,我遇到的问题是屏幕截图以整页模式/弹出窗口返回...

回答 1 投票 1

如何在Nokogiri中使用Conditional

有没有办法将No Url Foud置于空白或缺失的锚标签中。问这个的原因是textnode输出50个textnode但是url只输出47,因为一些锚是missin或not ...

回答 1 投票 0

无法点击网页中的某些灰色的提交按钮

我在vba中创建了一个脚本,使用IE填充网页中的一些输入以填充某个项目。以下是我希望我的脚本执行的步骤:从...中选择Buy Bricks

回答 1 投票 1

试图刮掉嵌套在标签中的一个元素

我试图仅捕获“其他”文本,实质上是提取强标记元素 &...

回答 2 投票 0

Web Scrap python,在网站上提交搜索表单而不更改网址

我想通过搜索zipcodes来提取影院位置,并提取结果。网站检查是这样的:

回答 1 投票 0

`NoSuchSessionError:使用selenium时无效的会话ID`,即使应用程序工作正常

上下文和信息:我最近创建了一个简单的脚本,可以登录到外部网站并获取一些数据。这个脚本的目的是获得学生成绩,然后将其转换为可绘制的数据。 ...

回答 1 投票 1

Json从API与Dicts解析

我正在写一段代码来从英雄联盟api中检索某些信息。我有一切正常工作并打印到我的控制台,我甚至设法访问数据和...

回答 2 投票 1

无法在IE中执行javascript

我在vba中使用IE创建了一个脚本,点击网页中的选项卡。我想知道如何使用.execScript在该选项卡上启动单击。当我尝试下面的时候,它有效(不可取......

回答 1 投票 1

使用Excel vba在Investing.com上进行Web抓取

我不知道vba。仅使用宏录制器。我需要将数据从网页下载到Excel电子表格,并且凭借我对vba的了解,我无法做到。特别是,我......

回答 3 投票 -2

从多个href列表中抓取python selenium

这是测试https://stockx.com/puma?prices=300-400,200-300&size_types=men&years=2017的网址我能够提取所有产品详细页面href链接,但我只得到一个...

回答 1 投票 2

如何使用BeautifulSoup从所有脚本中提取正确的脚本

我目前正在使用BS4从Kickstarter网页中提取一些信息:https://www.kickstarter.com/projects/louisalberry/louis-alberry-debut-album-uk-european-tour项目信息是......

回答 2 投票 2

如何从表中刮掉第二列

我试图从第二列表中删除数据但是失败了...这是我的代码:import bs4 import requests url =“https://en.wikipedia.org/wiki / ...

回答 4 投票 1

Scrapy请求无法解析

我的所有请求都没有被解析。它已经成功解析了。这是我的代码:# - * - 编码:utf-8 - * - 从boardgamegeek.items导入scrapy导入BoardgamegeekItem类TwoPlayersSpider(...

回答 1 投票 0

无法使用自定义方法解析某些内容

我用scrapy编写了一个脚本来获取网站上的姓名,电话号码和电子邮件。我所追求的内容有两个不同的链接,如名称和电话在一个链接中,电子邮件是......

回答 1 投票 0

使用R从可能使用javascript填充的表中抓取数据

你好R的狂热分子......我一直在使用R从各种网站上抓取数据一段时间了,不过这个让我感到难过。我试图从下表中删除数据:http:...

回答 1 投票 0

C#JSON到类[重复]

我想将数据从IMDB.com解析到我的c#应用程序。我有一个名为IMDB_Entry的类,如下所示:private string type;私人字符串网址;私人字符串名称;私人的 ...

回答 1 投票 -2

Python&BeautifulSoup 4 / Selenium - 无法从kicksusa.com获取数据?

我正试图从kicksusa.com抓取数据,我遇到了一些问题。当我尝试基本的BS4方法时,这样(导入是从使用所有这些的主程序中复制/粘贴的):...

回答 3 投票 1

C#将html时间转换为小时和分钟

如何从这种格式的字符串转换:PTDHMS例如:(我从解析电影的持续时间来自imdb)到可读的格式如HH:MM

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.