web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”（例如使用Excel VBA）的问题应该*进行彻底的研究*，因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序，定制软件的开发，甚至是标准化方式的手动数据收集。

使用 GET 请求通过 API 进行网页抓取，“验证错误”

我正在尝试抓取此网站：https://www.dysportusa.com/find-a-specialist 有一个使用 GET 请求的 API： https://www.dysportusa.com/api/find-a-specialist?latitude=32.79742543951647&long...

python web-scraping python-requests

回答 1 投票 0

PHP 脚本在不同点意外中途终止，没有任何错误

我正在尝试构建一个网络抓取器来获取 XML 文档，使用 DOMDocument 方法对其执行各种质量检查功能，然后将结果输出到文件。 95% 的时间都有效，...

php web-scraping

回答 1 投票 0

使用 R 中的 rvest 从 SER-SID.org 抓取动态内容时遇到问题

我无法从 https://ser-sid.org/（种子性状数据库）中抓取数据。我已经使用以下命令成功检索了物种潜在属性及其 URL 的表...

r web-scraping rvest

回答 1 投票 0

在 LinkedIn 上获取网络抓取工作机会时遇到的困难

我一段时间以来一直在尝试抓取 LinkedIn 的工作机会部分，但无济于事。顺便说一句，我知道该网站有自己的 API，但我想用 Beautiful Soup 来实现，因为我学到了...

python web-scraping beautifulsoup linkedin-api http-status-code-403

回答 2 投票 0

R (rvest) 和 SelectorGadget 中的网页抓取问题。错误字符(0)

我正在尝试使用 rvest 和 SelectorGadget 从 https://www.kaggle.com/datasets/jacouchs/marketing-budget-and-actual-sales-dataset 中抓取数据。

r web-scraping rvest

回答 1 投票 0

如何使用 selenium 循环浏览网站页面

我正在尝试抓取此页面：https://www.lavoro.gov.it/Pagine/Cerca-nel-sito?search=big+data 正如您在页面底部看到的那样，有页数和带有箭头的图标...

python selenium-webdriver web-scraping

回答 1 投票 0

如何在Python中使用BeautifulSoup4抓取下一个兄弟数据？

我正在尝试通过以下 URL 使用以下 Python 脚本拉取名为“Basic EPS”的行：https://finance.yahoo.com/quote/AAPL/financials #!/usr/bin/env python3 导入 os、pandas 作为 pd 来自操作系统

python-3.x web-scraping beautifulsoup

回答 1 投票 0

无法使用Python 3.11.6使用BeautifulSoup4提取下一个兄弟数据

python-3.x web-scraping beautifulsoup

回答 1 投票 0

通过 Chrome 中的 Inspect 操作查找元素 ID 或名称

我需要在网站中找到输入文本的元素ID或名称，然后单击按钮返回一些值。但是，单击“检查”选项卡后，我在代码中看不到元素 ID 或名称...

web-scraping extract

回答 1 投票 0

错误的输出正则表达式

重新导入导入 urllib3 url = 'https://bazaartracker.com/search?query=rough+ruby' def extract_dynamic_numbers_from_url(url): http = urllib3.PoolManager() 响应 = http.request('GET', url...

python web-scraping

回答 1 投票 0

网页抓取职业橄榄球参考

我正在尝试从以下页面抓取防守表：https://www.pro-football-reference.com/boxscores/202402110kan.htm 请注意，此页面上有多个表格，因此您需要滚动

r web-scraping rvest

回答 1 投票 0

如何使用 selenium 滚动浏览并打印网站的结果。我正在尝试抓取一个网站，但它没有打印所有结果[重复]

我正在使用selenium 扫描booking.com，它有超过600 个结果，但selenium 只扫描了51 个结果。我不知道我做错了什么。这是我的代码。从硒导入网络驱动程序从se...

python selenium-webdriver web-scraping

回答 1 投票 0

无法在 selenium 无头模式下运行扩展？

当我运行脚本扩展不起作用时，当我检查错误屏幕截图时，有一些添加。从 selenium.webdriver.chrome.options 导入选项来自 selenium.webdriver.chrome.service 我...