Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”（例如使用Excel VBA）的问题应该*进行彻底的研究*，因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序，定制软件的开发，甚至是标准化方式的手动数据收集。
我正在尝试从以下网站的简单表格中获取数据（https://bvmf.bmfbovespa.com.br/clube-de-investimento/clube-de-investimento.aspx?Idioma=pt- br）。我能够获取数据...
我正在尝试使用 Google Apps 脚本从以下示例网页中提取数据： 网址 = http://www.premierleague.com/players/2064/Wayne-Rooney/stats?se=54 使用 UrlFetchApp.Fetch(url) 问题...
我使用 rSelenium 已经有几个月了，但现在以前有用的东西不起作用了。我更新了 java 和 rselenium 包，认为一定是这样。 这是我的代码： 图书馆（tidyverse） 图书馆（
请求和 BeautifulSoup 从 YouTube 获取视频长度
从 YouTube 网址获取视频长度时，从网络浏览器检查显示有一行： 然后我使用 requests 和 BeautifulSoup 来获取它： 导入请求 从 bs4 导入 BeautifulSoup 网址=...
我有从网站提取搜索结果的代码片段。我屏蔽了该网站，但在这里共享代码块。 search_page_url =“https://mysite.results/search” 会话 = 请求。
如何找到网页上“下载”按钮的位置以提供给Python网页抓取代码？
我是使用 Python 进行网页抓取的新手。基本上，我需要做的是找到“下载”按钮的位置并将该位置提供给 Python 代码。位置应该看起来
我刚刚看到一篇名为《史上最伟大的 500 首歌曲》的文章，心想“哦，太酷了，我打赌他们还制作了一个我可以关注的 Spotify/Apple 音乐列表”。嗯……他们不……
我正在使用网页中调用 javascript webBrowser2.Document.InvokeScript(“download_file”);`。 此 JavaScript 打开对话框，要求用户保存或打开文件。我想拯救...
使用 Selenium 和 Chromium 时，WebDriver 在出现“在缓存中找到驱动程序”消息后无法继续运行
我正在使用 Selenium 和 Python 在 Ubuntu 系统上以无头模式执行网页抓取。我的脚本配置日志记录并使用上下文管理器来处理 WebDriver。然而，脚本停止了
以下代码按预期工作。 从 Parsera 导入 Parsera url =“https://news.ycombinator.com/” 元素={ "Title": "新闻标题", “积分&...
我在 Ryan Mitchel 的 Web Scraping with Python 中找到了以下 Web 抓取代码： 从 urllib.request 导入 urlopen 从 bs4 导入 BeautifulSoup 进口再 页面=设置（） def getLinks(pageUr...
使用 selenium (python) 将图像上传到 Facebook Marketplace
我正在尝试自动化在 Facebook 市场上创建广告。 我成功登录并进入正确的页面。 但我不知道如何用硒上传图像。 事实上，该元素具有...
对于一个项目，我想显示有关 Steam 游戏的数据，因此我尝试从 Steam 商店检索数据。对于应用程序和软件包，有一个非常好的 API 可供使用。 （示例：https://store.steampo...
X (Twitter) 使用 twikit 进行网页抓取。如何验证auth_token是否过期？
我正在尝试使用 twikit python lib 来 webscrape X（以前称为 twitter）。 我无法验证 auth_token 是否过期。 这是供您参考的代码片段： 来自 twikit 我...
Google 搜索抓取返回 200 状态但没有结果，只有一个隐藏的 HTML div
我一直在使用Python抓取Google搜索结果，但从昨天开始，我遇到了一个问题。当我发送请求时，它返回 200 状态代码，但不是搜索结果，而是...
我找到了原始的python代码https://www.actowizsolutions.com/scrape-freedom-of-information-request-portals-data.php。 我开始将其用于我的抓取项目，但是似乎当我...
如何避免从网络面板复制粘贴硬编码的cookie来发出动态请求？
我使用请求模块编写了一个脚本，该模块从该网页上名为“共同基金”的表的第二列中获取名称。 该脚本仅在我包含硬编码的 cookies 时才有效...
如果不从网络面板复制并粘贴硬编码的cookie，则无法使脚本工作
我使用请求模块编写了一个脚本，该模块从该网页上名为“共同基金”的表的第二列中获取名称。该脚本仅在我包含硬编码的 cookies 时才有效...
从网站的 sitemap.xml 获取特定 .xml 的链接
我有一个网站sitemap.xml，结构如下： 我有一个网站sitemap.xml，结构如下： <?xml version="1.0" encoding="UTF-8"?> <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <sitemap> <loc>https://www.example.com/sitemap/Main-8531739688368880386.xml</loc> </sitemap> <sitemap> <loc>https://www.example.com/sitemap/Product-8073944469920756310.xml</loc> </sitemap> </sitemapindex> 只有在加载www.example.com/sitemap.xml后，我才能获取上述sitemap.xml。我想在站点地图索引项不断变化时获取它们，从而在加载 www.example.com/sitemap.xml 后获取 <loc> 标签，以便我可以使用那里的 Product-8073944469920756310.xml 链接。 有什么解决办法吗？ 如果我理解正确的话，你可以使用 xpath 来获取它。例如： let xpath = require('xpath'), dom = require('xmldom').DOMParser, xml = `your xml above`, doc = new dom().parseFromString(xml), nodes = xpath.select("//*[local-name()='loc']/text()", doc) console.log(nodes[1].data) 输出： https://www.example.com/sitemap/Product-8073944469920756310.xml NBFC 年度合规 简而言之，合规意味着遵守适用于实体的规则和命令。每个实体都受法律和秩序管辖，并且该实体需要遵守其规定的规则和条例 https://www.corpzo.com/nbfc-annual-compliance
我正在尝试通过 yfinance 库查询雅虎财经 api，并有 4000 个股票代码的列表。 我可以通过以下方式单独查询我需要的数据： yf.Ticker('msft').info['扇区'] 和 yf.Tic...