web-scraping 相关问题

R：无法使用 rvest 或 V8 找到 html 中的元素

我想将以下网站主表中的文本下载为表格： https://seia.sea.gob.cl/expediente/expedientesEvaluacion.php?modo=ficha&id_expediente=7673283 桌子看起来...

数据抓取动态网站性能

我想抓取一个报纸档案网站（genios.de），但遇到了一个问题，即单击后该网站版本的目录会动态呈现。预览窗口打开...

使用BeautifulSoup，如何选择没有子项的标签？

html如下： 我不想要这个 我正在尝试获取所有 div 并投射...

使用 Python 3.9，如何从 URL -> https://www.tamoil.ch/en/store-locator 获取 MS Excel 中的所有物理地址

我想从这个url [https://www.tamoil.ch/en/store-locator]获取MS-excel中的所有物理地址。 电子表格只有标题，但没有代码的输出。 导入请求 来自...

Python selenium 无头浏览器窗口

这是我项目的一段代码 从硒导入网络驱动程序 从 selenium.webdriver.common.by 导入 从 selenium.webdriver.edge.service 导入服务 来自 selenium.webdriver.edge.opt...

如何从 HTML 源代码中下载所有链接的图像？

总体使命： 为了打印，我想下载从 Pinterest 板上链接的 330 张图像。请注意，不是您访问图板时看到的缩略图，而是较大的图像......

如何在没有模式的情况下在 JavaScript 中解码 Base64 编码的 Protobuf 数据？

我正在尝试从投注网站 etipos.sk 抓取数据。 API 响应的 ReturnValue 字段中包含 Base64 编码的 Protobuf 字符串。 以下是 API 响应的示例： { 结果：...

NFT 标价

OpenSea 允许用户买卖 NFT。从 OpenSea 中，您可以查看项目内列出的 NFT 的价格。当 NFT 上市时，上市价格是存储在区块链上还是静态的...

与Playwright一起在异步代码中遇到NotImplementedError：了解原因并寻求解决方案

我在使用 Playwright 运行异步代码时遇到了 NotImplementedError。您能帮助我了解此错误的根本原因并提出可能的解决方案吗？ 这是我的代码...

/profile 位于我的 URL 末尾，导致网络抓取功能无法工作

我正在尝试从雅虎财经中抓取数据作为功能的一部分。末尾带有“/profile”的 URL 不起作用，但如果我把它去掉，该 URL 就会拉进来。有谁有任何想法吗...

第一次对如何进行网页抓取感到困惑

有一个像 bonbast.com 这样的网站，我正在尝试获取值，但我只是对如何做到这一点感到困惑。值应该类似于“美元”和“欧元”的输出。 我的

无法点击对话框中的保存按钮

我正在使用 NodeJS 和 Playwright 做一个 Web 自动化项目。该项目是抓取链接并在新选项卡中打开它并保存 PDF。我已完成保存 PDF 的最后部分，我...

基于2个条件而不是在同一节点级别上选择xpath中的元素

更新： 我不知道使用以下结构过滤两个条件的语法。 我需要选择一个特定的 更新： 我不知道使用以下结构过滤两个条件的语法。 我需要在名为 <a class="_1ufH4" href="ELEMENT of INTEREST"> 的节点之一中选择一个特定的 <div class="_1rOLI _My0B"> 仅当满足以下两个条件时： <h2 class="_2MeiE">PARIS</h2> <div class="_16U2O typography-h220">20:30</div> <root> <div class="_13nA5"> <section role="none" class="_29N96"> <div class="SppyD"> <div class="_2Bl6B"> <img src="https://example" alt="" width="20" height="20"> </div> <h2 class="_2MeiE">LONDON</h2> </div> <div class="_26Fte"> <div class="_1rOLI _My0B"> <div class="_2VB9y"> <div class="_18IfB"> <div class="_3u6AO"> <a class="_1ufH4" href="ELEMENT of INTEREST"> <div class="_2AdVd"> <div class="Xi8qr"> <div class="_16U2O typography-h220">14:30</div> </div> </div> </a> </div> </div> </div> </div> <div class="_1rOLI _My0B"> <div class="_2VB9y"> <div class="_18IfB"> <div class="_3u6AO"> <a class="_1ufH4" href="ELEMENT of INTEREST"> <div class="_2AdVd"> <div class="Xi8qr"> <div class="_16U2O typography-h220">15:30 2</div> </div> </div> </a> </div> </div> </div> </div> </div> </div> </section> </div> <div class="_13nA5"> <section role="none" class="_29N96"> <div class="SppyD"> <div class="_2Bl6B"> <img src="https://example" alt="" width="20" height="20"> </div> <h2 class="_2MeiE">PARIS</h2> </div> <div class="_26Fte"> <div class="_1rOLI _My0B"> <div class="_2VB9y"> <div class="_18IfB"> <div class="_3u6AO"> <a class="_1ufH4" href="ELEMENT of INTEREST"> <div class="_2AdVd"> <div class="Xi8qr"> <div class="_16U2O typography-h220">20:30</div> </div> </div> </a> </div> </div> </div> </div> <div class="_1rOLI _My0B"> <div class="_2VB9y"> <div class="_18IfB"> <div class="_3u6AO"> <a class="_1ufH4" href="ELEMENT of INTEREST"> <div class="_2AdVd"> <div class="Xi8qr"> <div class="_16U2O typography-h220">16:30</div> </div> </div> </a> </div> </div> </div> </div> </div> </div> </section> </div> <root/> 我遇到过“前面的兄弟姐妹”，但我不知道如何根据我给你的两个条件的位置来选择感兴趣的元素。 如果我理解正确的话 //section[contains(.,"PARIS")]//a[@class="_1ufH4" and contains (.//div,"20:30")] 您可以进一步自定义第一个 contains 参数以获得更多独特性

如何使用 Python 从 Espacenet 抓取专利链接？

我需要从 Espacenet 上的搜索结果中抓取专利链接。 由于 Espacenet 是一个动态网站，因此使用 Beautiful Soup 和 Requests 的简单方法不起作用。 我尝试使用 Selenium tog...

如何在Python中从动态图中获取数据

我正在尝试从此网站上的动态线图获取数据：https://www.xe.com/currencycharts/?from=SGD&to=USD&view=5Y。 您可以在网站上更改时间段，但全网络

如何在Python中访问iFrame中的属性

我正在学习网络抓取以进行数据分析。 我已经成功检索了此页面上的几个感兴趣的元素，例如标题、日期、点赞数等。https://old.reddit.com/r/JoeRogan/comments/cmx...

抓取 HTML 表并将行数据插入数据库表

我有一个使用 SimpleHtmlDom 生成的结果。 包括('simple_html_dom.php'); $html = file_get_html('http://www.example.com'); $count =count($html->find('table tbody tr td')) - 1; //$count =1...

我的用于网页抓取和下载五个图像的Python代码不起作用..使用Blender（3D）作为IDE

我也在运行此代码，网络抓取并从 Google 下载 5 张图像：应该发生的情况是在我运行代码后，Chrome 网络浏览器应该出现，并且代码应该c...

带分页的网页抓取动态表格

我需要帮助来删除此网站中的动态表：rootdata 该表有多个页面。我需要使用“无标记”作为过滤器来提取表的前 200 行。 图像示例 我会的

如何使用 selenium 抓取概念站点的表格单元格中包含的概念页面？

我想根据概念站点中概念表中存在的概念页面的内容创建一个数据集。 我已经成功编写了一个脚本，它完全可以完成我想做的事情，即： 打开si...