web-scraping 相关问题

Web抓取是从不易提供API或其他自动数据检索方法的网站中提取特定信息的过程。关于“如何开始使用刮擦”（例如使用Excel VBA）的问题应该*进行彻底的研究*，因为有许多功能代码示例可供使用。 Web抓取方法包括第三方应用程序，定制软件的开发，甚至是标准化方式的手动数据收集。

解析讨论论坛只能让我获得第一个用户评论，但不能获得其他用户回复

有人可以帮我一下吗，我似乎无法弄清楚这个问题。我有一个 url 文件列表，如下所示： https://community.appian.com/discussions/f/administration/14/integrate-token-d...

python web-scraping beautifulsoup

回答 1 投票 0

我无法在 Python 中使用 Selenium 选择特定选项

我正在尝试使用 Selenium 和 Python 选择此标签中的选项“Yazar”。但是，我无法单击此按钮并选择选项“Yazar”。怎么做？我正在尝试使用 Selenium 和 Python 选择此标签中的选项“Yazar”。但是，我无法单击此按钮并选择选项“Yazar”。如何做到这一点？ <div class="col-md-8 col-sm-8 col-xs-8 form-group has-feedback"> <div class="btn-group bootstrap-select form-control required"> <button type="button" class="btn dropdown-toggle bs-placeholder btn-default" data-toggle="dropdown" role="button" data-id="frmAkademiUnvan" title="Lütfen Seçiniz"> <span class="filter-option pull-left">Lütfen Seçiniz</span> <span class="bs-caret"> <span class="caret"> </span> </span> </button> <div class="dropdown-menu open" role="combobox"> <ul class="dropdown-menu inner" role="listbox" aria-expanded="false"> <li data-original-index="1"> <a tabindex="0" class="" style="" data-tokens="null" role="option" aria-disabled="false" aria-selected="false"> <span class="text">Yazar</span> <span class="glyphicon glyphicon-ok check-mark"> </span> </a> </li> <li data-original-index="2"> <a tabindex="0" class="" style="" data-tokens="null" role="option" aria-disabled="false" aria-selected="false"> <span class="text">Senior Author</span> <span class="glyphicon glyphicon-ok check-mark"> </span> </a> </li> <li data-original-index="3"> <a tabindex="0" class="" style="" data-tokens="null" role="option" aria-disabled="false" aria-selected="false"> <span class="text">Corresponding Author</span> <span class="glyphicon glyphicon-ok check-mark"> </span> </a> </li> <li data-original-index="4"> <a tabindex="0" class="" style="" data-tokens="null" role="option" aria-disabled="false" aria-selected="false"> <span class="text">Eşit Katkılı Yazar</span> <span class="glyphicon glyphicon-ok check-mark"> </span> </a> </li> <li data-original-index="5"> <a tabindex="0" class="" style="" data-tokens="null" role="option" aria-disabled="false" aria-selected="false"> <span class="text">Lisansüstü Öğrenci</span> <span class="glyphicon glyphicon-ok check-mark"> </span> </a> </li> <li data-original-index="6"> <a tabindex="0" class="" style="" data-tokens="null" role="option" aria-disabled="false" aria-selected="false"> <span class="text">İkinci Danışman Yazar</span> <span class="glyphicon glyphicon-ok check-mark"> </span> </a> </li> <li data-original-index="7"> <a tabindex="0" class="" style="" data-tokens="null" role="option" aria-disabled="false" aria-selected="false"> <span class="text">Tebliği Sunan</span> <span class="glyphicon glyphicon-ok check-mark"> </span> </a> </li> </ul> </div> <select id="frmAkademiUnvan" name="yazarTur" title="Lütfen Seçiniz" data-live-search="false" class="selectpicker form-control required" required="true" tabindex="-98"> <option class="bs-title-option" value="">Lütfen Seçiniz</option> <option value="1">Yazar</option> <option value="2">Senior Author</option> <option value="3">Corresponding Author</option> <option value="4">Eşit Katkılı Yazar</option> <option value="5">Lisansüstü Öğrenci</option> <option value="6">İkinci Danışman Yazar</option> <option value="7">Tebliği Sunan</option> </select> </div> </div> 我正在分享相关的Python代码。我运行此代码来选择特定选项。然而，它并没有选择“Yazar”选项： # 15) Choose author type with WebDriverWait lutfen_seciniz_span = WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.XPATH, "//span[contains(@class, 'filter-option') and contains(text(), 'Lütfen Seçiniz')]")) ) lutfen_seciniz_span.click() # Click on "Yazar" yazar_option = WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.XPATH, "//a[@role='option' and .//span[text()='Yazar']]")) ) yazar_option.click() 我没有收到任何错误消息。终端返回空白空间。您需要使用Selenium的Select Class来处理下拉列表/选择列表元素。请参考以下代码： wait = WebDriverWait(driver, 10) select_node = Select(wait.until(EC.element_to_be_clickable((By.ID, "frmAkademiUnvan")))) select_node.select_by_visible_text("Yazar") 进口： from selenium.webdriver.common.by import By from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.ui import Select

python html selenium-webdriver web-scraping automation

回答 1 投票 0

如何使用python绕过验证码

我知道关于这个问题还有很多其他问题，但它们似乎……已经过时了（？）或者至少，它们不再起作用了。我尝试了多种方法，例如代理轮换器、自定义代理列表（w...

python web-scraping session python-requests captcha

回答 1 投票 0

如何使用网络抓取器保持登录彭博社，然后快速抓取文章的完整内容？

总体目标使用 nodeJS，我希望能够使用用户凭据登录 Bloomberg，然后以登录用户身份进行抓取。最好不要使用 Selenium，因为根据我的经验，Selenium 是......

authentication web-scraping jwt session-cookies bloomberg

回答 1 投票 0

为什么从标签.get_attribute获取的值不能以键值对的形式存储在字典中？

我目前无法将对 Selenium 中的标签执行 .get_attribute 获得的值存储到字典中，特别是标题和 href，如下面的代码所示。我正在尝试存储...