web-scraping 相关问题

我正在尝试获取一个链接列表，这些链接在具有类的中没有识别信息。汤 = BeautifulSoup(pageToScrape.text, "html.parser") items = soup.findAll('... 我正在尝试获取具有类的 <div> 中没有识别信息的链接列表。 soup = BeautifulSoup(pageToScrape.text, "html.parser") items = soup.findAll('div', attrs = {'class':'object'}) 我遇到的问题是，在获得项目列表后，我没有找到一种方法（检查 BeautifulSoup 文档）来获取子标签。我尝试了几种不同的“解决方案”，例如 items = items.findAll('a') items = items.select('.objects + div > a') items = [tag['a'] for tag in soup.iselect(".objects")] 我感觉很困难。您已经在某些方面走上了正确的道路，但您混合了一些东西。直接通过 css selector 从您的 soup 获取列表/结果集： soup.select('.objects + div > a') 或迭代您仍然创建的结果集： items = soup.find_all('div', attrs = {'class':'object'}) [obj.find('a') for obj in items] 在较新的代码中，请避免使用旧语法 findAll() 而是使用 find_all() 或 select() 与 css selectors - 有关更多信息，请花一分钟时间检查文档

python web-scraping beautifulsoup

回答 1 投票 0

为什么 Pandas 不抓取第二个表？

我想抓取2个表，但只得到第一个表的结果。为什么？我对两个表使用相同的逻辑。导入请求从 bs4 导入 BeautifulSoup 将 pandas 导入为 pd #

python pandas web-scraping beautifulsoup

回答 1 投票 0

为什么不用 Py 来清理表格呢？

我想抓取2个表，但只得到第一个表的结果。为什么？我对两个表使用相同的逻辑。导入请求从 bs4 导入 BeautifulSoup 将 pandas 导入为 pd # 要废弃的 URL...

python pandas web-scraping beautifulsoup

回答 1 投票 0

如何在Python Web Scraper中高效实现多线程？

您好 Stack Overflow 社区，我目前正在开发一个涉及使用 Python 和 BeautifulSoup 进行网页抓取的项目。我现在拥有的代码适用于较小的网站，但它很困难......

python multithreading performance web-scraping beautifulsoup

回答 1 投票 0

向链接发送 HTTP 请求时无法正确使用字典参数

我正在尝试从此网页中抓取表格内容。我想显示发送带有参数的 GET HTTP 请求后收到的 JSON 响应。当我手动输入参数时...

python web-scraping python-requests

回答 2 投票 0

使用 Selenium 从页面获取所有 H2 元素

根据我之前的两个问题：Selenium 是否有类似 BeautifulSoup 的 Find All 的功能？我需要在像这样的页面中获取H2标签的所有内容。 JeffC 带来的伟大代码...

python selenium-webdriver web-scraping

回答 1 投票 0

使用选择器小工具在 R 中进行网页抓取

我正在尝试抓取以下网站：https://au.finance.yahoo.com/quote/META/analysis 我遇到了一些问题：我使用选择器小工具突出显示表格。但它不起作用，因为它...

html r web-scraping rvest

回答 1 投票 0

web-scraping 相关问题

最新问题