从网页中提取隐藏链接

问题描述 投票:0回答:1

请检查此链接https://maroof.sa/businesses

它是一个网站链接,我想从中提取链接。

例如,如果您向下滚动,您会发现商店名称“Marwa store” 如果您点击此卡,您将重定向到商店页面

现在我需要废弃页面中所有商店的链接“https://maroof.sa/businesses

检查后发现它被隐藏了

我已成功提取商店名称 但我找不到链接

提前致谢

import time
from selenium.webdriver.support.select import Select
from selenium.webdriver.common.by import By
from selenium import webdriver
from scrapy import Selector
import csv
driver = webdriver.Chrome()
driver.get(url="https://maroof.sa/businesses")
html = driver.page_source
names = driver.find_elements(By.CSS_SELECTOR , 'div.storeCard')
html selenium-webdriver web-scraping scrapy extract
1个回答
0
投票

我会把这个写成评论,但我缺乏这样做的声誉: 商店把我当作机器人锁在门外。可能是因为我的IP根据书面语言显然不是来自那个地区。 所以我假设这里的其他人在尝试查看该页面时遇到了同样的问题。

你能提供一个示例对象/它的整个源代码吗?

© www.soinside.com 2019 - 2024. All rights reserved.