可以从这个网站的地图上抓取数据吗?

问题描述 投票:0回答:1

是否可以使用 python 从地图中抓取数据 https://www.kiabi.com/magasins.html 我需要从每个蓝色项目符号中抓取信息。

我尝试查看源代码并找到具有“隐藏”状态的内容。

python maps screen-scraping
1个回答
1
投票

您可以使用以下 cURL 命令获取所有商店的信息。 不要删除 Referer 标头,因为服务器正在使用它进行验证。

> curl 'https://api.woosmap.com/stores?key=woos-3246a080-0b90-39a2-a673-5ae6b9acb1d9' -H 'Referer: https://www.kiabi.com/magasins.html'

一段时间后您可能需要刷新关键参数。 您可以在您提供的 URL 的 HTML 中找到它的硬编码。

> curl -s 'https://www.kiabi.com/magasins.html' | grep -oE 'fr:woos-[0-9a-f-]{36}'
fr:woos-3246a080-0b90-39a2-a673-5ae6b9acb1d9
© www.soinside.com 2019 - 2024. All rights reserved.