如何使用python和beautifulsoup4循环和抓取多个页面的数据

问题描述 投票：0回答：1

我必须迭代超过4000页：在每页之后。当我们到达可用的最后一页时，没有更多的页面，所以我们已经完成并可以退出循环，例如持续。

可能没有涵盖欧洲所有国家的数据库（例如非民主国家白俄罗斯没有公布太多信息）。因此，如果您需要OpenStreetMap拥有的更多数据，您可能需要逐个国家/地区。以下是法国的数据。法国政府创建了一个网站，显示法国所有4307家医院和诊所的名单：

http://www.ScopeSante.fr

点击“Voir la listedesétablissements”获取完整列表。乍一看关于从页面到页面的抓取问题 - 可以通过不同的方法解决：

看看似乎从零到最大的数字 - 在两者之间我们有一堆数字，可以获取网站;例如470000027

我们在页面底部没有分页：例如：

https://www.scopesante.fr#/etablissements/470000027/fiche-detaillee/" LINIQUE ESQUIROL-SAINT-HILAIRE</span></a>
https://www.scopesante.fr#/etablissements/470005406/fiche-detaillee/" CH AGEN NERAC - HOPITAL DE MONBRAN-(Modification juridique le 31 décembre 2016)</span></a>
https://www.scopesante.fr#/etablissements/470008780/fiche-detaillee/" EHPAD-USLD DE POMPEYRIE CH AGEN NERAC</span></a>
https://www.scopesante.fr#/etablissements/470000423/fiche-detaillee/" CH AGEN NERAC - HOPITAL SAINT-ESPRIT</span></a>
https://www.scopesante.fr#/etablissements/470000159/fiche-detaillee/" CLINIQUE CALABET</span></a>
https://www.scopesante.fr#/etablissements/040780405/fiche-detaillee/" CENTRE DES CARMES</span></a>
https://www.scopesante.fr#/etablissements/430000166/fiche-detaillee/" CENTRE SSR JALAVOUX</span></a>
https://www.scopesante.fr#/etablissements/050000223/fiche-detaillee/" CENTRE HOSPITALIER AIGUILLES QUEYRAS</span></a>
https://www.scopesante.fr#/etablissements/030000160/fiche-detaillee/" CENTRE HOSPITALIER SPECIALISE D'AINAY</span></a>
https://www.scopesante.fr#/etablissements/950500017/fiche-detaillee/" GHI DU VEXIN SSR SITE AINCOURT</span></a>
https://www.scopesante.fr#/etablissements/400782769/fiche-detaillee/" POLYCLINIQUE DE L'ADOUR</span></a>
https://www.scopesante.fr#/etablissements/400780367/fiche-detaillee/" CLINIQUE MEDICALE JEAN SARRAILH</span></a>

等等......好吧，我们可以将这个URL设置为基础 -

如果我们有一个数组，我们从中加载需要访问的网址 - 我们会遇到所有页面..我们有大约4400页的记录，我们必须访问。

关于循环过程：

页面参数后的附加信息

这意味着您可以阅读页面内容，然后将页面值更改为1，并阅读下一页....依此类推。

import csv
import requests 
from bs4 import BeautifulSoup
for i in range(4400):      # Number of pages plus one 
    url = "".format(i)
    r = requests.get(url)
    soup = BeautifulSoup(r.content)

    # Your code for each individual page here 

  html = urlopen(url)
    soup = BeautifulSoup(html,"html.parser")
    Title = soup.find_all ,,,, 
    for i in Title:
        try:

            print(text)
f.close()

见下面的一个问题：

问题是 - 解析器过程是否正常 - 迭代从零到100 000？

<ul><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800002503/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">SA CLINIQUE SAINTE ISABELLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800006231/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">SSR CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800015539/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">HAD CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800000143/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/570000380/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABRESCHVILLER</span><span class="etablissement">ABRESCHVILLER - CRS SAINT LUC</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/340017292/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">AGDE</span><span class="etablissement">UADSA ST GUILHEM PAYS D'AGDE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/340780436/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">AGDE</span><span class="etablissement">HOPITAL ST LOUP HBT AGDE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">

问题是 - 解析器过程是否正常 - 迭代从零到100 000？

python css beautifulsoup
1个回答
4
投票

当我访问所有机构网页的列表时，我看到该网站首先使用自己的私有API来获取机构列表。查看：

https://ws.scopesante.fr/v4/carte-etablissements

私有API以JSON格式返回完整的机构列表及其“id”号码。所以，你去吧。这是完整列表。您可以使用每个组织的“id”编号查找每个组织的“详细信息”页面。因此，使用到“详细信息”页面的路线：

https://www.scopesante.fr#/etablissements/PUT_ID_NUMBER_HERE/fiche-detaillee/

您可以抓取所有“id”数字，将它们放在Python列表中，然后遍历该列表（反对尝试按上面所述计算）。

注意：抓取这些数据时请尊重。在短时间内向服务器发出~4000个请求会增加负载。此外，如果此站点具有防僵尸机制，您可能会被阻止。

你是对的。大约有4400家企业;具体来说，我看到3869家场所。但是，您可以访问每个组织的“id”号码。因此，当你刮网站时，使用这些“id”号码会更有效率。

编辑：我更乱用API，发现您可以通过调用API直接获取特定企业的详细信息。看到：

https://ws.scopesante.fr/v4/fiche-identite/010000024

这将返回特定企业的详细信息。只需将URL末尾的数字替换为您正在查找的企业的“id”号。

使用API​​通常比直接抓取页面更有效。与抓取网页相比，使用API​​在服务器上的负载也更少。 API直接为您提供数据。网页为您提供了您不需要查看的数据和一堆资源（CSS，JS等）。

最新问题
© www.soinside.com 2019 - 2024. All rights reserved.