BeautifulSoup HTML获得src链接

问题描述 投票:2回答:1

我正在使用python 3.5.1和请求模块制作一个小型网络爬虫,它从特定网站下载所有漫画。我正在试验一个页面。我使用BeautifulSoup4解析页面,如下所示:

import webbrowser
import sys
import requests
import re
import bs4

res = requests.get('http://mangapark.me/manga/berserk/s5/c342')
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, 'html.parser')

for link in soup.find_all("a", class_ = "img-link"):
    if(link):
        print(link)
    else:
        print('ERROR')

当我做print(link)时,我感兴趣的是正确的HTML部分,但是当我尝试仅使用link.get('src')获取src中的链接时,它只打印None

我尝试使用以下链接:

img = soup.find("img")["src"]

它没关系,但我希望拥有所有src链接,而不是第一个链接。我对beautifulSoup的经验不多。请指出发生了什么。谢谢。

我感兴趣的网站上的示例HTML部分是:

<a class="img-link" href="#img2">
    <img id="img-1" class="img"
          rel="1" i="1" e="0" z="1" 
          title="Berserk ch.342 page 1" src="http://2.p.mpcdn.net/352582/687224/1.jpg"
          width="960" _width="818" _heighth="1189"/>        
</a>
python html python-3.x beautifulsoup html-parsing
1个回答
2
投票

我会一次性使用CSS selector

for img in soup.select("a.img-link img[src]"):
    print(img["src"])

在这里,我们得到所有img元素具有src属性位于a元素下与img-link类。它打印:

http://2.p.mpcdn.net/352582/687224/1.jpg
http://2.p.mpcdn.net/352582/687224/2.jpg
http://2.p.mpcdn.net/352582/687224/3.jpg
http://2.p.mpcdn.net/352582/687224/4.jpg
...
http://2.p.mpcdn.net/352582/687224/20.jpg

如果您仍想使用find_all(),则必须将其嵌套:

for link in soup.find_all("a", class_ = "img-link"):
    for img in link.find_all("a", src=True):  # searching for img with src attribute
        print(img["src"])
© www.soinside.com 2019 - 2024. All rights reserved.