我正在使用python 3.5.1和请求模块制作一个小型网络爬虫,它从特定网站下载所有漫画。我正在试验一个页面。我使用BeautifulSoup4解析页面,如下所示:
import webbrowser
import sys
import requests
import re
import bs4
res = requests.get('http://mangapark.me/manga/berserk/s5/c342')
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, 'html.parser')
for link in soup.find_all("a", class_ = "img-link"):
if(link):
print(link)
else:
print('ERROR')
当我做print(link)
时,我感兴趣的是正确的HTML部分,但是当我尝试仅使用link.get('src')
获取src中的链接时,它只打印None
。
我尝试使用以下链接:
img = soup.find("img")["src"]
它没关系,但我希望拥有所有src链接,而不是第一个链接。我对beautifulSoup的经验不多。请指出发生了什么。谢谢。
我感兴趣的网站上的示例HTML部分是:
<a class="img-link" href="#img2">
<img id="img-1" class="img"
rel="1" i="1" e="0" z="1"
title="Berserk ch.342 page 1" src="http://2.p.mpcdn.net/352582/687224/1.jpg"
width="960" _width="818" _heighth="1189"/>
</a>
我会一次性使用CSS selector:
for img in soup.select("a.img-link img[src]"):
print(img["src"])
在这里,我们得到所有img
元素具有src
属性位于a
元素下与img-link
类。它打印:
http://2.p.mpcdn.net/352582/687224/1.jpg
http://2.p.mpcdn.net/352582/687224/2.jpg
http://2.p.mpcdn.net/352582/687224/3.jpg
http://2.p.mpcdn.net/352582/687224/4.jpg
...
http://2.p.mpcdn.net/352582/687224/20.jpg
如果您仍想使用find_all()
,则必须将其嵌套:
for link in soup.find_all("a", class_ = "img-link"):
for img in link.find_all("a", src=True): # searching for img with src attribute
print(img["src"])