因此,我正在尝试抓取整个网站,但问题是该页面与我想要的条目使用相同的内容。因此,这就是为什么我要对它执行findAll,然后使用if:语句查找各个参数的原因。
我当前的问题是,由于某些页面没有该参数,所以我无法使所有参数都具有相同的长度。这也意味着,如果列的长度相同,则无法将其导出到csv。
此外,使用当前代码,当找不到时,它不会返回'N / A'。
这是我的代码(可能也不是最有效的)
'''
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
header = soup.find('p', attrs={'class':'ho1'}).text
location.append({'Location' : header.partition(split)[2]} if header else 'N/A')
for Listing in soup.findAll('div', attrs={'style' : "height:19px; line-height:19px; color:#333; display:inline; float:left"}):
print(Listing)
if 'ID: ' in Listing.text:
identification.append({'ID' : Listing.text} if Listing.text else 'N/A')
if 'Bedrooms:' in Listing.text:
bedrooms.append({'Bedrooms' : Listing.text} if Listing.text else 'N/A')
if 'Bathrooms: ' in Listing.text:
bathrooms.append({'Bathrooms' : Listing.text} if Listing.text else 'N/A')
if 'Type: ' in Listing.text:
typetotal.append({'Type' : Listing.text} if Listing.text else 'N/A')
'''
结构: