使用 python 进行网页抓取（黑客新闻）

Question

代码

我想抓取黑客新闻提要的标题、标题超链接和分数。当我运行上面的代码时，会显示标题和分数，但不会显示超链接。有什么办法可以解决这个问题？

我想抓取黑客新闻提要的标题、标题超链接和分数。当我运行上面的代码时，会显示标题和分数，但不会显示超链接。在所有情况下，超链接都消失了。有什么办法可以解决这个问题？

Answer 1

一旦你通过
解析了 HTML

soup = BeautifulSoup(response.text, 'html.parser')

获取所有

a

标签如下；

links = soup.find_all('a', href=True)

一旦拥有所有

a

标签，您就可以循环遍历它们并解析它们的文本和 href，如下所示；

for link in links:
    title = link.text.strip()
    href = link['href']  # Get the href attribute value
    print(f"Title: {title}, Hyperlink: {href}")