如何使用Nokogiri(以及XPATH和CSS)提取HTML链接和文本

问题描述 投票:5回答:1

(更新:这个答案是从Nokogiri的角度写的,但是如果您要为特定查询寻找XPATH或CSS语法,它也很有用。)]] >>

我爱Nokogiri,这是从XML和HTML文档中提取元素的绝佳工具。尽管在线示例很好,但它们大多显示了如何处理XML文档。

如何使用Nokogiri从HTML提取提取链接和链接文本?

((更新:此答案是从Nokogiri的角度编写的,但是如果您要为特定查询寻找XPATH或CSS语法,它也很有用。)我喜欢Nokogiri -这是一个很棒的工具...] >

这是最初针对Getting attribute's value in Nokogiri to extract link URLs编写的一个微型示例,此处以Community Wiki样式提取,以方便参考。

这里是解析HTTP中的链接时可能会执行的一些常见操作,以cssxpath语法显示。

从此片段开始:

require 'rubygems'
require 'nokogiri'

html = <<HTML
<div id="block1">
    <a href="http://google.com">link1</a>
</div>
<div id="block2">
    <a href="http://stackoverflow.com">link2</a>
    <a id="tips">just a bookmark</a>
</div>
HTML

doc = Nokogiri::HTML(html)

提取所有链接

我们可以使用xpath或css查找所有<a>元素,然后仅保留具有href属性的元素:

nodeset = doc.xpath('//a')      # Get all anchors via xpath
nodeset.map {|element| element["href"]}.compact  # => ["http://google.com", "http://stackoverflow.com"]

nodeset = doc.css('a')          # Get all anchors via css
nodeset.map {|element| element["href"]}.compact  # => ["http://google.com", "http://stackoverflow.com"]

[在以上情况下,.compact是必需的,因为对<a>元素的搜索除其他元素外还返回“只是书签”元素。

但是我们可以使用更精细的搜索来仅查找包含href属性的元素:

attrs = doc.xpath('//a/@href')  # Get anchors w href attribute via xpath
attrs.map {|attr| attr.value}   # => ["http://google.com", "http://stackoverflow.com"]

nodeset = doc.css('a[href]')    # Get anchors w href attribute via css
nodeset.map {|element| element["href"]}  # => ["http://google.com", "http://stackoverflow.com"]

查找特定链接

<div id="block2">中查找链接

nodeset = doc.xpath('//div[@id="block2"]/a/@href')
nodeset.first.value # => "http://stackoverflow.com"

nodeset = doc.css('div#block2 a[href]')
nodeset.first['href'] # => "http://stackoverflow.com"

如果知道只搜索一个链接,则可以改用at_xpathat_css

attr = doc.at_xpath('//div[@id="block2"]/a/@href')
attr.value          # => "http://stackoverflow.com"

element = doc.at_css('div#block2 a[href]')
element['href']        # => "http://stackoverflow.com"

从关联文本中找到链接

如果您知道与链接关联的文本并想找到其URL,该怎么办?一个小小的xpath-fu(或css-fu)派上用场:

element = doc.at_xpath('//a[text()="link2"]')
element["href"]     # => "http://stackoverflow.com"

element = doc.at_css('a:contains("link2")')
element["href"]     # => "http://stackoverflow.com"

从链接中查找文字

为了完整性,这是您获取与特定链接关联的文本的方式:

element = doc.at_xpath('//a[@href="http://stackoverflow.com"]')
element.text     # => "link2"

element = doc.at_css('a[href="http://stackoverflow.com"]')
element.text     # => "link2"

有用的参考文献

除了广泛的Nokorigi documentation,在撰写本文时,我还遇到了一些有用的链接:

css ruby xpath nokogiri
1个回答
14
投票

这是最初针对Getting attribute's value in Nokogiri to extract link URLs编写的一个微型示例,此处以Community Wiki样式提取,以方便参考。

© www.soinside.com 2019 - 2024. All rights reserved.