这是最初针对Getting attribute's value in Nokogiri to extract link URLs编写的一个微型示例,此处以Community Wiki样式提取,以方便参考。
(更新:这个答案是从Nokogiri的角度写的,但是如果您要为特定查询寻找XPATH或CSS语法,它也很有用。)]] >> 我爱Nokogiri,这是从XML和HTML文档中提取元素的绝佳工具。尽管在线示例很好,但它们大多显示了如何处理XML文档。
如何使用Nokogiri从HTML提取提取链接和链接文本?
((更新:此答案是从Nokogiri的角度编写的,但是如果您要为特定查询寻找XPATH或CSS语法,它也很有用。)我喜欢Nokogiri -这是一个很棒的工具...] >
这是最初针对Getting attribute's value in Nokogiri to extract link URLs编写的一个微型示例,此处以Community Wiki样式提取,以方便参考。
这里是解析HTTP中的链接时可能会执行的一些常见操作,以css
和xpath
语法显示。
从此片段开始:
require 'rubygems' require 'nokogiri' html = <<HTML <div id="block1"> <a href="http://google.com">link1</a> </div> <div id="block2"> <a href="http://stackoverflow.com">link2</a> <a id="tips">just a bookmark</a> </div> HTML doc = Nokogiri::HTML(html)
提取所有链接
我们可以使用xpath或css查找所有
<a>
元素,然后仅保留具有href
属性的元素:nodeset = doc.xpath('//a') # Get all anchors via xpath nodeset.map {|element| element["href"]}.compact # => ["http://google.com", "http://stackoverflow.com"] nodeset = doc.css('a') # Get all anchors via css nodeset.map {|element| element["href"]}.compact # => ["http://google.com", "http://stackoverflow.com"]
[在以上情况下,
.compact
是必需的,因为对<a>
元素的搜索除其他元素外还返回“只是书签”元素。但是我们可以使用更精细的搜索来仅查找包含
href
属性的元素:attrs = doc.xpath('//a/@href') # Get anchors w href attribute via xpath attrs.map {|attr| attr.value} # => ["http://google.com", "http://stackoverflow.com"] nodeset = doc.css('a[href]') # Get anchors w href attribute via css nodeset.map {|element| element["href"]} # => ["http://google.com", "http://stackoverflow.com"]
查找特定链接
在
<div id="block2">
中查找链接nodeset = doc.xpath('//div[@id="block2"]/a/@href') nodeset.first.value # => "http://stackoverflow.com" nodeset = doc.css('div#block2 a[href]') nodeset.first['href'] # => "http://stackoverflow.com"
如果知道只搜索一个链接,则可以改用
at_xpath
或at_css
:attr = doc.at_xpath('//div[@id="block2"]/a/@href') attr.value # => "http://stackoverflow.com" element = doc.at_css('div#block2 a[href]') element['href'] # => "http://stackoverflow.com"
从关联文本中找到链接
如果您知道与链接关联的文本并想找到其URL,该怎么办?一个小小的xpath-fu(或css-fu)派上用场:
element = doc.at_xpath('//a[text()="link2"]') element["href"] # => "http://stackoverflow.com" element = doc.at_css('a:contains("link2")') element["href"] # => "http://stackoverflow.com"
从链接中查找文字
为了完整性,这是您获取与特定链接关联的文本的方式:
element = doc.at_xpath('//a[@href="http://stackoverflow.com"]') element.text # => "link2" element = doc.at_css('a[href="http://stackoverflow.com"]') element.text # => "link2"
有用的参考文献
除了广泛的Nokorigi documentation,在撰写本文时,我还遇到了一些有用的链接:
这是最初针对Getting attribute's value in Nokogiri to extract link URLs编写的一个微型示例,此处以Community Wiki样式提取,以方便参考。