ruby 屏幕抓取脚本中的问题

Question

我有一个小型爬虫/屏幕抓取脚本，半年前可以工作，但现在，它不再工作了。我检查了页面源中reg表达式的html和css值，但它们仍然相同，所以从这个角度来看，它应该可以工作。有什么猜测吗？

require "open-uri"

# output file
f = open 'results.csv', 'w+'

# output string
results = ""

begin

  # crawl first 20 pages
  for i in (1..20)
    open("http://www.example-#{i}.com") {|url|

      # check each line using regular expression
      url.each_line { |line|
        if line =~ /class=\"L1g\" onclick=\"s_objectID=\'foobar\'\">([^<]+)<\/a><\/h3><\/li>/
          # if regular expression matches then add to results
          results += $1 + "\n"
        end
      }
    }
  end
ensure
  # write to and close file
  f.print results
  f.close
end

Answer 1

目标网站似乎已更改其页面结构，因此您的正则表达式不再匹配。

这是一个很好的例子，说明了为什么您不应该使用正则表达式来抓取页面以匹配内容。尝试使用像 Nokogiri 这样的 DOM 解析器重新编写脚本。这不一定会阻止您的脚本被破坏，但至少可以让它在微小的变化中幸存下来。

它不工作的原因可以在这个Rubular链接中看到