观看/阅读不断增长的日志文件

Question

我有一个不断增长的日志文件。如何通过 Ruby 脚本查看和解析它？

脚本将在写入文件时解析每个新行，并在新行包含字符串 'ERROR' 时将内容输出到屏幕

Answer 1

def watch_for(file, pattern)
  f = File.open(file,"r")
  f.seek(0,IO::SEEK_END)
  while true do
    select([f])
    line = f.gets
    puts "Found it! #{line}" if line=~pattern
  end
end

watch_for("g.txt",/ERROR/)

感谢ezpz的想法，使用select方法你得到你想要的。 select 方法正在监听 IO 的流，读取“迟到”的字节。

Answer 2

您可以通过以下方式使用Kernel#select：

def watch_for(file,pattern)
   f = File.open(file,"r")

   # Since this file exists and is growing, seek to the end of the most recent entry
   f.seek(0,IO::SEEK_END)

   while true
      select([f])
      puts "Found it!" if f.gets =~ pattern
   end
end

然后这样称呼它：

watch_for("some_file", /ERROR/)

我已经省略了所有的错误检查等等——你会希望拥有它，并且可能需要一些机制来打破循环。但是基本的想法就在那里。

Answer 3

有两种方法：

• 在无限循环中轮询文件（就像在千机贵的回答中一样，但最好在无限循环中放入一些sleep）
• 使用操作系统事件子系统：BSD 上的 kqueue，Linux 上的 inotify

这是我写的一篇文章：Ruby for Admins: Reading Growing Files。所以结合事件子系统和轮询的程序如下所示：

def tail_dash_f(filename)
  open(filename) do |file|
    file.read          
    case RUBY_PLATFORM   # string with OS name, like "amd64-freebsd8"
    when /bsd/, /darwin/
      require 'rb-kqueue'
      queue = KQueue::Queue.new     
      queue.watch_file(filename, :extend) do
        yield file.read             
      end
      queue.run                     
    when /linux/
      require 'rb-inotify'
      queue = INotify::Notifier.new  
      queue.watch(filename, :modify) do
        yield file.read             
      end
      queue.run                      
    else
      loop do           
        changes = file.read
        unless changes.empty?  
          yield changes
        end
        sleep 1.0       
      end
    end
  end
end

tail_dash_f ARGV.first do |data|
  print data
  if data =~ /error/i
    # do something else, for example send an email to administrator
  end
end

Answer 4

如果您使用的是 Linux...

tail -f log/development.log | grep "ERROR"

除非您出于某种原因真的希望它是一个 Ruby 脚本。

Answer 5

查看file-tailgem

Answer 6

穷人的快捷方式：

1. 一个 Ruby 脚本

   ARGF.each do |line|
     ...
   

2. 运行屏幕：

   tail -f file | ruby script 
   

Answer 7

处理@Qianjigui 的想法，但不使用 100% CPU：

def watch_for(file, pattern)
  # Replace -n0 with -n+1 if you want to read from the beginning of file
  f = IO.popen(%W[tail -f -n0 #{file}])
  while line = f.gets
    puts "Found it! #{line}" if line =~ pattern
  end
end

watch_for('g.txt', /ERROR/)