检测日志文件轮换（同时观察日志文件进行修改）

Question

我使用以下代码来跟踪 ssh 登录：

def follow(thefile):
  thefile.seek(0,2)
  while True:
    line = thefile.readline()
    if not line:
      time.sleep(0.1)
      continue
    yield line

if __name__ == '__main__':
  logfile = open('/var/log/auth.log', 'r')
  loglines = follow(logfile)
  for line in loglines:
    print 'do something here'

我注意到这个脚本在几天后突然停止工作。我没有收到任何错误，它没有终止，它只是停止工作，好像readline() 永远不会返回。

所以我执行了一个echo 'test' >> auth.log.1，这确实最终被脚本处理了，因为不久前auth.log被重命名为auth.log.1

如何跟踪此类日志轮换发生的时间并进行相应调整？

Answer 1

显然，在我的声望 >= 50 之前我无法发表评论。

@daniel-f 有一个很好的例子！我遇到的唯一边缘情况是，当创建我正在阅读的旋转日志文件的服务重新启动时，它会删除旧文件并创建新文件。

这会导致“通知程序”无法查看日志文件（因为它不同）。

由于服务每 60 秒写入一次日志文件，我对 for 循环进行了快速修改，如下所示：

last_pull = datetime.datetime.now()
while True:
...
...

            for event in notifier.event_gen():
                if event is not None:
                    last_pull = datetime.datetime.now()
                    (header, type_names, watch_path, filename) = event
                    if set(type_names) & set(['IN_MOVE_SELF']): # moved
                        notifier.remove_watch(file_watcher.intput_logfile)
                        file.close()
                        time.sleep(1)
                        break
                    elif set(type_names) & set(['IN_MODIFY']): # modified
                        lines = file.readlines()
                        for line in lines:
                            process(line, file_watcher, history=False)
                else:
                    if (datetime.datetime.now() - last_pull).total_seconds() >= time_to_refresh:
                        last_pull = datetime.datetime.now()
                        notifier.remove_watch(file_watcher.intput_logfile)
                        file.close()
                        break

这会在 75 秒后重新观看文件，但没有更新。

Answer 2

使用 e4c5 的回答我最终得到了这段代码，这也解决了每秒多次调用readline() 的问题。

在第一次调用期间，它会跳到文件末尾并等待修改。当文件被移动时，它会重新打开文件并读取整个内容，然后开始等待。

import os
import time
import traceback
import threading
import inotify.adapters

logfile = b'/var/log/auth.log'
#logfile = b'logfile.log'

##################################################################

def process(line, history=False):
  if history:
    print '=', line.strip('\n')
  else:
    print '>', line.strip('\n')

##################################################################

from_beginning = False
notifier = inotify.adapters.Inotify()
while True:
  try:
    #------------------------- check
    if not os.path.exists(logfile):
      print 'logfile does not exist'
      time.sleep(1)
      continue
    print 'opening and starting to watch', logfile
    #------------------------- open
    file = open(logfile, 'r')
    if from_beginning:
      for line in file.readlines():
        process(line, history=True)
    else:
      file.seek(0,2)
      from_beginning = True
    #------------------------- watch
    notifier.add_watch(logfile)
    try:
      for event in notifier.event_gen():
        if event is not None:
          (header, type_names, watch_path, filename) = event
          if set(type_names) & set(['IN_MOVE_SELF']): # moved
            print 'logfile moved'
            notifier.remove_watch(logfile)
            file.close()
            time.sleep(1)
            break
          elif set(type_names) & set(['IN_MODIFY']): # modified
            for line in file.readlines():
              process(line, history=False)
    except (KeyboardInterrupt, SystemExit):
      raise
    except:
      notifier.remove_watch(logfile)
      file.close()
      time.sleep(1)
    #-------------------------
  except (KeyboardInterrupt, SystemExit):
    break
  except inotify.calls.InotifyError:
    time.sleep(1)
  except IOError:
    time.sleep(1)
  except:
    traceback.print_exc()
    time.sleep(1)

##################################################################

Answer 3

最好使用inotify 完成此操作，您不想继续轮询文件系统以询问在循环的每次迭代期间是否发生了变化。这是很多浪费的IO。 inotify 将在发生更改时通知您。手册中有一个示例，它显示了它与日志文件的用法。

Answer 4

您可以查看文件的 inode。

import os
inode = os.stat('/var/log/auth.log').st_ino

当 inode 发生变化时，文件已被轮转。