如何以 .log 扩展名组合来自 zip 文件的数据并将它们组合起来

Question

我已经下载了 zip 文件并从中提取了日志文件，但是，我无法打开 .log 文件格式并将数据合并到数据框中。

import fnmatch
with ZipFile("path/HTWebLog_p1.zip") as zipfiles:

  file_list = zipfiles.namelist()

  #get only the .log files
  csv_files = fnmatch.filter(file_list, "*.log")

  #iterate with a list comprehension to get the individual dataframes
  data = [pd.read_csv(zipfiles.open(file_name), delimiter=',', header=0) for file_name in csv_files]

#combine into one dataframe
df = pd.concat(data)
df.head()

csv_files 数据框的输出以 .log 格式显示 zip 文件的名称。 我收到以下错误。 ParserError：错误标记数据。 C 错误：第 5 行中应有 1 个字段，但看到了 3

数据：

#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2006-11-01 00:00:08
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) sc-status sc-substatus sc-win32-status 
2006-11-01 00:00:08 W3SVC1 127.0.0.1 GET /Default.aspx - 80 - 70.80.84.76 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) http://www.google.com/search?sourceid=navclient&aq=t&ie=UTF-8&rls=GGLD,GGLD:2005-19,GGLD:en&q=Tulip+hotel 200 0 0
2006-11-01 00:00:08 W3SVC1 127.0.0.1 GET /Tulip/home/en-us/home_index.aspx - 80 - 70.80.84.76 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) - 200 0 0
2006-11-01 00:00:08 W3SVC1 127.0.0.1 GET /Tulip/includes/js/CommonUtil.js - 80 - 70.80.84.76 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) http://www.hotelTulip.com.hk/Tulip/home/en-us/home_index.aspx 200 0 0

Answer 1

日志文件不是 CSV 文件（逗号分隔值），因此 CSV 解析器当然会阻塞它们。

如果不知道您想从日志文件中提取什么，请尝试类似

import fnmatch

data = []
with ZipFile("path/HTWebLog_p1.zip") as zipfiles:
  file_list = zipfiles.namelist()
  log_files = fnmatch.filter(file_list, "*.log")
  for file_name in log_files:
      with zipfiles.open(file_name) as lines:
          data.extend(lines.readlines())

这只会将原始行读入data。如果你想从中解析出单个字段，你可能需要一些更复杂的东西，但至少这应该能让你朝着正确的方向开始。

更详细地说，错误消息告诉您 CSV 解析器检查了前几行，并观察到它们都不包含逗号，因此它们都被解析为单列文本。但是现在在第 5 行突然有一行包含几个逗号，这违反了格式定义（CSV 文件中的每条记录都需要包含相同数量的列）。但是，当然，如果您查看数据，这些逗号实际上根本不是列分隔符。

数据似乎有固定数量的列，所以如果您跳过前几行，也许您可以使用 CSV 阅读器，而改用 delimiter=' '（这些列以空格分隔, 不是逗号分隔的)。