【问题标题】:How to split a RDD into spaces by ignoring spaces within double quotation marks and square brackets如何通过忽略双引号和方括号内的空格将 RDD 拆分为空格
【发布时间】:2019-01-16 13:30:08
【问题描述】:

我需要分析一个包含数千行的 txt 文档,但是我在将数据拆分为空格时遇到了麻烦,因为双引号和方括号中包含的空格不应考虑在内。我怎么能这样做?

我正在使用此代码:

from pyspark import SparkContext
sc = SparkContext.getOrCreate()
lines = sc.textFile('C:\\test.txt')
parts = lines.map(lambda line: line.replace(' - - ', ' ').split(' '))
print(parts.glom().collect())

第一行是:

199.72.81.55 - - [01/Jul/1995:00:00:01 -0400] "GET /history/apollo/ HTTP/1.0" 200 6245

输出是:

['199.72.81.55', '[01/Jul/1995:00:00:01', '-0400]', '"GET', '/history/apollo/', 'HTTP/1.0"', '200', '6245']

但应该是:

['199.72.81.55', '[01/Jul/1995:00:00:01 -0400]', '"GET /history/apollo/HTTP/1.0"', '200', '6245']

我开始学习 Spark,但我有点迷茫。我已经尝试了所有方法,但我无法解决这个问题。

谢谢!

【问题讨论】:

  • 你考虑过使用正则表达式吗? pyspark 处理数千条日志行并不是什么大问题。与简单的 split 相比,正则表达式速度较慢,但​​可以帮助您正确分隔它们。
  • @nightgaunt,我对正则表达式没有任何问题,但我不知道如何在这里应用它。我在另一篇文章中看到了这个正则表达式 (- - | (? 这可能会帮助我解决这个问题...

标签: python apache-spark pyspark


【解决方案1】:

使用正则表达式可以帮助您正确拆分日志记录。此外,它还允许根据您的需要自定义 RDD。

我厚颜无耻地从https://stackoverflow.com/a/12544587/10378736复制的正则表达式示例

regex = r'([(\d\.)]+) - - \[(.*?)\] "(.*?)" (\d+) (\d+)'
  • 第一组([(\d\.)]+)分隔你的IP地址
  • - - 被忽略,因为它们没有被 () 包围
  • \[(.*?)\] 将 [] 中的所有内容分组
  • "(.*?)" 将引号内的所有内容分组
  • (\d+) 为您提供响应状态
  • 最后(\d+) 为您提供响应时间

请注意:此正则表达式并未涵盖您的 apache 日志格式的所有情况。这个正则表达式可以打破数千个非常正常/通常的 apache 日志的情况。但是对于答案的范围,我将只使用一个示例正则表达式。更多内容由您来探索。

关于实现,您已经在使用map 对每一行进行迭代。

parts = lines.map(lambda line: re.match(regex, line).groups())

我主动提出的建议是先决定聚合部分,然后相应地拆分日志行。这将在聚合和生成最终结果期间节省大量执行时间。

【讨论】:

  • 谢谢夜魇。我正在尝试对此进行测试,但我用来显示结果的代码print(parts.glom().collect()) 不适用于正则表达式(我不知道为什么)。你能帮帮我吗?
  • 也许你没有import re?
  • 现在我明白了这个问题。你怎么说,这个正则表达式并没有涵盖所有情况,在 txt 我有主机是互联网地址 (midcom.com) 而不是 IP (199.72.81.55)。这些行导致打印出现问题(错误很大,但我认为这与空值有关)。我将尝试更改此正则表达式以涵盖所有情况。谢谢! (因为我的名声不好,我不能给你 +1)。
  • @nightgaunt 你能帮我在 scala 中做同样的事情吗
【解决方案2】:

试试这个。为我工作。

输入文件值:

199.72.81.55 - - [01/Jul/1995:00:00:01 -0400] "GET /history/apollo/ HTTP/1.0" 200 6245

代码:

trdd=sc.textFile('file')
import re
o = trdd.flatMap(lambda x : ((v) for v in re.split('([(\d\.)]+) - - \[(.*?)\] "(.*?)" (\d+) (\d+)',x)))

输出:

>>> for i in o.collect():    print(i)                             ...

199.72.81.55
01/Jul/1995:00:00:01 -0400
GET /history/apollo/ HTTP/1.0
200
6245

【讨论】:

  • 谢谢你,Mayur!你的代码对我帮助很大。此解决方案不会导致我在使用 nightgaunt 的代码时遇到的错误,但由于 txt 模式的变化(当我拥有互联网地址而不是 IP 时没有拆分),我仍然遇到问题。我会考虑如何改进正则表达式。 (因为我的名声不好,我不能给你+1)
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2012-08-03
  • 1970-01-01
  • 2011-06-26
  • 1970-01-01
  • 2014-03-05
  • 2018-10-26
  • 1970-01-01
相关资源
最近更新 更多