【发布时间】:2019-01-16 13:30:08
【问题描述】:
我需要分析一个包含数千行的 txt 文档,但是我在将数据拆分为空格时遇到了麻烦,因为双引号和方括号中包含的空格不应考虑在内。我怎么能这样做?
我正在使用此代码:
from pyspark import SparkContext
sc = SparkContext.getOrCreate()
lines = sc.textFile('C:\\test.txt')
parts = lines.map(lambda line: line.replace(' - - ', ' ').split(' '))
print(parts.glom().collect())
第一行是:
199.72.81.55 - - [01/Jul/1995:00:00:01 -0400] "GET /history/apollo/ HTTP/1.0" 200 6245
输出是:
['199.72.81.55', '[01/Jul/1995:00:00:01', '-0400]', '"GET', '/history/apollo/', 'HTTP/1.0"', '200', '6245']
但应该是:
['199.72.81.55', '[01/Jul/1995:00:00:01 -0400]', '"GET /history/apollo/HTTP/1.0"', '200', '6245']
我开始学习 Spark,但我有点迷茫。我已经尝试了所有方法,但我无法解决这个问题。
谢谢!
【问题讨论】:
-
你考虑过使用正则表达式吗? pyspark 处理数千条日志行并不是什么大问题。与简单的
split相比,正则表达式速度较慢,但可以帮助您正确分隔它们。 -
@nightgaunt,我对正则表达式没有任何问题,但我不知道如何在这里应用它。我在另一篇文章中看到了这个正则表达式 (- - | (? 这可能会帮助我解决这个问题...
标签: python apache-spark pyspark