【发布时间】:2016-08-25 21:06:28
【问题描述】:
跟进这个question 而不是我使用hdfs 的oracle。我正在对 8G 的普通 csv 进行以下计算。每次我获取结果需要 7 分钟。我有 5 台服务器,每台 20G 内存。如何减少执行时间?
#loading data from hdfs
df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("dateFormat","dd/MM/yyyy hh:mm:ss.SSS").option("inferSchema", "true").load("hdfs://10.10.10.11:8020/sparkfiles/alarmfiles/export.csv")
更改日期时间
from datetime import datetime
from pyspark.sql.functions import col,udf
from pyspark.sql.types import DateType
from pyspark.sql.types import TimestampType
import re
def datefun(firstoccurrence):
return datetime.strptime(re.sub(r'\d{3}( .M)$', r'\1', firstoccurrence),'%d-%b-%y %I.%M.%S.%f %p')
dt_conv = udf (datefun, TimestampType())
groupbyalerts1 = df.groupBy('ALERTGROUP').count().sort('count', ascending=False)
groupbyalerts2 = groupbyalerts1.filter(groupbyalerts1['ALERTGROUP'] != '')
groupbyalerts = groupbyalerts2.filter(groupbyalerts2['ALERTGROUP'] != '0')
groupbyalerts.show(30,False)
n/w 活动期间的日志输出:
INFO TaskSetManager: Finished task 4.0 in stage 18.0 (TID 980) in 4080 ms on analytics1.com (4/54)
16/08/19 09:01:37 INFO TaskSetManager: Starting task 7.0 in stage 18.0 (TID 983, analytics2.com, partition 7
16/08/19 16:23:24 INFO BlockManagerInfo: Added broadcast_86_piece0 in memory on analytics2.com:57096 (size: 25.9 KB, free: 8.4 GB)
计算日志:
16/08/19 16:18:28 INFO TaskSetManager: Starting task 22.0 in stage 57.0 (TID 2563, analytics4.com, partition 22,NODE_LOCAL, 2324 bytes)
16/08/19 16:18:28 INFO TaskSetManager: Finished task 18.0 in stage 57.0 (TID 2559) in 28654 ms on analytics4.com (19/54)
16/08/19 16:18:32 INFO TaskSetManager: Starting task 23.0 in stage 57.0 (TID 2564, nanalytics3.com, partition 23,NODE_LOCAL, 2324 bytes)
16/08/19 16:18:32 INFO TaskSetManager: Finished task 20.0 in stage 57.0 (TID 2560) in 31702 ms on analytics3.com (20/54)
【问题讨论】:
-
排除
inferSchema这里没有明显的错误。 -
@zero323 我删除了它,但仍然看到每个任务需要 28 秒的延迟,如日志中的第 54 个任务中的 2 个?我很困惑,我的方式不正确。 21:45:36 INFO TaskSetManager:在 analytics.com 2/54 上以 28848 毫秒完成阶段 1.0 (TID 9) 中的任务 8.0
-
所以这里的下一个问题是Python UDF。
-
@zero323 有什么建议吗?我想要日期格式的数据。
-
这里没有什么是内置 Spark SQL 函数无法处理的。
标签: apache-spark dataframe pyspark