【问题标题】:Is my apache spark usage right?我的 apache spark 使用正确吗?
【发布时间】:2016-08-25 21:06:28
【问题描述】:

跟进这个question 而不是我使用hdfs 的oracle。我正在对 8G 的普通 csv 进行以下计算。每次我获取结果需要 7 分钟。我有 5 台服务器,每台 20G 内存。如何减少执行时间?

#loading data from hdfs
df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("dateFormat","dd/MM/yyyy hh:mm:ss.SSS").option("inferSchema", "true").load("hdfs://10.10.10.11:8020/sparkfiles/alarmfiles/export.csv")

更改日期时间

from datetime import datetime
from pyspark.sql.functions import col,udf
from pyspark.sql.types import DateType
from pyspark.sql.types import TimestampType
import re
def datefun(firstoccurrence):
    return datetime.strptime(re.sub(r'\d{3}( .M)$', r'\1', firstoccurrence),'%d-%b-%y %I.%M.%S.%f %p')
dt_conv =  udf (datefun, TimestampType())

groupbyalerts1 = df.groupBy('ALERTGROUP').count().sort('count', ascending=False)

groupbyalerts2 = groupbyalerts1.filter(groupbyalerts1['ALERTGROUP'] != '')

groupbyalerts = groupbyalerts2.filter(groupbyalerts2['ALERTGROUP'] != '0')

groupbyalerts.show(30,False)

n/w 活动期间的日志输出:

INFO TaskSetManager: Finished task 4.0 in stage 18.0 (TID 980) in 4080 ms on analytics1.com (4/54)
16/08/19 09:01:37 INFO TaskSetManager: Starting task 7.0 in stage 18.0 (TID 983, analytics2.com, partition 7
16/08/19 16:23:24 INFO BlockManagerInfo: Added broadcast_86_piece0 in memory on analytics2.com:57096 (size: 25.9 KB, free: 8.4 GB)

计算日志:

16/08/19 16:18:28 INFO TaskSetManager: Starting task 22.0 in stage 57.0 (TID 2563, analytics4.com, partition 22,NODE_LOCAL, 2324 bytes)
16/08/19 16:18:28 INFO TaskSetManager: Finished task 18.0 in stage 57.0 (TID 2559) in 28654 ms on analytics4.com (19/54)
16/08/19 16:18:32 INFO TaskSetManager: Starting task 23.0 in stage 57.0 (TID 2564, nanalytics3.com, partition 23,NODE_LOCAL, 2324 bytes)
16/08/19 16:18:32 INFO TaskSetManager: Finished task 20.0 in stage 57.0 (TID 2560) in 31702 ms on analytics3.com (20/54)

【问题讨论】:

  • 排除inferSchema这里没有明显的错误。
  • @zero323 我删除了它,但仍然看到每个任务需要 28 秒的延迟,如日志中的第 54 个任务中的 2 个?我很困惑,我的方式不正确。 21:45:36 INFO TaskSetManager:在 analytics.com 2/54 上以 28848 毫秒完成阶段 1.0 (TID 9) 中的任务 8.0
  • 所以这里的下一个问题是Python UDF。
  • @zero323 有什么建议吗?我想要日期格式的数据。
  • 这里没有什么是内置 Spark SQL 函数无法处理的。

标签: apache-spark dataframe pyspark


【解决方案1】:

首先尽量避免模式推断。使用默认设置,它需要额外的数据扫描,并且比显式转换更昂贵。换句话说,为读者提供架构:

schema  = StructType([...])
df = sqlContext.read.schema(schema).format(...)

最好避免使用 Python UDF。虽然 UDF 性能在 2.0+ 中有所提高,但它仍然不是最理想的。在这种情况下,您可以轻松地将其替换为以下组合:

  • pyspark.sql.functions.regexp_replace
  • pyspark.sql.functions.unix_timestamp 用简单的日期格式解析为Long
  • 最后是迄今为止的简单类型转换

【讨论】:

    猜你喜欢
    • 2018-05-06
    • 2014-02-28
    • 2015-06-25
    • 2022-01-08
    • 2011-08-07
    • 2011-09-26
    • 2019-05-03
    • 2016-03-12
    • 1970-01-01
    相关资源
    最近更新 更多