【问题标题】:Speeding up UDF that accesses data lake加速访问数据湖的 UDF
【发布时间】:2021-05-06 18:55:57
【问题描述】:

我正在尝试编写一个 UDF 来丰富一个包含地理位置信息的 IP 列。我想用于扩充的数据以国家 IP 范围的形式存储在数据湖中。要读取文件,我使用的是 Java API,但我发现这非常慢。例如,读取一百万行需要 2 分钟以上。读取完整文件需要几个小时,效率低得惊人。这是我用来读取文件的代码:

from pyspark import SparkContext
from pyspark.sql import SparkSession
spark = (SparkSession.builder
                     .master(...).getOrCreate())
sc = spark._sc
hadoopConf = sc._jsc.hadoopConfiguration()
URI = sc._gateway.jvm.java.net.URI
Path = sc._gateway.jvm.org.apache.hadoop.fs.Path
FileSystem = sc._gateway.jvm.org.apache.hadoop.fs.FileSystem
BufferedReader = sc._gateway.jvm.java.io.BufferedReader
InputStreamReader = sc._gateway.jvm.java.io.InputStreamReader

datalake_file_system = '...'
account_name = '...'

fs = FileSystem.get(URI("abfss://{}@{}.dfs.core.windows.net".format(datalake_file_system, account_name)), hadoopConf)

file_path = Path('...')
f = fs.open(file_path)

r = BufferedReader(InputStreamReader(f))

while True:
    line = r.readLine()
    fields = line.split(',')
    if fields[0].startswith('start_ip'):
        continue
    # Load IP range to country mapping in a map
    ...

有没有更快的方法来执行这样的操作?

我的 UDF 背后的想法是在地图中加载 IP 范围/地理信息,然后在地图加载到内存后在 UDF 中执行查找。在 Spark 中可能还有其他更有效的方法来执行此操作。我想听听是否有更典型的方式来做这样的事情。原始信息在一个表中,我编写了代码来执行表之间的连接,但由于合并涉及 IP 范围,因此直接连接效率非常低。我使用了分桶,它确实加快了速度,但我想看看使用 UDF 是否会更有效。

【问题讨论】:

    标签: apache-spark pyspark bigdata


    【解决方案1】:

    我发现解决此问题的最佳解决方案是创建一个 Java UDF,它在地图中执行延迟加载和查找。

    【讨论】:

      猜你喜欢
      • 2023-03-25
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-10-07
      • 2020-07-22
      • 1970-01-01
      相关资源
      最近更新 更多