【发布时间】:2021-05-06 18:55:57
【问题描述】:
我正在尝试编写一个 UDF 来丰富一个包含地理位置信息的 IP 列。我想用于扩充的数据以国家 IP 范围的形式存储在数据湖中。要读取文件,我使用的是 Java API,但我发现这非常慢。例如,读取一百万行需要 2 分钟以上。读取完整文件需要几个小时,效率低得惊人。这是我用来读取文件的代码:
from pyspark import SparkContext
from pyspark.sql import SparkSession
spark = (SparkSession.builder
.master(...).getOrCreate())
sc = spark._sc
hadoopConf = sc._jsc.hadoopConfiguration()
URI = sc._gateway.jvm.java.net.URI
Path = sc._gateway.jvm.org.apache.hadoop.fs.Path
FileSystem = sc._gateway.jvm.org.apache.hadoop.fs.FileSystem
BufferedReader = sc._gateway.jvm.java.io.BufferedReader
InputStreamReader = sc._gateway.jvm.java.io.InputStreamReader
datalake_file_system = '...'
account_name = '...'
fs = FileSystem.get(URI("abfss://{}@{}.dfs.core.windows.net".format(datalake_file_system, account_name)), hadoopConf)
file_path = Path('...')
f = fs.open(file_path)
r = BufferedReader(InputStreamReader(f))
while True:
line = r.readLine()
fields = line.split(',')
if fields[0].startswith('start_ip'):
continue
# Load IP range to country mapping in a map
...
有没有更快的方法来执行这样的操作?
我的 UDF 背后的想法是在地图中加载 IP 范围/地理信息,然后在地图加载到内存后在 UDF 中执行查找。在 Spark 中可能还有其他更有效的方法来执行此操作。我想听听是否有更典型的方式来做这样的事情。原始信息在一个表中,我编写了代码来执行表之间的连接,但由于合并涉及 IP 范围,因此直接连接效率非常低。我使用了分桶,它确实加快了速度,但我想看看使用 UDF 是否会更有效。
【问题讨论】:
标签: apache-spark pyspark bigdata