Databricks Python 优化

Question

我需要你的帮助，我在 python 中有一个简单的代码，它列出了 databricks 上所有数据库中表中的所有字段，有将近 90 个表，我想将结果保存在一个txt 或 csv 文件。这是使用的代码，但它需要 8 小时才能完成它太长了我该如何优化或有其他方法让它更快？

# table containing all name of database in databricks  
#df_tables = spark.sql("SELECT * FROM bd_xyh_name")
#DynoSQL is a string table for result in txt

def discribe():
  try: 
     for i in df_tables.collect():
        showTables="""show tables in {};""".format(i.nombd)
        df1=spark.sql(showTables)
        for j in df1.collect():
            describeTable="""describe table {0}.{1};""".format(j.database,j.tableName)
            df2=spark.sql(describeTable)
            #df3=df2.collect()
            df3 = df2.rdd.toLocalIterator()
            for k in df3:
              #df=df2.select(df2.col_name;k.data_type)
              #spark.sql("insert into NewTable VALUES ("+j.database+";"+j.tableName+";"+k.col_name+";"+k.data_type+");")
              spark.sql("insert into DynoSQL select \""+j.database+";"+j.tableName+";"+k.col_name+";"+k.data_type+"\"")
             # request="insert into NewTable VALUES ({};{};{};{});""".format(j.database,j.tableName,k.col_name,k.data_type)
              #spark.sql(request)
             
  except:
    raise

Answer 1

你可以试试下面的逻辑。

逻辑：

• 获取工作区中可用的数据库并生成list
• 迭代数据库名称并获取数据库中可用的表并写入临时表。 （您应该将临时表创建为托管表）

优势：基于这个逻辑，一次只会处理一个数据库，如果在处理过程中失败，我们可以从失败databases开始，而不是整个工作空间级别。

代码片段：

from pyspark.sql.types import *
import pyspark.sql.functions as f
from pyspark.sql import functions as F
from pyspark.sql.functions import col, concat, lit

df = spark.sql("show databases")
list = [x["databaseName"] for x in df.collect()]

for x in list:
    df = spark.sql(f"use {x}")
    df1 = spark.sql("show tables")
    df_loc.write.insertInto("writeintotable")
display(df1)

截图：