Pyspark ImportError：没有名为 spark_df_profiling 的模块

Question

我正在尝试在 pyspark databricks 环境中使用spark_df_profiling。我收到以下错误。

> pip install spark_df_profiling

from datetime import datetime
import spark_df_profiling
df = sql("select * from ab.data").cache()

ImportError: No module named 'spark_df_profiling'
---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
<command-2036534138125494> in <module>()
      1 from datetime import datetime
----> 2 import spark_df_profiling

我该如何解决这个问题？

Answer 1

对于 Databricks，最好使用dbutils.library.installPyPI 方法安装包。

dbutils.library.installPyPI("spark_df_profiling")

import spark_df_profiling