【问题标题】:Impossible to import koalas in scala notebookscala notebook 无法导入考拉
【发布时间】:2020-02-11 10:38:03
【问题描述】:

这似乎很基本,但从我在 databricks 网站上看到的情况来看,我这边没有任何效果

我已经在我的集群上安装了 koalas 包 但是当我尝试在我的 Scala 笔记本中导入包时,我遇到了问题。

command-3313152839336470:1: error: not found: value databricks
import databricks.koalas

如果我用 Python 做,一切正常

Details cluster & notebook

感谢您的帮助 马特

【问题讨论】:

    标签: scala databricks azure-databricks spark-koalas


    【解决方案1】:

    Koalas 是一个 Python 包,它模仿 Pandas(另一个 Python 包)接口。目前没有发布 Scala 版本,即使该项目可能包含一些 Scala 代码。 Koalas 的目标是提供 Pandas 的替代品,以利用 Apache Spark 的分布式特性。由于 Pandas 仅在 Python 上可用,我不希望在 Scala 中有直接的端口。

    https://github.com/databricks/koalas

    对于 Scala,最好的选择是使用 Spark 的 DataSet 和 DataFrame API: https://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/Dataset.html https://databricks.com/blog/2016/01/04/introducing-apache-spark-datasets.html

    【讨论】:

    • 感谢您的意见,我被 Spark 峰会演讲中提到的 Scala 代码弄糊涂了 :)
    猜你喜欢
    • 2023-04-11
    • 1970-01-01
    • 2023-03-06
    • 2017-09-19
    • 2020-11-09
    • 1970-01-01
    • 2019-08-18
    • 2021-11-02
    • 2020-11-06
    相关资源
    最近更新 更多