【问题标题】:IDE for Azure databricksAzure 数据块的 IDE
【发布时间】:2022-06-21 14:39:46
【问题描述】:

我正在探索数据块并在 azure databricks 笔记本中编写所有代码。我阅读了有关数据连接、vscode、pycharm、intell j 等 IDE 的信息。人们实时使用 IDE,或者大多数时候人们使用数据砖笔记本。请指教。

问候,

【问题讨论】:

  • 请提供足够的代码,以便其他人更好地理解或重现问题。

标签: azure databricks azure-databricks aws-databricks


【解决方案1】:

如果您对 Eclipse、IntelliJ、PyCharm、RStudio、Visual Studio Code 等任何 IDE 有经验,Databricks Connect 允许您连接这些 IDE,以便在开发过程中感到舒适。否则,您可以简单地使用 Notebook。

Databricks Connect 上的这份官方文档将帮助您了解 Databricks Connect 的工作原理。在任何受支持的 IDE 中开始编写 notebook 的步骤。此外,您还将了解使用 Databricks Connect 运行与在 Databricks 笔记本中运行之间的区别。

【讨论】:

  • 谢谢。是否可以为数据砖创建本地环境(创建本地集群)而不是使用数据砖集群。当我们进行生产时,我们将创建一个作业集群。原因是为了避免成本。
  • 不,您不能在本地机器上运行 databricks 笔记本。 Databricks 是一种 PaaS 服务,因此您需要使用它们的集群来运行。但是,如果您想节省成本并在本地环境中工作,请忘记 Pycharm 和 VSC,安装 Jupyter notebook 并在本地机器上创建 conda 环境。它为您提供与 databricks 笔记本几乎相同的用户体验,并且专为数据分析和机器学习而设计。
【解决方案2】:

您提到了 VSC(Visual Studio 代码)和 PyCharm。我的几句话:

  • PyCharm 有付费版本 - 高级版,VSC 是免费的。
  • PyCharm 得到了来自 Microsoft 和社区的 JetBrains 和 VSC 的大力支持。
  • 如果您是 Python 用户,PyCHarm 可能是更好的选择。
  • 两个 IDE,即 PyCHarm 和 VSC,支持笔记本。

至于官方文档,你会在IDE下找到连接方法。首先,我会先查看 Databricks 页面上的那个:

这是一篇关于如何将 Databricks 连接到 Pycharm 的文章:

最后,您获得了 Microsoft 的文档并展示了如何建立连接:

浏览教程并确定哪个 IDE 对您最友好。

【讨论】:

  • 谢谢。是否可以为数据砖创建本地环境(创建本地集群)而不是使用数据砖集群。当我们进行生产时,我们将创建一个作业集群。原因是为了避免成本。
【解决方案3】:

您可以将您最喜欢的 IDE 与 Databricks 提供的 dbx 实用程序一起使用。 https://docs.databricks.com/dev-tools/index.html。根据官方文档,dbx 将取代 Databricks 连接。

【讨论】:

    猜你喜欢
    • 2020-06-03
    • 1970-01-01
    • 2021-02-18
    • 1970-01-01
    • 1970-01-01
    • 2023-01-18
    • 2020-01-18
    • 2019-11-07
    • 1970-01-01
    相关资源
    最近更新 更多