【问题标题】:Is it possible to use Jupyter Notebook for AWS Glue instead of Zeppelin是否可以将 Jupyter Notebook 用于 AWS Glue 而不是 Zeppelin
【发布时间】:2018-08-11 22:57:53
【问题描述】:

我开始使用 AWS Glue 进行数据 ETL。我已将我的数据源提取到我的 AWS 数据目录中,并且即将为来自我用于测试的一个特定 Postgres 数据库中的数据创建一个作业。我在网上读到,在创作自己的作品时,您可以使用 Zeppelin 笔记本。我根本没有使用过 Zeppelin,但由于我是一名 Python 开发人员,我大量使用了 Jupyter notebook,并且经常将它用于数据分析和机器学习自我学习。我无法在网上的任何地方找到它,所以我的问题是“在创作您自己的 AWS Glue 作业时,有没有办法使用 Jupyter 笔记本代替 Zeppelin 笔记本?” p>

【问题讨论】:

    标签: python jupyter aws-glue


    【解决方案1】:

    如果您可以在本地设置 Jupyter 笔记本并启用到 AWS Glue 的 SSH 隧道,我认为应该可以。我确实看到了一些用于设置本地 Jupyter 笔记本、启用 SSH 隧道等的参考站点,但不是特定于 AWS Glue。

    【讨论】:

    • 谢谢 Yuva,您是否可以包含其中的一些链接?我很难找到它们。
    • 对于 Jupyter notebook,我遇到了这个:digitalocean.com/community/tutorials/… 和 Zeppelin,hernandezpaul.wordpress.com/2016/11/14/…
    • 对于 SSH 隧道,我认为您可以使用 GitBash,并在创建开发端点时使用 AWS Glue 提供的 ssh url。
    • 你也可以试试这个链接在windows上设置pyspark/jupyter:jbencina.com/blog/2017/07/15/…,虽然我没有试过。我在 Windows 上设置了 zeppelin,并在需要 AWS 胶水时用作开发端点
    • 为什么会有反对票?认为我对请求的链接有所帮助。你能澄清一下吗。谢谢
    【解决方案2】:

    截至 2021 年 7 月,Glue 支持两种笔记本

    • Sagemaker 笔记本(由 Jupyter 提供支持)
    • Zeppelin 笔记本。

    文档link

    【讨论】:

      猜你喜欢
      • 2020-11-03
      • 1970-01-01
      • 2021-10-22
      • 2017-07-25
      • 2023-03-24
      • 2017-03-10
      • 2019-12-22
      • 1970-01-01
      • 2023-02-07
      相关资源
      最近更新 更多