【问题标题】:Processing a mainframe file using cobrix in databricks - Pyspark python 3在databricks中使用cobrix处理大型机文件-Pyspark python 3
【发布时间】:2020-01-16 15:40:06
【问题描述】:

有谁知道如何将 cobrix 集成到 azure databricks - pyspark 用于处理大型机文件,具有 comp-3 列(Python 3)

请在下面的链接中找到详细的问题。 https://github.com/AbsaOSS/cobrix/issues/236#issue-550885564

【问题讨论】:

    标签: python-3.x pyspark databricks cobol mainframe


    【解决方案1】:

    要使第三方或本地构建的代码可用于集群上运行的笔记本和作业,您可以安装一个库。库可以用 Python、Java、Scala 和 R 编写。您可以上传 Java、Scala 和 Python 库,并指向 PyPI、Maven 和 CRAN 存储库中的外部包。

    安装第三方库的步骤:

    第 1 步: 创建 Databricks 集群。

    第二步:选择创建的集群。

    步骤 3: 选择库 => 安装新的 => 选择库源 = "Maven" => 坐标 => 搜索包 => 选择 Maven 中心 => 搜索所需的包。示例:(spark-cobol, cobol-parser, scodec) => 选择需要的版本 => 安装

    更多详情请参考“Azure Databricks - libraries”和“Cobrix: A Mainframe Data Source for Spark SQL and Streaming”。

    希望这会有所帮助。如果您有任何进一步的疑问,请告诉我们。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2019-08-07
      • 2016-09-02
      • 2019-06-06
      • 2012-03-04
      • 1970-01-01
      • 2011-11-02
      • 2020-09-27
      • 1970-01-01
      相关资源
      最近更新 更多