使用 spark 为 python 代码运行 Teradatasql 驱动程序

Question

我想编写代码，使用 python 从 teradata 获取数据。代码应该在集群和本地使用 spark 运行时工作。使用 spark 运行时，我不想在执行程序上打开连接。所以计划是使用 teradatasql 包在驱动程序上运行代码。由于 teradatasql 软件包所以库我认为我没有在集群上安装 teradata 库。

我将依赖项（即 teradatasql）打包为 egg 文件，并将其作为 --py-files 传递。但是在代码上运行时，teradatasql 无法从 egg 文件中读取库。

Os 错误：teradatasql.so 无法打开共享对象文件。不是目录。

我按照以下步骤打包了 egg 文件。 1. pip install teradatasql --target./src # 注意我所有的代码都在 src 文件夹中。执行此步骤将在我的 src 文件夹中安装 teradatasql 包。它包含 teradatasql.so 库 2. setup.py中的packages=find_packages('src'), package_data={'teradatasql':['teradatasql.so']} 3. python setup.py bdist_eggg

Answer 1

teradatasql 驱动程序使用共享库与 Teradata Database 进行通信。

如果仅重新打包驱动程序的 Python 文件部分，则 teradatasql 驱动程序将不起作用。你得到的错误将会发生。

teradatasql 驱动程序的预期用途是使用以下命令将其安装到 Python 环境中：pip install teradatasql

如果您拆开并重新打包 teradatasql 驱动程序，我们将无法为您提供有效的支持。这不是受支持的用例。