我们可以使用 FTP 在 apache-beam 中导入数据吗？

Question

我正在使用 Apache-Beam 编写数据流作业，该作业需要使用 FTPS [from ftplib import FTP_TLS] 服务器在 BigQuery 中导入数据。但是，当我尝试导入 FTPS 类 [ftps = FTP_TLS('ftp.xxxxx.xxx')] 时，我收到错误消息“TypeError: can't pickle SSLContext objects”。 我尝试将包放在setup.py中，以导入ftplib包，但仍然存在相同的错误。

Apache-Beam 不支持来自 FTPS 服务器的数据，如果支持，那么如何解决错误？

Answer 1

我不确定，因为您没有提供代码 sn-p。 但我认为您在 init 中创建了 FTP_TLS 对象。 在 init 中创建的所有对象都必须是可序列化的。

您可以尝试在 Process 函数中创建对象。 更多详情见：see Ankur answer on this issue

更多信息请参阅文档：

https://beam.apache.org/documentation/programming-guide/#core-beam-transforms

https://beam.apache.org/documentation/programming-guide/#requirements-for-writing-user-code-for-beam-transforms