【发布时间】：2018-11-20 20:03:57
【问题描述】：
我有一个面向互联网的 sftp 服务器，它会定期更新 csv 文件。是否有命令让 BigQuery 从此 sftp 检索数据并将其放入表中。或者，任何支持此功能的 API 或 python 库？
【问题讨论】：
标签： google-bigquery sftp
【发布时间】：2018-11-20 20:03:57
【问题描述】：
至于 BigQuery - 我所知道的与 SFTP 没有集成。
您需要：
- 创建/查找从 SFTP 读取并推送到 GCS 的脚本。
- 向 SFTP 服务器添加 HTTPS 服务，以便使用 GCS 传输服务读取您的数据 (https://cloud.google.com/storage-transfer/docs/)
【讨论】：
另一个支持 (S)FTP 进出 GCP 的第三方工具是 Magnus - Workflow Automator，它是 Potens.io Suite 的一部分 - 支持所有 BigQuery、Cloud Storage 和大多数 Google API 以及多个简单的实用程序类型任务，如 BigQuery 任务、导出到存储任务、循环任务等等，以及高级计划、触发等。也可在 Marketplace 获得。
FTP-to-GCS 任务接受源 FTP URI，并且可以根据输入将单个或多个文件传输到 Google Cloud Storage 中的目标位置。将生成的上传到 Google Cloud Storage 的列表保存到一个参数中，以供以后在工作流中使用。源 FTP 可以是 SFTP、FTP 或 FTPS 类型。
查看here了解更多信息
披露：我是 Google Cloud 的 GDE，这些工具的创建者和 Potens 团队的领导者
【讨论】：