使用 gsutil 自动将本地存储的文件上传到 Cloud Storage

Question

我是 GCP 的新手，我正在尝试构建一个 ETL 流，将数据从文件上传到 BigQuery。在我看来，最好的解决方案是使用 gsutil。我今天看到的步骤是：

1. （完成）将 .zip 文件从 SFTP 服务器下载到虚拟机
2. （完成）解压文件
3. 将文件从虚拟机上传到云存储
4. （完成）自动将文件从 Cloud Storage 上传到 BigQuery

第 1 步和第 2 步将按计划执行，但我希望第 3 步由事件驱动。因此，当文件被复制到特定文件夹时，gsutil 会将它们发送到 Cloud Storage 中的指定存储桶。任何想法如何做到这一点？

Answer 1

假设您在 Linux 虚拟机上运行，​​您可能需要查看 inotifywait、as mentioned in this question - 您可以将其作为后台进程运行以进行尝试，例如bash /path/to/my/inotify/script.sh &，然后将其设置为守护程序，一旦您对其进行了测试并获得了您喜欢的工作。