使用gsutil自动将本地存储的文件上载到云存储

Question

我是GCP的新手，我正在尝试构建一个ETL流，将数据从文件上传到BigQuery。在我看来，最好的解决方案是使用gsutil。我今天看到的步骤是：

1. （完成）将.zip文件从SFTP服务器下载到虚拟机
2. （完成）解压缩文件
3. 将文件从VM上载到云存储
4. （完成）自动将文件从Cloud Storage上传到BigQuery

步骤1和2将根据时间表执行，但我希望步骤3是事件驱动的。因此，当文件复制到特定文件夹时，gsutil会将它们发送到云存储中的指定存储桶。有什么想法可以做到这一点？

Answer 1

假设您在Linux VM上运行，您可能需要查看inotifywait，as mentioned in this question - 您可以将其作为后台进程运行以进行尝试，例如bash /path/to/my/inotify/script.sh &，然后一旦你测试了它并根据自己的喜好做了一些工作，就把它设置为一个守护进程。