DVC 连接 Min.IO 访问 S3

Question

将 DVC 连接到连接到 S3 上某些存储桶的 Min.IO 的正确方法是什么。

AWS-S3(My_Bucket) > Min.io(MY_Bucket aliased as S3)

现在我正在使用 mc 访问我的存储桶，例如 mc cp s3/my_bucket/datasets datasets 从那里复制东西。但我需要设置我的 DVC 以使用 min.io 作为 AWS.S3 和 DVC 之间的集线器，以便我可以使用例如 "DVC mc-S3 pull" 和 "DVC AWS-S3 pull"。

我是怎么得到它的，因为在谷歌搜索时我找不到任何可以轻松跟踪的内容。

Answer 1

看起来您正在寻找多种事物的组合。

首先，Jorge 提到您可以设置 endpointurl 来访问 Minio，就像访问常规 S3 一样：

dvc remote add -d minio-remote s3://mybucket/path
dvc remote modify minio-remote endpointurl https://minio.example.com                          

其次，您似乎可以创建 两个 遥控器 - 一个用于 S3，一个用于 Minio，并使用可用于许多数据管理相关命令的-r 选项：

dvc pull -r minio-remote
dvc pull -r s3-remote
dvc push -r minio-remote
...

这样您就可以push/pull 将数据传入/传出特定存储。

但我需要设置我的 DVC 以使用 min.io 作为 AWS.S3 和 DVC 之间的集线器

还有其他可能的方式，我认为可以组织这个。这确实取决于您对DVC mc-S3 pull 的期望语义。如果-r 还不够，请告诉我们并澄清问题——这将对我们有所帮助。