如何使用 curl 下载 youtube-8m 数据集

Question

Youtube-8m 下载网页提供以下 curl 指令：

mkdir -p ~/data/yt8m_video_level; cd ~/data/yt8m_video_level 

curl data.yt8m.org/download.py | partition=1/video_level/train mirror=us python 
curl data.yt8m.org/download.py | partition=1/video_level/validate mirror=us python 
curl data.yt8m.org/download.py | partition=1/video_level/test mirror=us python

我已经创建了目录，现在正在尝试下载训练数据。

当我执行时：

curl data.yt8m.org/download.py | partition=1/video_level/train mirror=us python

我收到以下错误消息：

'partition' 未被识别为内部或外部命令， 可运行的程序或批处理文件。

如果我使用插入符号来转义 |像这样：

curl data.yt8m.org/download.py ^| partition=1/video_level/train mirror=us python

然后命令提示符打印http://data.yt8m.org/download.py的全部内容，后跟：

curl: (6) 无法解析主机：|
curl：（6）无法解析主机：partition=1
curl：（6）无法解析主机：mirror=eu
curl：（6）无法解析主机：python

如何使用 curl 将此数据集下载到 Windows 10？

Answer 1

该脚本旨在在*nix（Unix 或linux 或...）环境中运行。

您是否安装了适用于 Windows 的 bash？如果是这样，这是快速解决方案，只需在该环境中运行脚本/cmds（并确保which python 返回正确的/path/to/preferred/version_of/python）。

为了解释/扩展该代码的作用，*nix 允许设置特定于在行尾运行的命令的环境变量。与*nix 中包含的代码“说”相同内容的另一种方法是

export partition=1/video_level/test
export mirror=us 
curl data.yt8m.org/download.py | python

所以你想要 | 作为管道，并且不想逃避它。

旧 DOS .bat 文件中的等效项是

set partition = 1/video_level/test
set mirror = us 
curl data.yt8m.org/download.py | python

但是，旧版本的dos 曾经对|（管道）中可以“存储”的数量有限制。我不知道 Windows Cmd-Prompt 中的当前限制是什么，因此您可能需要创建自己的临时文件然后输入它们，即

set partition = 1/video_level/test
set mirror = us 
curl data.yt8m.org/download.py > %TEMP%\mytempFile
python < %TEMP%\mytempFile

我不是python 程序员，所以我可能遗漏了一些对 pythonistas 来说完全显而易见的东西。

---

刚刚看了下download.py的源代码。你注意到了吗

print ('Starting fresh download in this directory. Please make sure you '
    'have >2TB of free disk space!')

IHTH