为什么提取时我的大文件在 google colab 上的大小非常小？

Question

我正在使用来自 kaggle 的“Dogs vs. Cats Redux：Kernels Edition”数据集作为深度学习模型。

import os
from getpass import getpass
user = getpass('Kaggle Username: ')
key = getpass('Kaggle API key: ')

if '.kaggle' not in os.listdir('/root'):
    !mkdir ~/.kaggle
!touch /root/.kaggle/kaggle.json
!chmod 666 /root/.kaggle/kaggle.json
with open('/root/.kaggle/kaggle.json', 'w') as f:
    f.write('{"username":"%s","key":"%s"}' % (user, key))


!kaggle competitions download -c dogs-vs-cats-redux-kernels-edition

我已经在我的 colab notebook 环境中下载了它，总数据集大小（测试+训练）大约大于 800mbs。

ls -sh
    112K sample_submission.csv  272M test.zip  544M train.zip

但是，当我提取 train 和 test zip 时，为什么提取的文件的大小这么小？

unzip test.zip && unzip train.zip
ls -sh
    total 816M
    112K sample_submission.csv  272M test.zip  544M train.zip
    276K test           752K train

解压是在没有安静模式的情况下进行的，所以我可以看到文件被一个一个地提取出来

我还可以看到 test 文件夹中的图像，这些图像可以通过侧目录完全访问

我以为这是ls命令的一些尺寸显示错误，文件确实被提取了，但是在运行训练代码时，它会抛出与找不到图像相关的错误。

我通过在本地上传一个小数据集解压缩了一些文件，它们工作正常，所以unzip 工作正常，7z 和 python 解压缩也是如此。

任何解决问题的方法或替代解决方案都会有所帮助。

Answer 1

您正在查看目录的大小而不是其内容的大小。

尝试使用du 检查大小。