使用 GPU 进行 HuggingFace 训练答案

【问题标题】：HuggingFace Training using GPU使用 GPU 进行 HuggingFace 训练
【发布时间】：2021-05-23 01:04:16
【问题描述】：

基于HuggingFace script 从头开始训练一个变形金刚模型。我跑：

python3 run_mlm.py \
--dataset_name wikipedia \
--tokenizer_name roberta-base \
--model_type roberta \
--dataset_config_name 20200501.en \
--do_train \
--do_eval \
--learning_rate 1e-5 \
--num_train_epochs 5 \
--save_steps 5000 \
--warmup_steps=10000 \ 
--seed 666 \
--gradient_accumulation_steps=4 \ 
--output_dir models/mlm_wikipedia_scratch/ \
--per_gpu_train_batch_size 8

我不明白为什么我在 GPU 上看不到我的 python3 进程运行nvidia-smi 这是一个屏幕：

【问题讨论】：

您正在执行哪个脚本？在您指向的存储库的文件列表中，我没有看到 training_mlm.py。
抱歉，我只是复制并粘贴了我的 cmd （并在我的文件夹中重命名了该文件）。我运行run_mlm.py。必须编辑问题，谢谢。

标签： python python-3.x nlp huggingface-transformers

【解决方案1】：

您必须确保以下内容正确：

GPU 已正确安装在您的环境中

In [1]: import torch
In [2]: torch.cuda.is_available()
Out[2]: True

指定您要使用的 GPU：

export CUDA_VISIBLE_DEVICES=X        # X = 0, 1 or 2
echo $CUDA_VISIBLE_DEVICES           # Testing: Should display the GPU you set

再次运行脚本，它应该可以工作了。

【讨论】：