Huggingface 变形金刚不寻常的内存使用

Question

我有以下代码尝试使用 XL 转换器对文本进行矢量化：

  text = "Some string about 5000 characters long"

  tokenizer = TransfoXLTokenizerFast.from_pretrained('transfo-xl-wt103', cache_dir=my_local_dir, local_files_only=True)
  model = TransfoXLModel.from_pretrained("transfo-xl-wt103", cache_dir=my_local_dir, local_files_only=True)

  encoded_input = tokenizer(text, return_tensors='pt') 
  output = model(**encoded_input)

这会产生：

    output = model(**encoded_input)
  File "/home/user/w/default/lib/python3.7/site-packages/torch/nn/modules/module.py", line 550, in __call__
    result = self.forward(*input, **kwargs)
  File "/home/user/w/default/lib/python3.7/site-packages/transformers/modeling_transfo_xl.py", line 863, in forward
    output_attentions=output_attentions,
  File "/home/user/w/default/lib/python3.7/site-packages/torch/nn/modules/module.py", line 550, in __call__
    result = self.forward(*input, **kwargs)
  File "/home/user/w/default/lib/python3.7/site-packages/transformers/modeling_transfo_xl.py", line 385, in forward
    dec_inp, r, attn_mask=dec_attn_mask, mems=mems, head_mask=head_mask, output_attentions=output_attentions,
  File "/home/user/w/default/lib/python3.7/site-packages/torch/nn/modules/module.py", line 550, in __call__
    result = self.forward(*input, **kwargs)
  File "/home/user/w//default/lib/python3.7/site-packages/transformers/modeling_transfo_xl.py", line 338, in forward
    attn_score = attn_score.float().masked_fill(attn_mask[:, :, :, None], -1e30).type_as(attn_score)
RuntimeError: [enforce fail at CPUAllocator.cpp:64] . DefaultCPUAllocator: can't allocate memory: you tried to allocate 2007869696 bytes. Error code 12 (Cannot allocate memory)

我对此感到有些困惑，因为它要求的是 2007869696，它只有 2GB，而这台机器有 64G 的 RAM。所以我都不明白它为什么要这个，更不明白为什么它没有得到它。

在哪里可以更改控制此设置并允许此进程更多 RAM 的设置？这是对示例代码的如此小的调用，我只看到很少有地方会接受这个参数。

Answer 1

您确定您使用的是 gpu 而不是 cpu？

尝试使用CUDA_LAUNCH_BLOCKING=1 python script.py 运行python 脚本。这将产生正确的 python 堆栈跟踪（因为 CUDA 调用是异步的）

您也可以使用export CUDA_VISIBLE_DEVICES=device_number 设置CUDA_VISIBLE_DEVICES。

还有一个issue还在pytorch github上打开，试试看。