TensorFlow 错误（CUBLAS_STATUS_EXECUTION_FAILED）答案

【问题标题】：TensorFlow error( CUBLAS_STATUS_EXECUTION_FAILED)TensorFlow 错误（CUBLAS_STATUS_EXECUTION_FAILED）
【发布时间】：2020-12-27 12:41:22
【问题描述】：

我正在通过 BERT 训练句子。我用的是cpu，但是速度很慢，所以我决定用gpu。

我正在使用 RTX 3080Ti。但是当我更改为 gpu-setup 时。发生了这个错误..

我该如何解决？

I1227 21:38:02.311986 10468 basic_session_run_hooks.py:606] Saving checkpoints for 1 into D:\google-research\CV\model.ckpt.
2020-12-27 21:38:34.124242: E tensorflow/stream_executor/cuda/cuda_blas.cc:428] failed to run cuBLAS routine: CUBLAS_STATUS_EXECUTION_FAILED
Traceback (most recent call last):
  File "C:\Users\User\anaconda3\envs\lab37\lib\site-packages\tensorflow\python\client\session.py", line 1356, in _do_call
    return fn(*args)
  File "C:\Users\User\anaconda3\envs\lab37\lib\site-packages\tensorflow\python\client\session.py", line 1341, in _run_fn
    options, feed_dict, fetch_list, target_list, run_metadata)
  File "C:\Users\User\anaconda3\envs\lab37\lib\site-packages\tensorflow\python\client\session.py", line 1429, in _call_tf_sessionrun
    run_metadata)
tensorflow.python.framework.errors_impl.InternalError: 2 root error(s) found.
  (0) Internal: Blas GEMM launch failed : a.shape=(200, 2), b.shape=(2, 768), m=200, n=768, k=2
         [[{{node bert/embeddings/MatMul}}]]
         [[loss/Mul_3/_4855]]
  (1) Internal: Blas GEMM launch failed : a.shape=(200, 2), b.shape=(2, 768), m=200, n=768, k=2
         [[{{node bert/embeddings/MatMul}}]]
0 successful operations.
0 derived errors ignored.

During handling of the above exception, another exception occurred:

【问题讨论】：

标签： python tensorflow gpu

【解决方案1】：

您可能需要更新 Cuda、cudnn 或 TF，可能还需要更新 CUDA 的补丁。在此处查看问题讨论和解决方案：https://github.com/qqwweee/keras-yolo3/issues/332

【讨论】：

@Poe_Dator 我更新了张量、cuda、cudnn 等，但不起作用...
目前没有新想法。尝试在 SO 上与此问题同时重新打开该问题@github。