转换 TPU tensorflow=1.15 模型以在 GPU 上部署答案

【问题标题】：convert a TPU tensorflow=1.15 model for deployment on GPU转换 TPU tensorflow=1.15 模型以在 GPU 上部署
【发布时间】：2022-08-23 09:15:26
【问题描述】：

我正在努力将TF1.15 TPU trained model 加载到 GPU。模型目录有以下文件：

model.ckpt-best.data-00000-of-00001
model.ckpt-best.index
model.ckpt-best.meta

我看到these instructions from Google：

from tensorflow.python.saved_model import loader
from tensorflow.python.saved_model import tag_constants

with tf.Session() as sess:
  loader.load(sess, [tag_constants.SERVING], model_dir)
  sess.run(model_outputs, feed_dict={model_input: [input_image_batch]})

但是我遇到了一个错误：

OSError: SavedModel file does not exist at: .../bioalbert_large_pubmed_pmc_mimic/{saved_model.pbtxt|saved_model.pb}

另一个失败的食谱：

with tf.Session() as sess:

    # load the computation graph
    loader = tf.compat.v1.train.import_meta_graph(f\'{model_dir}/model.ckpt-best.meta\')
    sess.run(tf.compat.v1.global_variables_initializer())
    # loader = loader.restore(sess, f\'{model_dir}/model.ckpt-best.data-00000-of-00001\')

错误：

InvalidArgumentError: No OpKernel was registered to support Op \'TPUReplicatedInput\'
 used by node input0 (defined at .../anaconda3/envs/tf1.15/lib/python3.7/site-packages/tensorflow_core/python/framework/ops.py:1748) 
with these attrs: [T=DT_INT32, N=8]
Registered devices: [CPU, GPU, XLA_CPU, XLA_GPU]
Registered kernels:
  <no registered kernels>

     [[input0]]

标签： tensorflow tpu tensorflow1.15

【解决方案1】：

如果您仅将其用于服务，则可以尝试冻结图表。 freeze_graph 工具有一个选项可以清除可能对您有用的设备？

【讨论】：