使用 @tf.function 将输入转换为 UTF-8

Question

我使用的是 TensorFlow 2.4.1。我尝试使用 tf.strings.unicode_decode 来解码带有 @tf.function 的 base64 编码字符串，但是发生了错误，其中 ValueError: Rank of input 必须是静态已知的。我检查了 tf.strings.unicode_decode 在没有@tf.function 的情况下可以正常工作。有没有办法用@tf.function 解码 base64 编码的字符串？非常感谢您的回答。

我加载了一个 SavedModel 并想更改 serving_default。但我被困在将输入转换为UTF-8。这是我试过的代码。

class CustomTransformer(tf.keras.Model):
    def __init__(self):
        super(CustomTransformer, self).__init__()
        self.model = tf.saved_model.load('./models/transformer/1')
  
    @tf.function(input_signature=[tf.TensorSpec(shape=None, dtype=tf.string)])
    def call(self, input):

        # Error occurred. ValueError: Rank of `input` must be statically known.
        _input_str = tf.strings.unicode_decode(input_data, 'UTF-8')

        return _input_str

这是错误信息。

ValueError: Rank of `input` must be statically known.

当尝试从加载的 SavedModel 更改 serving_default 时，是否有办法将输入转换为 UTF-8？

Answer 1

使用tf.strings.unicode_decode 时，您需要指定一个形状。 （见documentation）。在这种情况下，因为您使用的是没有任何维度（简单字符串）的张量，所以只需提供一个空元组作为形状：

@tf.function(input_signature=[tf.TensorSpec(shape=(), dtype=tf.string)])