如何在 TensorflowJs 中将张量解码为 base64？

Question

我正在开发一个使用 TensorflowJs 的反应原生应用程序。我正在使用来自tfjs-react-native 包的cameraWithTensors，它将图像作为int32 类型的张量提供给我。我想将这些张量数据转换为 base64，以便在应用程序中呈现它。

不知何故，我找到了一种将 base64 数据转换为张量的解决方案，如下所示，但我不能反其道而行之。我找到了decodJpeg 方法 tfjs 文档，但它相反不可用。我尝试了很多解决方案，但都没有奏效。

URItoTensor = async URI => {
        const imgB64 = await FileSystem.readAsStringAsync(URI, {
            encoding: FileSystem.EncodingType.Base64,
        });
        const imgBuffer = tf.util.encodeString(imgB64, 'base64').buffer;
        const unit8 = new Uint8Array(imgBuffer)
        const tensor = decodeJpeg(unit8);
        return tensor;
    }

Answer 1

您可以使用toPixels将张量转换为画布，然后使用canvas.toDataURL获取base64编码

const canvas = document.createElement('canvas');
canvas.width = tensor.shape.width
canvas.height = tensor.shape.height
await tf.browser.toPixels(tensor, canvas);
canvas.toDataURL() // will return the base64 encoding

以上将在浏览器中工作，但不适用于 react-native。 React-native 有 binaryToBase64 可以从 typedarray 转换；

const bytes = tensor.dataSync(); // can also use the async .data
const encoded = binaryToBase64(bytes); // base64 string

更新

encodeString 不是用于将 base64 转换为下划线表示为图像的张量的方法。 EncodeString 仅将字符串编码为 typedArray。这是将图像加载到张量的方法。以前甚至不需要使用base64字符串。

// Load an image as a Uint8Array
const response = await fetch('path/of/image', {}, { isBinary: true });
const imageDataArrayBuffer = await response.arrayBuffer();
cosnt imageData = new Uint8Array(imageDataArrayBuffer);

// Decode image data to a tensor
const tensor = decodeJpeg(imageData);