【问题标题】:Recover ArrayBuffer from xhr.responseText从 xhr.responseText 恢复 ArrayBuffer
【发布时间】:2017-07-07 15:01:40
【问题描述】:

我需要从向我发送 base64 答案的 http 请求中获取数组缓冲区。 对于这个请求,我不能使用XMLHttpRequest.responseType="arraybuffer"。

我从此请求得到的响应是通过xhr.responseText 读取的。因此它被编码为 DOMString。我正在尝试将其作为数组缓冲区取回。

我尝试使用btoa(mysString) 或window.btoa(unescape(encodeURIComponent(str))) 从DOMString 返回base64,但第一个选项失败了,而第二个选项没有给出相同的base64。每个 base64 的前几个字符的示例:

来电:UEsDBBQACAgIACp750oAAAAAAAAAAAAAAAALAAAAX3JlbHMvLnJlbH

二次处理后:UEsDBBQACAgIAO+/ve+/ve+/vUoAAAAAAAAAAAAAAAALAAAAX3JlbHMvLnJlbH

正如您所见,它的一部分是相似的,但有些部分是相距甚远的。 我缺少什么才能让它正确?

【问题讨论】:

  • stackoverflow.com/questions/21797299/… 的可能重复第一个答案应该有效
  • 试过了,还是不行。无论如何,您链接到的问题是从 base 64 字符串开始并将其转换为数组缓冲区。我现在没有那个 base 64 字符串。

标签: javascript base64


【解决方案1】:

我也有同样的问题。

解决方案(我在 Chrome(68.0.3440.84) 上运行)

let url = 'data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAUAAAAFCAYAAACNbyblAAAAHElEQVQI12P4//8/w38GIAXDIBKE0DHxgljNBAAO9TXL0Y4OHwAAAABJRU5ErkJggg=='

let iso_8859_15_table = { 338: 188, 339: 189, 352: 166, 353: 168, 376: 190, 381: 180, 382: 184, 8364: 164 }

function iso_8859_15_to_uint8array(iso_8859_15_str) {
    let buf = new ArrayBuffer(iso_8859_15_str.length);
    let bufView = new Uint8Array(buf);
    for (let i = 0, strLen = iso_8859_15_str.length; i < strLen; i++) {
        let octet = iso_8859_15_str.charCodeAt(i);
        if (iso_8859_15_table.hasOwnProperty(octet))
            octet = iso_8859_15_table[octet]
        bufView[i] = octet;
        if(octet < 0 || 255 < octet)
            console.error(`invalid data error`)
    }
    return bufView
}

req = new XMLHttpRequest();
req.overrideMimeType('text/plain; charset=ISO-8859-15');
req.onload = () => {
    console.log(`Uint8Array : `)
    var uint8array = iso_8859_15_to_uint8array(req.responseText)
    console.log(uint8array)
}
req.open("get", url);
req.send();

下面是解释我学会解决它的方法。

说明

为什么有些部分偏离了?

因为TextDecoder导致数据丢失(你的情况是utf-8)。

比如说UTF-8

  • Unicode 的可变宽度字符编码。

  • 它有rules(这将成为问题。)出于可变长度特性和ASCII兼容性等原因。

  • 因此,解码器可能会将不符合要求的字符替换为替换字符,例如 U+003F(?,问号)或 U+FFFD(�,Unicode 替换字符)。

  • 在 utf-8 的情况下,0~127 的值是稳定的,128~255 的值是不稳定的。 128~255会转成U+FFFD

除 UTF-8 以外的其他文本解码器是否安全?

没有。在大多数情况下,rules 并不安全。

UTF-8 也是不可恢复的。 (128~255设置为U+FFFD)

如果二进制数据和解码结果可以一一对应,就可以恢复。

如何解决?

  1. 找到可恢复的文本解码器。
  2. 强制 MIME 类型为传入数据的可恢复字符集。 xhr_object.overrideMimeType('text/plain; charset=ISO-8859-15')
  3. 收到时从带有recover table 的字符串中恢复二进制数据。

找到可恢复的文本解码器。

要恢复,请避免解码结果重复的情况。

以下代码是一个简单的示例,因此可能缺少可恢复的文本解码器,因为它只考虑了 Uint8Array。

let bufferView = new Uint8Array(256);
for (let i = 0; i < 256; i++)
    bufferView[i] = i;

let recoverable = []
let decoding = ['utf-8', 'ibm866', 'iso-8859-2', 'iso-8859-3', 'iso-8859-4', 'iso-8859-5', 'iso-8859-6', 'iso-8859-7', 'iso-8859-8', 'iso-8859-8i', 'iso-8859-10', 'iso-8859-13', 'iso-8859-14', 'iso-8859-15', 'iso-8859-16', 'koi8-r', 'koi8-u', 'macintosh', 'windows-874', 'windows-1250', 'windows-1251', 'windows-1252', 'windows-1253', 'windows-1254', 'windows-1255', 'windows-1256', 'windows-1257', 'windows-1258', 'x-mac-cyrillic', 'gbk', 'gb18030', 'hz-gb-2312', 'big5', 'euc-jp', 'iso-2022-jp', 'shift-jis', 'euc-kr', 'iso-2022-kr', 'utf-16be', 'utf-16le', 'x-user-defined', 'ISO-2022-CN', 'ISO-2022-CN-ext']
for (let dec of decoding) {
    try {
        let decodedText = new TextDecoder(dec).decode(bufferView);
        let loss = 0
        let recoverTable = {}
        let unrecoverable = 0
        for (let i = 0; i < decodedText.length; i++) {
            let charCode = decodedText.charCodeAt(i)
            if (charCode != i)
                loss++

            if (!recoverTable[charCode])
                recoverTable[charCode] = i
            else
                unrecoverable++
        }
        let tableCnt = 0
        for (let props in recoverTable) {
            tableCnt++
        }
        if (tableCnt == 256 && unrecoverable == 0){
            recoverable.push(dec)
            setTimeout(()=>{
                console.log(`[${dec}] : err(${loss}/${decodedText.length}, ${Math.round(loss / decodedText.length * 100)}%) alive(${tableCnt}) unrecoverable(${unrecoverable})`)
            },10)
        }
        else {
            console.log(`!! [${dec}] : err(${loss}/${decodedText.length}, ${Math.round(loss / decodedText.length * 100)}%) alive(${tableCnt}) unrecoverable(${unrecoverable})`)
        }
    } catch (e) {
        console.log(`!! [${dec}] : not supported.`)
    }
}

setTimeout(()=>{
    console.log(`recoverable Charset : ${recoverable}`)
}, 10)

在我的控制台中,这个返回

可恢复字符集:ibm866,iso-8859-2,iso-8859-4,iso-8859-5,iso-8859-10,iso-8859-13,iso-8859-14,iso-8859-15, iso-8859-16,koi8-r,koi8-u,macintosh,windows-1250,windows-1251,windows-1252,windows-1254,windows-1256,windows-1258,x-mac-cyrillic,x-user-定义

我在这个答案的开头使用了iso-8859-15。 (它具有最小的表大小。)


附加测试)UTF-8 和 ISO-8859-15 的结果比较

使用 ISO-8859-15 时检查 U+FFFD 确实消失了。

function requestAjax(url, charset) {
    let req = new XMLHttpRequest();
    if (charset)
        req.overrideMimeType(`text/plain; charset=${charset}`);
    else
        charset = 'utf-8';
    req.open('get', url);
    req.onload = () => {
        console.log(`==========\n${charset}`)
        console.log(`${req.responseText.split('', 50)}\n==========`);
        console.log('\n')
    }
    req.send();
}

var url = 'data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAUAAAAFCAYAAACNbyblAAAAHElEQVQI12P4//8/w38GIAXDIBKE0DHxgljNBAAO9TXL0Y4OHwAAAABJRU5ErkJggg==';
requestAjax(url, 'ISO-8859-15');
requestAjax(url);

底线

  • 从字符串恢复二进制数据需要一些额外的工作。
    • 查找可恢复的文本编码器/解码器。
    • 制作恢复表
    • 用桌子恢复。
    • (可以参考最上面的代码)
  • 要使用此技巧,请将传入数据的 MIME 类型强制为所需的字符集。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-08-24
    • 2013-08-13
    • 2017-06-25
    • 1970-01-01
    • 1970-01-01
    • 2019-07-13
    • 2015-05-07
    相关资源
    最近更新 更多