Javascript、Tesseract、AWS IoT、Dynamodb 和缓冲区答案

【问题标题】：Javascript, Tesseract, AWS IoT, Dynamodb & BuffersJavascript、Tesseract、AWS IoT、Dynamodb 和缓冲区
【发布时间】：2018-06-24 16:10:57
【问题描述】：

我正在一个小型 Tesseract 项目上工作和测试，并完全归功于 http://aalvarez.me/blog/posts/building-an-ocr-service-with-tesseractjs-in-aws-lambda.html 我有一个在 Lambda 中运行的 Tesseract 项目，它接受 s3 事件并处理上传到 s3 的图像。

下一个目标是研究如何处理来自 AWS IoT 的图像。主要障碍是您无法通过 MQTT 发送图像。

我的方法是在 MQTT 主题上发送图像的缓冲区/二进制流，然后物联网规则触发相同的 lambda 进行处理。

但首先我需要有一个有效的二进制流（还没有真正的硬件和相机，仅供参考，我是后端人员）通过物联网发送，所以我修改了我的项目，不仅存储在图像，还有图像的二进制流/缓冲区。

我需要这样做，因为 AWS Cloudwatch 会截断日志记录，因此当我注销 Lambda 函数加载的 s3 对象的数据负载时，您得到的只是一个严重截断的缓冲区对象。

dataBody: <Buffer 89 50 4e 47 0d 0a 1a 0a 00 00 00 0d 49 48 44 52 00 00 01 90 00 00 01 90 08 06 00 00 00 80 bf 36 cc 00 00 20 00 49 44 41 54 78 5e ed 9d 09 f8 76 df 58 ... >

所以我添加了一些代码，使用带有 SET 的 DynamoDB updateItem 如下所示，在 db 项目上设置一个属性，其中原始缓冲区用于执行 OCR，如下所示

            "UpdateExpression": "SET img = :attrValue",
        "ExpressionAttributeValues": {
            ":attrValue": { "B": dataBody }

这行得通，并且该属性是在项目中创建的，其中包含一大串字符，我认为这是原始字符串，但可能格式不同

现在，如果我将那个大字符串作为 MQTT 有效负载发送并触发规则，那么 Lambda 会触发，但是当我转换有效负载并尝试处理它时，Tesseract 会抱怨

TypeError: 无法读取 null 的属性“mime”

该错误可能是由于在读取原始 s3 对象时将 IoT 有效负载转换为 Buffer 进行处理，因为它现在与原始 Buffer 完全不同，因此不存在 mime 属性。我正在挑选的数据现在已经被删除了

let ocrBuffer = Buffer.from(iotEvent)

ocrBuffer: <Buffer 69 56 42 4f 52 77 30 4b 47 67 6f 41 41 41 41 4e 53 55 68 45 55 67 41 41 41 5a 41 41 41 41 47 51 43 41 59 41 41 41 43 41 76 7a 62 4d 41 41 41 67 41 45 ... >

缓冲区和处理图像等的新手，但我怀疑将其存储到 DynamoDB 的过程以某种方式改变了原始缓冲区或将其包装在某些东西中，因此我需要正确地取消更改/解包它以使其变为与以 89 而不是 69 开头的原始 Buffer 相同。

有没有人知道哪里出了问题以及应该从哪里开始寻找。

现在我可以将图像上传到 s3，并且我想以某种方式保存有效负载，以便我可以将其用作测试有效负载，以便通过 IoT 服务使用

谢谢标记

【问题讨论】：

标签： javascript buffer amazon-dynamodb tesseract aws-iot

【解决方案1】：

您的问题的症结似乎是来自 Tesseract 的这条消息：

TypeError：无法读取 null 的属性“mime”

这至少有一个明确的原因。当您将数据发送到 Tesseract 时，听起来您没有设置 Content-type http 标头。

在examples from Tesseract 中，看起来需要 Content-type 标头，这很有意义，因为它需要知道您向其发布的文件类型。

所以我认为这里的问题是您的 Lambda 函数如何将数据发布到 Tesseract，特别是如何设置 Content-type 和 Content-Disposition 标头？

尽管您的二进制数据可能存在问题，但我现在可能不会专注于这个问题，因为 Tesseract 似乎不是在抱怨这件事。

您可以尝试的一件事是非常简单地使用 curl 将（本地）文件发布到 Tesseract。假设这可行，请将 HTTP 请求与您的 Lambda 函数正在生成的请求进行比较，然后从那里向后工作。我怀疑您没有内容问题，或者至少这可能不是当前问题。

【讨论】：

感谢 Stu 如果我使用 lambda 的 s3 端，那么 Tesseract 就可以了。 Lambda 从 s3 中获取图像并将 data.body 传递给它。 data.body 是当我将该缓冲区保存到 dynamodb 然后使用保存在 db 项中的数据通过在触发的 MQTT 主题上发送该数据来通过 IoT 触发相同的 lambda 时，问题就来了一条规则。我正在将该 IoT 有效负载转换为新缓冲区，并且该缓冲区与原始缓冲区不同。我认为某些东西添加了新的标头/以某种方式包装了原始数据，因此 Tesseract 没有在 IoT 数据中找到内容类型。
更新：- 今天早上玩了一下这个问题。 dynamodb 项目本质上是图像的 Base64 表示，如果我将该字符串复制到在线转换器中，则解码的图像是完美的。根据 Tesseract 文档：- 在 NodeJS 中，图像可以是本地图像的路径包含 PNG 或 JPEG 图像的 Buffer 实例 ImageData 实例（包含宽度、高度和数据属性的对象）所以现在我只需要弄清楚为什么从 Base64 有效负载到缓冲区的转换没有从原始 s3 图像返回相同的缓冲区

【解决方案2】：

已解决

我需要做的就是在使用转换为缓冲区时指定“base64”

Buffer.from(string, 'base64')

【讨论】：