Laravel：无法对​​有效负载进行 JSON 编码。错误代码：5

Question

我正在开发 Laravel (v5.7) 应用程序，该应用程序将上传的 CSV（带联系人）转换为数组，然后在调度作业类时作为参数传递。

以下是 CSV 文件示例（支持的格式）：

123456,Richard,Smith
654321,John,Doe

上传的 (CSV) 文件的处理方式如下：

$file_path = $request->file_name->store('contacts');
$file = storage_path('app/' . $file_path);

$contactsIterator = $this->getContacts($file);

$contacts = iterator_to_array($contactsIterator); // Array of contacts from uploaded CSV file

    protected function getContacts($file)
    {
        $f = fopen($file, 'r');

        while ($line = fgets($f))
        {
            $row = explode(",", $line);

            yield [
                'phone'     => !empty($row[0]) ? trim($row[0]) : '',
                'firstname' => !empty($row[1]) ? trim($row[1]) : '',
                'lastname'  => !empty($row[2]) ? trim($row[2]) : '',
            ];
        }
    }

最后，$contacts 数组被传递给调度的作业：

ImportContacts::dispatch($contacts);

这个工作类看起来像这样：

    public function __construct($contacts)
    {
        Log::info('ImportContacts@__construct START');
        $this->contacts = $contacts;
        Log::info('ImportContacts@__construct END');
    }

    public function handle()
    {
        Log::info('ImportContacts@handle');
    }

...在我尝试使用此 CSV 之前，一切正常（没有错误）：

123456,Richardÿ,Smith
654321,John,Doe

请注意ÿ。所以，当我尝试使用这个 CSV - 我得到这个错误异常：

/code_smsto/vendor/laravel/framework/src/Illuminate/Queue/Queue.php | 91 | Unable to JSON encode payload. Error code: 5 

...我的日志文件如下所示：

  error local   2019-11-11 17:17:18     /code_smsto/vendor/laravel/framework/src/Illuminate/Queue/Queue.php | 91 | Unable to JSON encode payload. Error code: 5
  info  local   2019-11-11 17:17:18     ImportContacts@__construct END
  info  local   2019-11-11 17:17:18     ImportContacts@__construct START 

如您所见 - handle 方法从未执行过。如果我删除ÿ - 没有错误并且handle 被执行。

我试图解决这个问题，但没有成功：

1. 申请utf8_encode:

    protected function getContacts($file, $listId)
    {
        $f = fopen($file, 'r');

        while ($line = fgets($f))
        {
            $row = explode(",", $line);

            yield [
                'phone'     => !empty($row[0]) ? utf8_encode($row[0]) : '',
                'firstname' => !empty($row[1]) ? utf8_encode($row[1]) : '',
                'lastname'  => !empty($row[2]) ? utf8_encode($row[2]) : '',
            ];
        }
    }

...它工作（没有错误，不管有没有ÿ），但是希腊字母和西里尔字母变成了问号。例如：Εθνικής 将变为 ???????。

我也尝试过使用mb_convert_encoding($row[1], 'utf-8') - 它不会将希腊字母或西里尔字母变成问号，但是这个ÿ 字符会变成?。

1. 将上传的 CSV 文件的“处理”（转换为数组）移动到 Job 类的 @handle 方法中，但随后我无法将该数组中的数据存储到 DB (MongoDB) 中。请参阅下面的更新。

---

调试：

这是我从dd($contacts);得到的：

所以，它在ÿ 所在的位置有那个“b”。而且，经过一番“谷歌搜索”后，我发现这个“b”表示“二进制字符串”，即一个非 unicode 字符串，函数在字节级别上运行（What does the b in front of string literals do?）。

我的理解是：在调度 Job 类时，Laravel 尝试“JSON 编码”它（传递的参数/数据）但它失败了，因为有二进制数据（非 unicode 字符串）。 无论如何，我无法找到解决方案（能够使用ÿ 处理此类 CSV 文件）。

我正在使用：

• Laravel 5.7
• PHP 7.1.31-1+ubuntu16.04.1+deb.sury.org+1 (cli)（构建时间：2019 年 8 月 7 日 10:22:48）（NTS）
• Redis 支持的队列

---

更新

当我将上传的 CSV 文件的“处理”（转换为数组）移动到 Job 类的 @handle 方法中时 - 我没有收到此错误 (Unable to JSON encode payload. Error code: 5)，但是当我尝试存储有问题的二进制文件时带有ÿ (b"Richardÿ") 的数据进入 MongoDB - 它失败了。奇怪的是，我在日志文件中没有收到任何错误异常 message，所以我将所有内容都放在 try-catch 中，如下所示：

        try {
            // Insert data into MongoDB
        } catch (Exception $e) {
            Log::info($e->getFile());
            Log::info($e->getLine());
            Log::info($e->getMessage());
        }

...这是结果：

无论如何，我认为它失败是因为b"Richardÿ"，我猜解决方案是编码字符串，但正如我所提到的 - 我无法找到有效的解决方案：

• utf8_encode 有效（没有错误，无论是否有 ÿ），但随后希腊字母和西里尔字母变成了问号。例如：Εθνικής 将变为 ???????
• mb_convert_encoding($row[1], 'utf-8') - 它不会将希腊字母或西里尔字母变成问号，但这个 ÿ 字符会变成 ?。
• iconv('windows-1252', 'UTF-8', $row[1]) - 有效（没有错误，无论是否有 ÿ），但是当有希腊字母或西里尔字母时 - 它失败（我收到此错误异常：iconv(): Detected an illegal character in input string）

Answer 1

你有几种方法来处理它，但我推荐以下两种。在这两种情况下，想法都是存储一个 UTF-8 字符串。

一种更简单的方法，从（您的）预定义列表中找出它是什么编码并将其转换为 UTF8。

$encoding = mb_detect_encoding($content, 'UTF-8, ISO-8859-1, WINDOWS-1252, WINDOWS-1251', true);
if ($encoding != 'UTF-8') {
    $string = iconv($encoding, 'UTF-8//IGNORE', $row[1]);
}

第二种方法是使用this answer中概述的第三方库