Sphinx - 在 sphinx 记录上调用 json_encode() 时参数错误中的无效 UTF-8 序列答案

【问题标题】：Sphinx - Invalid UTF-8 sequence in argument error when calling json_encode() on sphinx recordSphinx - 在 sphinx 记录上调用 json_encode() 时参数错误中的无效 UTF-8 序列
【发布时间】：2015-07-07 10:27:01
【问题描述】：

我正在使用 Yii2 框架和 Sphinx 搜索服务器为多语言搜索编写 Web 服务。搜索在网站上完全正常，但在访问此网络服务时抛出错误；

{
  "name": "PHP Warning",
  "message": "json_encode(): Invalid UTF-8 sequence in argument",
  "code": 2,
  "type": "yii\\\\base\\\\ErrorException",
  "file": "C:\\\\xampp\\\\htdocs\\\\my-website\\\\vendor\\\\yiisoft\\\\yii2\\\\helpers\\\\BaseJson.php",
  "line": 38,
  "stack-trace": [
    "#0 [internal function]: yii\\\\base\\\\ErrorHandler->handleError(2, 'json_encode(): ...', 'C:\\\\xampp\\\\htdocs...', 38, Array)",
    "#1 C:\\\\xampp\\\\htdocs\\\\my-website\\\\vendor\\\\yiisoft\\\\yii2\\\\helpers\\\\BaseJson.php(38): json_encode(Array, 320)",
    "#2 C:\\\\xampp\\\\htdocs\\\\my-website\\\\vendor\\\\yiisoft\\\\yii2\\\\web\\\\JsonResponseFormatter.php(53): yii\\\\helpers\\\\BaseJson::encode(Array)"
  ]
}

我使用 fzaninotto/Faker 包在数据库中植入了许多虚拟真实文本，使用英语和法语。 sphinx 搜索可用作“按标题搜索”和“按类别 ID 搜索”。我发现当使用具有法语翻译的某些特定类别 ID 进行搜索时，会出现此错误。因此，当 Sphinx 索引类别时，它会更改它的排序规则（UTF-8），当从 sphinx 检索回来时会发生错误。并且在没有 json_encode() 的情况下转储数据会给出一些数据库表中不存在的垃圾类别文本，

这是我的狮身人面像配置

index tender
{
    source          = post
    path            = C:/xampp/htdocs/sphinx/data/posts
    min_infix_len   = 3
    enable_star     = true
    charset_type    = utf-8
    charset_table   = 0..9, A..Z->a..z, _, a..z, \
                    U+410..U+42F->U+430..U+44F, U+430..U+44F, \
                    U+C5->U+E5, U+E5, U+C4->U+E4, U+E4, U+D6->U+F6, U+F6, U+16B, U+0c1->a, U+0c4->a, \
                    U+0c9->e, U+0cd->i, U+0d3->o, U+0d4->o, U+0da->u, U+0dd->y, U+0e1->a, U+0e4->a, \
                    U+0e9->e, U+0ed->i, U+0f3->o, U+0f4->o, U+0fa->u, U+0fd->y, U+104->U+105, U+105, \
                    U+106->U+107, U+10c->c, U+10d->c, U+10e->d, U+10f->d, U+116->U+117, U+117, \
                    U+118->U+119, U+11a->e, U+11b->e, U+12E->U+12F, U+12F, U+139->l, U+13a->l, \
                    U+13d->l, U+13e->l, U+141->U+142, U+142, U+143->U+144, U+144, U+147->n, \
                    U+148->n, U+154->r, U+155->r, U+158->r, U+159->r, U+15A->U+15B, U+15B, U+160->s, \
                    U+160->U+161, U+161->s, U+164->t, U+165->t, U+16A->U+16B, U+16B, U+16e->u, \
                    U+16f->u, U+172->U+173, U+173, U+179->U+17A, U+17A, U+17B->U+17C, U+17C, U+17d->z, U+17e->z
}

在源配置中，类别属性是这样的

source post    
{
    # above is the query, config and other attributes
    sql_field_string    = cat_name_attr      # English category
    sql_field_string    = cat_name_attr_fr   # French category
}

和 Yii2 中的 sphinx 配置

    'sphinx' => [
        'class' => 'yii\sphinx\Connection',
        'dsn' => 'mysql:host=127.0.0.1;port=9306;',
        'username' => 'root',
        'password' => '',
        'charset' => 'utf8',
    ],

我尝试为 UTF-8 排序规则配置所有内容，甚至调用

json_encode($record, JSON_UNESCAPED_UNICODE) // $records stores the data

但他们没有工作:'(

确认当翻译的类别被索引到 sphinx 存储时，它的字符集是 JSON 无法读取的变化。因此，例如存储在 MySQL 表中的“电气和电子”类别法语翻译为

“电与电子”

但是当索引到 Sphinx 时，它会变成这个，

“电与电子”

并且该文本不是由 json_encode 编码的。

【问题讨论】：

你的mysql_client_encoding是什么？我怀疑它不是 unicode。
见utf8 all the way through。
猜测：Yii2 使用的是 latin1，而不是 utf8。

标签： php mysql utf-8 yii2 sphinx

【解决方案1】：

黑色菱形 (�) 是浏览器表示 wtf 的方式。它来自具有 latin1 字符，但告诉浏览器显示 utf8 字符。

你可以告诉浏览器显示<meta ... charset=ISO-8859-1>。

有时这与问号一起出现，在这种情况下您必须重新开始。

【讨论】：