【问题标题】:Azure CLI Rest issue with encoding (German Umlauts)Azure CLI Rest 编码问题(德语变音符号)
【发布时间】:2020-12-04 09:31:38
【问题描述】:

我正在使用 az rest 命令在 Azure API 管理中创建用户,但在使用包含德语 元音变音符号(如 ä、ö、ü)的用户名时遇到了问题。该脚本将创建用户,但名称包含无效字符。举个例子:

这就是我创建用户的方式。由于双引号的一些 PowerShell / AZ 问题,我确实将用户写入文件并将其传递给 az cli

@{
    properties = @{
      confirmation = "invite"
      firstName    = "Max"
      lastName     = "Müstermann"
      email        = "max.mustermann@stackoverflow.com"
      appType      = "developerPortal"
    }
  } | ConvertTo-Json -Compress | Out-File $tmpFile -Encoding UTF8

这就是我将文件传递给 cli 的方式:

az rest --method put --uri $uri --body @$tmpFile

文件本身看起来不错:

我已经尝试为charset=utf-8 添加标题 - 但它并没有解决问题。有什么想法吗?

【问题讨论】:

  • 出于兴趣,双引号有什么问题?听起来尝试解决这个问题可能会更好,而不是使用解决方法来解决问题......
  • @mclayton 这是一个已知的 PowerShell 问题(阅读更多 here)。最好的解决方法基本上就是您在此处看到的(用转义双引号两次替换引号会更糟)。

标签: json azure powershell rest encoding


【解决方案1】:

可怕的解决方法

我在这里重现了您的问题,到目前为止,我让它工作的唯一方法是用 json unicode 转义序列替换 ü

$data = @{
    properties = @{
      confirmation = "invite"
      firstName    = "Max"
      lastName     = "Müstermann"
      email        = "max.mustermann@example.org"
      appType      = "developerPortal"
    }
}
$json = $data | ConvertTo-Json -Compress;
#             vvvvvvvvvvvvvvvvvvvvvv
$json = $json.Replace("ü", "\u00FC"); # <----- replace ü with escape sequence
#             ^^^^^^^^^^^^^^^^^^^^^^
Set-Content -Path $tmpfile -Value $json;

$requestUri = "https://management.azure.com/" +
                  "subscriptions/$subscriptionId/" +
                  "resourceGroups/$resourceGroupName/" +
                  "providers/Microsoft.ApiManagement/" +
                  "service/$serviceName/" +
                  "users/$username" +
                  "?api-version=2019-12-01";

az rest --method put --uri $requestUri --body @$tmpFile

给出:

我知道这不是一个非常令人满意的解决方案,因为它不能解决所有非 ascii 字符的一般情况,而且您正在使用转换后的 json,这可能会在奇怪的边缘情况下破坏事情。

一个极端的选择可能是编写自己的 json 序列化程序来转义适当的字符 - 我并不是说这是一个好主意,但它可能会起作用。如果您考虑沿着这条路线走,这里有一个原始的 PowerShell 序列化程序,我不久前为一个非常利基的用例编写了它,您可以将其用作起点并调整字符串序列化代码以转义适当的字符 - ConvertTo-OctopusJson.ps1

希望这可能足以解除对您的屏蔽,或者至少让您可以考虑...

更多信息

对于其他调查此问题的人,这里有一些提示:

  • 如果您设置以下环境变量,您可以让az 通过 Fiddler 发送请求:
:: https://stackoverflow.com/questions/20500613/how-to-set-a-proxy-for-the-azure-cli-command-line-tool
set HTTPS_PROXY=https://127.0.0.1:8888

:: https://stackoverflow.com/questions/55463706/ssl-handshake-error-with-some-azure-cli-commands
set ADAL_PYTHON_SSL_NO_VERIFY=1
set AZURE_CLI_DISABLE_CONNECTION_VERIFICATION=1
  • 看起来--body @$tmpfile 参数将文件作为二进制 blob 发送。相反,它将文件作为文本读取并将其重新编码为 ISO-8859-1(HTTP 的默认编码)。例如,如果文件是 UTF8 编码的,ü 表示为C3 BC

az 发送 HTTP 请求时,文件内容仍会转换为 ISO-8859-1 编码,ü 表示为 FC

  • 回复如下:

其中� (EF BF BD) 是 Unicode“REPLACEMENT CHARACTER”的 UTF8 表示:

  • 我的猜测是客户端将他的正文作为 ISO-8859-1 发送,但服务器端将其视为 UTF8。服务器未能将 ISO-8859-1 字节 FC 解码为 ü,而是将其替换为“REPLACEMENT CHARACTER”,最后将响应编码为 UTF8。

这可以模拟如下:

# client sends request encoded with iso-8859-1
$requestText = "Müstermann";
$iso88591 = [System.Text.Encoding]::GetEncoding("iso-8859-1");
$requestBytes = $iso88591.GetBytes($requestText);
write-host "iso-8859-1 bytes = '$($requestBytes | % { $_.ToString("X2") })'";
# iso-8859-1 bytes = '4D FC 73 74 65 72 6D 61 6E 6E'

# server decodes request with utf8 instead
$utf8 = [System.Text.Encoding]::UTF8;
$mangledText = $utf8.GetString($requestBytes);
write-host "mangled text = '$mangledText'";
# mangled text = 'M�stermann'

# server encodes the response as utf8
$responseBytes = $utf8.GetBytes($mangledText);
write-host "response bytes = '$($responseBytes | % { $_.ToString("X2") })'";
# response bytes = '4D EF BF BD 73 74 65 72 6D 61 6E 6E'

这似乎与屏幕截图中的字节匹配,因此它看起来可能是 Azure API 管理 API 中的一个错误。

【讨论】:

  • 非常感谢 mclayton,您为此花了很多时间。我同意 - 这不是一个非常令人满意的解决方案,但它有效。我希望我们错过了一些东西,并且有人提供了更方便的解决方案,但是,我怀疑情况是否会如此,因为我无法找到更好的解决方案:-/。如果没有其他人提供更好的解决方案,将在几天内接受您的回答。再次感谢麦克莱顿!
猜你喜欢
  • 2021-07-08
  • 1970-01-01
  • 1970-01-01
  • 2023-03-08
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2012-11-16
  • 1970-01-01
相关资源
最近更新 更多