如何使用 Go 和 Python 处理 YAML 中的十六进制值？

Question

我有这个简单的以下程序：

package main

import (
    "fmt"

    yaml "gopkg.in/yaml.v2"
)

type Test struct {
    SomeStringWithQuotes string `yaml:"someStringWithQuotes"`
    SomeString           string `yaml:"someString"`
    SomeHexValue         string `yaml:"someHexValue"`
}

func main() {
    t := Test{
        SomeStringWithQuotes: "\"Hello World\"",
        SomeString:           "Hello World",
        SomeHexValue:         "0xDef9C64256DeE61ebf5B212238df11C7E532e3B7",
    }
    yamlBytes, _ := yaml.Marshal(t)
    fmt.Print(string(yamlBytes))
}

这会打印以下内容，并且显然表明 Go 决定何时引用字符串：

someStringWithQuotes: '"Hello World"'
someString: Hello World
someHexValue: 0xDef9C64256DeE61ebf5B212238df11C7E532e3B7

但是，当我尝试使用以下 Python 脚本读取此 YAML 时：

import yaml

yaml_str = """
someStringWithQuotes: '"Hello World"'
someString: Hello World
someHexValue: 0xDef9C64256DeE61ebf5B212238df11C7E532e3B7
"""

print(yaml.load(yaml_str))

它将十六进制值解析为整数。如果我现在使用此代码序列化回 YAML：

import yaml
import sys

yaml_str = """
someStringWithQuotes: '"Hello World"'
someString: Hello World
someHexValue: 0xDef9C64256DeE61ebf5B212238df11C7E532e3B7
"""

print(yaml.dump(yaml.load(yaml_str)))

我明白了：

someHexValue: 1272966107484048169783147972546098614451903325111
someString: Hello World
someStringWithQuotes: '"Hello World"'

我怎样才能最好地确保保留十六进制格式？不幸的是，我个人对 Go 端的代码没有任何影响（但是对于尝试做类似事情的其他人来说，仍然欢迎 Go 端的解决方案）。

Answer 1

您可以在 Python 中加载和转储该输出，同时使用 ruamel.yaml 保留十六进制值（免责声明：我是该 Python 包的作者）：

import sys
import ruamel.yaml

yaml_str = """\
someHexValue: 0xDef9C64256DeE61ebf5B212238df11C7E532e3B7
someString: Hello World
someStringWithQuotes: '"Hello World"'
"""

yaml = ruamel.yaml.YAML()
data = yaml.load(yaml_str)
yaml.dump(data, sys.stdout)

给出：

someHexValue: 0xDEF9C64256DEE61EBF5B212238DF11C7E532E3B7
someString: Hello World
someStringWithQuotes: '"Hello World"'

---

go的实际输出是不正确的，如果你用Python输出字符串"0xDef9C64256DeE61ebf5B212238df11C7E532e3B7"，那么你会看到它输出 那个带引号的字符串（我在这里使用ruamel.yaml，但这对PyYAML来说是一样的）：

import sys
import ruamel.yaml

data = dict(someHexValue="0xDef9C64256DeE61ebf5B212238df11C7E532e3B7")

yaml = ruamel.yaml.YAML()
yaml.dump(data, sys.stdout)

给出：

someHexValue: '0xDef9C64256DeE61ebf5B212238df11C7E532e3B7'

这个字符串需要引用，是由表示 字符串“plain”（即不带引号），然后尝试解决它 确保返回原始类型（字符串）。这不是 情况下，因为它被发现是一个整数和代表部分 倾销过程决定报价是必要的。 （如果你看过 在加载和转储代码时，想知道为什么要使用解析器 两者兼而有之：这就是倾销者需要访问resolver.py 的原因 好）。

这对于 "True" 和 "2019-02-08' 等字符串的工作方式相同，它们也会被引用（按顺序 不要将它们与布尔值或日期“混淆”）。

这是一个相当昂贵的计算过程，当然还有其他方法 确定是否需要引号。

在go中也是这样，但是resolve.go中的相关代码有错误：

        intv, err := strconv.ParseInt(plain, 0, 64)
        if err == nil {
            if intv == int64(int(intv)) {
                return yaml_INT_TAG, int(intv)
            } else {
                return yaml_INT_TAG, intv
            }
        }

来自ParseInt的文档：

如果 base == 0，则字符串前缀隐含了 base：base 16 表示“0x”，base 8 表示“0”，否则为 base 10。

问题当然是在 YAML 和 Python 关于整数的大小。但是在 go 中限制为 64 位。所以在上面 ParseInt 返回一个错误并且 go 认为 字符串不需要引用。 （我将此报告为 bug 在 go-yaml 中 图书馆）。

去Marshall 函数似乎没有像你一样强制引用的标志 设置yaml.default_style = '"'` inruamel.yaml``。

Answer 2

Go 将该十六进制字符串解释为数字。

someHexValue: 0xDef9C64256DeE61ebf5B212238df11C7E532e3B7

如果这是它生成的 yaml，那么 python 将其视为数字是正确的。

在 python 中的一个创可贴是使用将其转换回十六进制

hex(1272966107484048169783147972546098614451903325111)

这里是yaml spec，将十六进制视为数字