【问题标题】:Deserialization of dynamic JSON to a DataTable is losing decimals when first few JSON items have non-decimal values当前几个 JSON 项具有非小数值时,将动态 JSON 反序列化为 DataTable 会丢失小数
【发布时间】:2020-08-05 21:28:13
【问题描述】:

我正在尝试使用 Json.Net 将一些动态创建的 JSON 反序列化为数据表,结果表没有预期的十进制值。

string data = @"[
    {""RowNumber"":1,""ID"":4289,""Assets Variance"":100,""Rules Diff"":10.72,""TotalFunding"":0},
    {""RowNumber"":2,""ID"":4233,""Assets Variance"":75,""Rules Diff"":6.7,""TotalFunding"":0},
    {""RowNumber"":3,""ID"":2222,""Assets Variance"":43,""Rules Diff"":6.7,""TotalFunding"":43.22}
]";

DataTable dt = JsonConvert.DeserializeObject<DataTable>(data);

如果您查看此 JSON 中的前两项,属性 Total Funding 的值为 0,第三项的值为 43.22,但当我们将其转换为数据表时,它将呈现为 @987654326 @。属性 Rules Diff 不会发生这种情况,因为它在第一项本身中具有有效的十进制值。

JSON 中的属性是动态的,因此不能针对特定类型进行强制转换。我们如何反序列化这个 JSON,以便它在数据表中保留小数?

【问题讨论】:

  • 为什么不使用dynamic 而不是DataTable
  • 你可能想使用自定义转换器,看看这个stackoverflow.com/a/24052157/7968203
  • @Sajid 说了什么。似乎是您真正想要抽出动态卡片的少数场合之一。

标签: c# json datatable json.net


【解决方案1】:

这是 Json.Net 附带的 DataTableConverter 的已知限制。转换器假定 JSON 中的第一行数据是所有行的代表性样本,并使用它来确定 DataTable 中列的数据类型。

如果您事先知道 JSON 中有哪些数据类型,解决此问题的一种方法是反序列化为 List&lt;T&gt; 而不是 DataTable,其中 T 是一个具有属性名称和与 JSON 匹配的类型。然后,如果您仍然需要一个表格,您可以从列表中构建它作为后处理步骤。

但是,您说您的 JSON 是动态的,因此您需要改用自定义 JsonConverter。可以制作一个可以通过 JSON 预先读取的数据,以确定用于每一列的最佳数据类型。像下面这样的东西应该可以工作。随意根据您的需要对其进行自定义。

public class ReadAheadDataTableConverter : JsonConverter
{
    public override bool CanConvert(Type objectType)
    {
        return objectType == typeof(DataTable);
    }

    public override object ReadJson(JsonReader reader, Type objectType, object existingValue, JsonSerializer serializer)
    {
        JArray array = JArray.Load(reader);
        var dataTypes = DetermineColumnDataTypes(array);
        var table = BuildDataTable(array, dataTypes);
        return table;
    }

    private DataTable BuildDataTable(JArray array, Dictionary<string, Type> dataTypes)
    {
        DataTable table = new DataTable();
        foreach (var kvp in dataTypes)
        {
            table.Columns.Add(kvp.Key, kvp.Value);
        }

        foreach (JObject item in array.Children<JObject>())
        {
            DataRow row = table.NewRow();
            foreach (JProperty prop in item.Properties())
            {
                if (prop.Value.Type != JTokenType.Null)
                {
                    Type dataType = dataTypes[prop.Name];
                    row[prop.Name] = prop.Value.ToObject(dataType);
                }
            }
            table.Rows.Add(row);
        }
        return table;
    }

    private Dictionary<string, Type> DetermineColumnDataTypes(JArray array)
    {
        var dataTypes = new Dictionary<string, Type>();
        foreach (JObject item in array.Children<JObject>())
        {
            foreach (JProperty prop in item.Properties())
            {
                Type currentType = GetDataType(prop.Value.Type);
                if (currentType != null)
                {
                    Type previousType;
                    if (!dataTypes.TryGetValue(prop.Name, out previousType) ||
                        (previousType == typeof(long) && currentType == typeof(decimal)))
                    {
                        dataTypes[prop.Name] = currentType;
                    }
                    else if (previousType != currentType)
                    {
                        dataTypes[prop.Name] = typeof(string);
                    }
                }
            }
        }
        return dataTypes;
    }

    private Type GetDataType(JTokenType tokenType)
    {
        switch (tokenType)
        {
            case JTokenType.Null:
                return null;
            case JTokenType.String:
                return typeof(string);
            case JTokenType.Integer: 
                return typeof(long);
            case JTokenType.Float: 
                return typeof(decimal);
            case JTokenType.Boolean: 
                return typeof(bool);
            case JTokenType.Date: 
                return typeof(DateTime);
            case JTokenType.TimeSpan: 
                return typeof(TimeSpan);
            case JTokenType.Guid: 
                return typeof(Guid);
            case JTokenType.Bytes: 
                return typeof(byte[]);
            case JTokenType.Array:
            case JTokenType.Object:
                throw new JsonException("This converter does not support complex types");
            default: 
                return typeof(string);
        }
    }

    public override bool CanWrite
    {
        get { return false; }
    }

    public override void WriteJson(JsonWriter writer, object value, JsonSerializer serializer)
    {
        throw new NotImplementedException();
    }
}

要使用转换器,请将一个实例传递给DeserializeObject 方法,如下所示:

DataTable dt = JsonConvert.DeserializeObject<DataTable>(data, new ReadAheadDataTableConverter());

请注意,由于额外的处理,此转换器的运行速度将比 OOB DataTableConverter 慢一些。对于小型数据集,它应该不明显。

这里的工作演示:https://dotnetfiddle.net/iZ0u6Y

【讨论】:

    【解决方案2】:

    只是添加已接受的答案(我没有足够的声誉来发表评论),还有一种情况是您可以将第一种类型作为小数,然后可以将其检测为整数。 @brian-rogers 答案会将其放入字符串中。我为这种情况添加了另一个 elseif:

    else if (previousType == typeof(decimal) && currentType == typeof(long))
    {
       dataTypes[prop.Name] = previousType;
    }
    

    这是他修改后的演示:https://dotnetfiddle.net/IxGerR

    【讨论】:

      猜你喜欢
      • 2018-06-20
      • 1970-01-01
      • 2014-03-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-06-12
      相关资源
      最近更新 更多