在 U SQL 中创建对象时从 json 的值中删除无效字符

Question

在 USQL 中，我正在读取 csv 文件。它是遥测数据，因此 csv 文件可能有任何不良数据。我正在读取该 csv 文件并在 USQL 中创建 JObject。我想从 json 对象的所有值中替换无效字符，这样我的脚本就不会因为数据错误而失败。我想生成json输出。

我正在考虑在创建JObject 之前将"\\" 和"\"" 替换为空白。请让我知道这是否是删除不良数据的正确方法。如果有人有更好的解决方案，请告诉我。除了“\”和“\””之外，我还需要删除任何其他字符。下面提到了我的Usql代码-

@Data=
SELECT new JObject(
                        new JProperty("Name", Name),                                                  
                        new JProperty("Description", Description)                      
                   ).ToString() AS Document
FROM @InputData; 

Answer 1

我会这样做。这将构建您的 DataTable，然后使用 JSON.Net，这将为您序列化所有内容，您只需要构建一个正则表达式来查找和替换您想要删除的内容。

void Main()
{
    var dt = CSVtoDataTable(@"c:\temp\test.csv");

    foreach (DataRow row in dt.Rows)
    foreach (DataColumn col in dt.Columns)
    {
        var str = row[col].ToString();
        row[col] = RegexReplace(str);
    }

    string json = JsonConvert.SerializeObject(dt);
}

public DataTable CSVtoDataTable(string filepath)
{
    DataSet ds = new DataSet("Temp");

    using (OleDbConnection conn = new OleDbConnection($"Provider=Microsoft.Jet.OleDb.4.0; Data Source = {Path.GetDirectoryName(filepath)}; Extended Properties = \"Text;HDR=YES;FMT=Delimited\""))
    {
        conn.Open();
        OleDbDataAdapter adapter = new OleDbDataAdapter("SELECT * FROM " + Path.GetFileName(filepath), conn);
        adapter.Fill(ds);
    }
    return ds.Tables[0];

}

public string RegexReplace(string s)
{
    return Regex.Replace(s, @"\b[a-z]\w+", "*****");
}