在 TFX 中，是否可以用日期推断 Schema？答案

【问题标题】：In TFX, is it possible to infer Schema with dates?在 TFX 中，是否可以用日期推断 Schema？
【发布时间】：2021-04-28 10:45:02
【问题描述】：

我正在使用 TFX（更准确地说是 TensorFlow 数据验证）和 https://www.tensorflow.org/tfx/data_validation/api_docs/python/tfdv/infer_schema 中记录的 infer_schema 方法。它从描述列类型的 csv 文件生成模式。

它适用于浮点数、字节数、类别...但我也想检测日期。我没有在教程或指南中找到它。生成的原始消息支持日期，因此这不是问题（请参阅 TimeDomain）。 https://github.com/tensorflow/metadata/blob/master/tensorflow_metadata/proto/v0/schema.proto

我尝试使用该格式（非美国日期格式）的 CSV 文件，它被识别为字节 :(

date, amount
15/08/2001, 0.3120682494
16/08/2001, 0.9310268917
17/08/2001, 0.902986235

代码与教程中的相同，所以或多或少：

train_stats = tfdv.generate_statistics_from_csv(data_location="/content/csv_with_dates.csv")
schema = tfdv.infer_schema(statistics=train_stats)
tfdv.display_schema(schema=schema)

显示：

Type    Presence    Valency Domain
Feature name                
'date'  BYTES   required        -
'amount'    FLOAT   required        -

我可以让它工作吗？怎么样？

谢谢！

【问题讨论】：

标签： tensorflow types tfx tensorflow-data-validation

【解决方案1】：

目前没有，可能在即将发布的版本中。如果您检查您提到的链接，您会发现功能支持以下类型（不包括日期）：

enum FeatureType {
  TYPE_UNKNOWN = 0;
  BYTES = 1;
  INT = 2;
  FLOAT = 3;
  STRUCT = 4;
}

【讨论】：

tfdv 目前不支持 DATETIME 类型。