【发布时间】:2019-06-10 22:08:18
【问题描述】:
我正在尝试在 Parquet 文件中编写 Go 结构并上传到 S3。我为结构中的时间戳参数指定什么格式和类型,以便雅典娜在从镶木地板文件读取时显示正确的时间戳。
type example struct {
ID int64 `parquet:"name=id, type=INT64"`
CreatedAt int64 `parquet:"name=created_at,type=TIMESTAMP_MILLIS"`
}
ex := example{}
ex.ID = int64(10)
ex.CreatedAt = time.Now().Unix()
fw, err := ParquetFile.NewLocalFileWriter("new.parquet")
pw, err := ParquetWriter.NewParquetWriter(fw, new(example), 1)
pw.Write(ex)
Upload the file new.parquet to S3
参考 - https://github.com/xitongsys/parquet-go。我在 Athena 中创建了一个带有 int 和时间戳字段的表,并尝试查询该表。日期显示类似于 - 1970-01-18 21:54:23.751。 与当前时间戳不匹配的位置。
【问题讨论】:
标签: go parquet amazon-athena