使用 spark-sql 查询时，时间戳字段失去精度 [重复]

Question

当使用 Spark SQL 从 Hive Metastore 查询同一个表时，时间戳字段会丢失精度。

我的表格描述是这样的：

col_name  data_type  comment
id          bigint    null
name        string    null
joined_time timestamp null

使用 Hive QL，我得到了以毫秒为单位的 joined_time 值。 Hive QL 结果：

select * from employees;

1   foo 2016-07-04 02:12:10.0
2   bar 2016-07-04 02:12:10.0

在使用 spark-sql 时，我会失去精度，最多几分钟。例如：

val result = sqlContext.sql("select * from employees")
result.show()

1  foo 2016-07-04 02:12:...
2  bar 2016-07-04 02:12:...

Answer 1

它并没有失去精度。它刚刚截断了显示。

由于Spark 1.6，你可以用result.show(false)显示它

http://spark.apache.org/docs/latest/api/scala/#org.apache.spark.sql.Dataset

val df = Seq((1,2),(2,4)).toDF("x","y")
df.show(false)
// +---+---+
// |x  |y  |
// +---+---+
// |1  |2  |
// |2  |4  |
// +---+---+

现在有时间戳：

sqlContext.sql("select current_timestamp()").show
// +--------------------+
// |                 _c0|
// +--------------------+
// |2017-02-10 14:40:...|
// +--------------------+

sqlContext.sql("select current_timestamp()").show(false)
// +-----------------------+
// |_c0                    |
// +-----------------------+
// |2017-02-10 14:40:14.038|
// +-----------------------+