Spark sql row_number或序列号？

【问题标题】：Spark sql row_number or sequence number?Spark sql row_number或序列号？
【发布时间】：2016-03-12 06:45:58
【问题描述】：

随机数生成器 SparkSQL ?

例如：

谢谢。

【问题讨论】：

【解决方案1】：

spark sql 中的序列在 spark 1.6 中，其 select monotonically_increasing_id() from table ，spark 1.6 即将发布

【讨论】：

这里是一个适用于 Spark 2.2 的示例 sine_signale_no_ts.createOrReplaceTempView("signal") sine_signale_my_ts = sql("select (monotonically_increasing_id()+1483228800)*1000 as ts, sine from signal")

【解决方案2】：

Spark Sql 已经有随机函数有一个blog。

或者对于行数，spark sql也有row_number()函数。

【讨论】：

嗨 Kaushal，我尝试了 row_number 函数，但 spark sql 出错了
sqlContext.sql("select * from (select column1,column2,column3,column4,column5 ,row_number() OVER (PARTITION BY column1 ORDER BY column1 DESC) 从 TestTable 随机排列) a")
你遇到了什么异常
嗨 Kaushal，我在 spark 1.6 中找到了我想要的东西，它从 table 中选择 monotonically_increasing_id()，spark 1.6 即将发布