【问题标题】:Spark SQL between statement语句之间的 Spark SQL
【发布时间】:2019-03-17 12:33:31
【问题描述】:

如何查询某个范围内的工资?这是我的 Spark SQL 数据框代码,用于查找 10000 到 20000 之间的薪水:

empData.where($"Salary" > 10000 && $"Salary" < 20000).orderBy($"Salary".desc).show()

我相信应该有使用between 的替代解决方案。如何使用between 方法?

【问题讨论】:

    标签: scala apache-spark apache-spark-sql


    【解决方案1】:

    我相信有替代解决方案可以在两者之间使用。

    就这样:

    empData.where($"Salary".between(10000, 20000))
    

    【讨论】:

    【解决方案2】:

    如果您希望使用 between,您可以使用 sparkSQL 并将逻辑作为查询运行。例如

    empData.createOrReplaceTempView("empDataTempTable")
    
    val filteredData = spark.sql("select * from empDataTempTable where salary between 10000 and 20000 order by salary desc")
    
     filteredData.show()
    

    对于列和过滤过程中的随机查找,sparkSQL 和 DataFrame 提供几乎相同的性能结果。

    【讨论】:

      【解决方案3】:
      empData.filter(col("Salary").between(10000 ,20000)).orderBy(col("Salary").desc());
      

      或

      empData.where(col("Salary").between(10000 ,20000)).orderBy(col("Salary").desc());
      

      【讨论】:

        猜你喜欢
        • 2021-01-27
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2016-12-23
        • 1970-01-01
        • 2021-03-11
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多