如何在 SQL 数据库上使用 dplyr `distinct()` 函数？答案

【问题标题】：How to use the dplyr `distinct()` function on a SQL database?如何在 SQL 数据库上使用 dplyr `distinct()` 函数？
【发布时间】：2020-04-13 07:42:17
【问题描述】：

当我将特定的 dplyr 函数 distinct() 应用于 SQL 数据库中的表时，出现以下错误。

tbl(P0_MAU_3N_V, "D_QNO_MTYPE") %>% distinct()
#> Error: <SQL> 'SELECT DISTINCT  TOP 11 * FROM "D_QNO_MTYPE"'
#> nanodbc/nanodbc.cpp:1700: HY222: [Teradata][ODBC Teradata Driver]
#> [Teradata Database](-3419)
#> TOP N Syntax error: Top N option is not supported with DISTINCT option.

如果我检查我得到的查询：

tbl(P0_MAU_3N_V, "D_QNO_MTYPE") %>% distinct() %>% show_query()
#> <SQL>
#> SELECT DISTINCT *
#> FROM "D_QNO_MTYPE"

我猜这是 SQL 语法中的某种禁忌。在 SQL 数据库上使用 dplyr::distinct() 的最佳方式是什么？是否有一种 tidyverse 方法可以做到这一点，或者这应该是某种类型的直接 SQL 查询？

编辑

@akrun 很抱歉，我只是不知道如何根据您提供的示例进行复制。我希望这会有所帮助：

DBI::dbGetInfo(P0_MAU_3N_V)
#> $dbname
#> [1] "P0_MAU_3N_V"
#> 
#> $dbms.name
#> [1] "Teradata"
#> 
#> $db.version
#> [1] "15.10.0704  15.10.07.04"
#> 
#> $username
#> [1] "redacted"
#> 
#> $host
#> [1] ""
#> 
#> $port
#> [1] ""
#> 
#> $sourcename
#> [1] ""
#> 
#> $servername
#> [1] "redacted"
#> 
#> $drivername
#> [1] "tdataodbc_sb64.dll"
#> 
#> $odbc.version
#> [1] "03.80.0000"
#> 
#> $driver.version
#> [1] "16.20.00.054"
#> 
#> $odbcdriver.version
#> [1] "03.80"
#> 
#> $supports.transactions
#> [1] TRUE
#> 
#> attr(,"class")
#> [1] "Teradata"    "driver_info" "list"

【问题讨论】：

你能展示一个可重现的例子吗con <- DBI::dbConnect(RSQLite::SQLite(), ":memory:");df1 <- data.frame(col1 = rep(LETTERS[1:3], each = 3), col2 = rep(letters[1:3], each = 3));copy_to(con, df1);tbl(con, "df1") %>% distinct() # Source: lazy query [?? x 2] # Database: sqlite 3.29.0 [:memory:] col1 col2 <chr> <chr> 1 A a 2 B b 3 C c
@akrun 如何确定我现在使用的 SQL 数据库类型？这样我就可以创建一个模仿我所在的 SQL 数据库的 repro。我不知道我是否有一个 SQLite、一个 SQLHeavy、一个 TeraData，在这方面太新了......
你可以试试DBI::dbGetInfo(P0_MAU_3N_V)
另外，检查here 或here
谢谢，'Teradata' 我不确定语法

标签： sql r dplyr teradata dbplyr

【解决方案1】：

TOP N 有很多限制，与DISTINCT 一起使用就是其中之一。我不确定dplyr 的语法，但是如果你可以运行一些原始 SQL，如果你尝试使用这样的子查询来分隔运算符会怎样：

SELECT TOP 11 *
FROM (
  SELECT DISTINCT *
  FROM "D_QNO_MTYPE"
) src

如果您没有太多列，另一种选择是使用GROUP BY 来获取一组唯一的行：

SELECT col1, col2 ... -- list of columns to apply DISTINCT to
FROM "D_QNO_TYPE"
GROUP BY col1, col2 ... -- same column list in the SELECT
QUALIFY ROW_NUMBER() OVER() <=11 -- Get first 11 rows (i.e. TOP 11)

首先应用GROUP BY，然后应用QUALIFY。如果要指定列的顺序，只需将列列表放在OVER() 子句中。我不确定您是否可以将TOP 与GROUP BY 结合使用，但您也可以尝试一下，看看它是否有效。

【讨论】：