PostgreSQL - \copy 命令

Question

我尝试了上面的代码。我设法编译。但是，当我运行时，它给了我错误：

Exception in thread "main" org.postgresql.util.PSQLException: ERROR: syntax error at or near "\"
Position: 1

显示我运行的查询是错误的：

String query ="\\COPY tmp from 'E:\\load.csv' delimiter ',';";

查询的System.out.println 是： query string: \COPY tmp from 'E:\load.csv' delimiter ',';

我在 PostgresSQL 客户端中运行查询：\COPY tmp from 'E:\load.csv' delimiter ',';，它可以工作。

发生了什么？

Class.forName (driver);
conn = DriverManager.getConnection(host+dbname,user,password);
stmt = (java.sql.Statement) conn.createStatement();

//
PreparedStatement prepareUpdater = null;

conn.setAutoCommit(false);

String query ="\\COPY tmp from 'E:\\load.csv' delimiter ',';";

System.out.print("query string: "+query);

System.out.println("Query:"+query);
prepareUpdater = conn.prepareStatement(query);
prepareUpdater.executeUpdate();
prepareUpdater.close();

Answer 1

PostgreSQL COPY 语句存在于两个突变 - 服务器端 COPY 和 psql 端 \copy。这两个语句具有相同的语法和非常相似的行为。存在显着差异 - \copy 正在使用客户端文件系统。 COPY 正在使用服务器端文件系统。 psql \copy 不应被称为服务器端 SQL 命令。它直接从psql 或一些bash 脚本中使用。

服务器端COPY 用于海量导出/导入操作。当它使用文件系统时，它只能由具有超级用户权限的用户使用。非特权用户必须使用stdin、stdout 目标，但应用程序必须支持COPY API。

psql 支持它-因此您可以使用它来将某个表从一个表复制到另一个表：

psql -c "COPY mytab TO stdout" db1 | psql -c "COPY targettab FROM stdin" db2

对于 Java 环境，您必须使用一些支持，例如 CopyManager。见how to copy a data from file to PostgreSQL using JDBC?

COPY 语句的导入速度比INSERT 语句的导入速度要快得多 - 但依赖于一些额外的开销 - 在没有大量索引且没有慢触发器的普通表上差异会很大。如果表上有很多索引或较慢的触发器，那么 COPY 的加速将是微不足道的。

Answer 2

感谢您的反馈。

我设法使用 CSVReader 加载 *.csv。

我下载了 CSVReader 包并将其包含在我的代码中。

它工作正常。

 CsvReader products = new CsvReader("/tmp/ip2location/IP-COUNTRY-REGION-CITY-LATITUDE-LONGITUDE-ISP-DOMAIN-MOBILE-USAGETYPE.CSV");

             products.readHeaders();

             while (products.readRecord())
             {
                String ip_from = products.get("ip_from"); //int
                String ip_to = products.get("ip_to"); //int


                PreparedStatement prepareStat = null;

                String sqlIinsert = "insert into ip2location_tmp(ip_from, ip_to )"
        + " VALUES ("+ip_from+","+ip_to+");";

                System.out.println("sqlInsert:"+sqlIinsert);
                prepareStat = conn.prepareStatement(sqlIinsert); 
                prepareStat.executeUpdate();  

               }
        products.close();
        }enter code here

Answer 3

您使用COPY 而不是/COPY

String query ="COPY tmp from 'E://load.csv' delimiter ','";

会有用的

Answer 4

COPY SQL 命令从本地文件系统读取文件，服务器进程必须有权访问它。

\copy 命令是psql 指令，仅在该环境中可用。您不能在 SQL 查询中使用它。

由于 Java 有一个很好的 CSV 阅读器类，您可以简单地在代码中读取文件，然后使用单独的 INSERT 命令将数据加载到数据库中。这实际上是 \copy 在 psql 工作时所做的。