如何在 Windows 上使用 Vertica 的 COPY LOCAL 作为 MATLAB 的 sql 语句

Question

我正在尝试将使用 MATLAB 创建的大约 8000 万条记录插入到 Vertica 数据库表中。我想知道我们是否可以在 MATLAB 中调用 COPY LOCAL 语句作为使用 exec(conn, sql) 的常规 sql 语句。出于测试目的，我尝试了一个包含大约 400 万条记录的 dat 文件，如下所示：

sqlstmnt = 'COPY schema.table_name (FK_CUSTOMER_ID,FK_RUN_START_DATE_ID,FK_RUN_END_DATE_ID,FK_TRAVEL_ID,FK_ORIGIN_ID,FK_DEST_ID,FK_SEGMENT_ID,SEGMENT_PERCENTAGE,LAST_UPDATED) FROM LOCAL ''/my/file/full/path/test1.dat''';

results = exec(conn,sqlstmnt);

但它在results.Message 中给出了错误，例如：

[Vertica]JDBC 预期结果集，但不是从查询“COPY schema.table_name(FK_CUSTOMER_ID,FK_RUN_START_DATE_ID,FK_RUN_END_DATE_ID,FK_TRAVEL_ID,FK_ORIGIN_ID,FK_DEST_ID,FK_SEGMENT_ID,SEGMENT_PERCENTAGE,LAST_UPDATED) FROM LOCAL '/my/file/full/路径/test1.dat'”。查询未执行。

“.dat”文件中的数据按照COPY LOCAL 中提到的列的顺序排列。

我找不到任何有用的资源来解释这个错误。

我有这个 test1.dat 文件，我可以使用 vsql 中的 COPY 插入它，但是由于我在 MATLAB 中运行我的代码并进行了多次迭代，每次迭代产生大约一百万条记录，我想在每次迭代期间插入它们.任何帮助都会非常棒。

Answer 1

COPY 命令返回包含加载数据量的 ResultSet，我看到两个主要选项

1) 结果 =exec(conn,sqlstmnt);

2)results = runsqlscript(conn,'nameOfSQLScriptthatIncludeTheCopyCommand.sql')

希望对你有用

谢谢

Answer 2

我刚刚检查完你是你的输入样本数据。 我看到将输入 csv 映射到目标表的主要问题。

Main issues are :
  1)     Lines  are  broken  into 2 lines ( you should prefer having one  sample per line and avoid brock it into 2 lines )
      Eg :  "1,20150101,0,2,2573,2714,1,8.147237e-01
            50,48,49,54,45,48,51,-28 12:11:46"

  2) when you define data types on vertica table ,eg: timestamp the data on the csv must reflect to it ( what you have is "-28 12:11:46" , this will not work )   


    After you fix all this issues ,  make sure you test it  using vsql , then go and try it with matlab 

    I hope you will find it useful.