【问题标题】:Issue with using CSV_XS and DBI in Perl to write SQL query results在 Perl 中使用 CSV_XS 和 DBI 编写 SQL 查询结果的问题
【发布时间】:2017-07-14 03:26:52
【问题描述】:

我正在尝试使用以下 Perl 脚本将 SQL 查询的结果写入 CSV 文件:

#!/usr/bin/perl
#
use DBI;
use Text::CSV_XS;
use strict;

my $dbh = DBI->connect('DBI:mysql:dbname', 'username', 'password') ||
    die "Cannot connect to database\n", $DBI::errstr;

my $sth = $dbh->prepare("SELECT g.factGroupName, b.CI, a.Config
                    FROM alpha a
                    INNER JOIN beta b ON a.TypeId = b.MetricType
                    INNER JOIN gamma g ON g.factGroupId = b.Factgroup
                    WHERE a.ToolName = 2 AND a.TypeName = 'inputs.conf' AND a.Deploy = 'Y'");
$sth->execute || die "failed to execute:\n ", $DBI::errstr;


my $csv = Text::CSV_XS->new({ 'quote_char'  => '"',
                       'escape_char' => '"',
                       'sep_char'    => ',',
                       'binary'      => 0,
                       'eol'         => "\r\n"
                     });

open (my $FH, '>', '/home/XXXXX/inputs.csv') || die "Cannot open file\n";

while (my @row = $sth->fetchrow_array) {
  if ($csv->combine(@row)) {
    print $csv->string;
  } else {
my $err = $csv->error_input;
print "combine() failed on argument: ", $err, "\r\n";
  }
}

close $FH;

$dbh->disconnect;

当我执行脚本时,这是我在显示器上收到的输出:

oem,/opt/oracle/product/gc_inst1/em/EMGC_OMS*/sysman/log/emctl.log,"sourcetype=servicelog2,index=oem_prod"
oem,/opt/oracle/product/gc_inst1/em/EMGC_OMS*/sysman/log/emoms.log,"sourcetype=servicelog2,index=oem_prod"
oem,/opt/oracle/product/gc_inst1/user_projects/domains/GCDomain/servers/EMGC_OMS*/logs/EMGC_OMS*.log,"sourcetype=Bealog,index=oem_prod"

唯一的问题是,它没有写入我在脚本中引用的 inputs.csv;该文件存在于给定目录中,但文件大小为零。

另一个问题是,每行输出中返回的第三个字段(“a.Config”)有双引号,我想在将其写入 CSV 文件之前将其删除。该字段包含两个用逗号分隔的字符串,并使用 GLOB 配置存储在 MySQL 数据库中,不使用引号;我的猜测是 DBI 查询将添加双引号作为其操作的一部分。

任何帮助将不胜感激!

【问题讨论】:

  • 你永远不会告诉 Text::CSV 写信给$FH
  • 如果您实际上并未使用 Perl 处理数据,您可以使用 SELECT ... INTO OUTFILE 直接使用 MySQL 将查询结果转储到 CSV。

标签: mysql perl csv dbi


【解决方案1】:

写入文件

您需要告诉 Text::CSV_XS 它应该写入您的文件。

if ($csv->combine(@row)) {
   print $csv->string;
}

这会打印到屏幕上。而是打印到$FH

if ($csv->combine(@row)) {
   print $FH $csv->string;
}

直接使用$csv->print 可能会更好,因为这样更有效。

$csv->print($FH, \@row);

在这种情况下,error_inputundef,因此您不能使用它来显示调试信息。

删除双引号

我不认为这些来自数据库。您将escape_char 设置为",并且数据包含逗号,,因此Text::CSV_XS 正确地在值周围添加了引号。如果您不希望这样,但实际上想将$row[2] 中的值视为多个值,请使用逗号split

while (my @row = $sth->fetchrow_array) {
    $csv->print($FH, [ @row[0, 1], split /,/, $row[2] ] );
}

@row[1, 2] 是一个数组切片。和$row[0], $row[1]一样。

【讨论】:

  • 感谢您的指导!现在按我预期的那样工作。
猜你喜欢
  • 1970-01-01
  • 2013-03-30
  • 1970-01-01
  • 1970-01-01
  • 2011-07-03
  • 2020-08-13
  • 1970-01-01
  • 2014-01-28
  • 2018-11-28
相关资源
最近更新 更多