从perl在oracle表中加载多个csv文件

Question

经过一些研究决定在这里提出问题以获得更多专家的答案。找不到确切的场景作为我的问题，所以就在这里......

我认为我需要几天的时间才能让某些东西发挥作用，现在甚至无法考虑如何前进。

数据库：11gR2

操作系统：Unix

我正在尝试使用 perl 脚本将多个 csv 文件加载到 Oracle 表中。

1. 列出我需要处理的所有 csv，因为 csv 文件所在的目录包含许多其他文件。

2. 打开csv文件并插入表格

3. 如果有任何错误，则回滚该文件的所有插入并移至下一个文件

4. 记录每个文件完成了多少次插入

   #!/usr/bin/perl
   
   use warnings;    
   use strict;
   use Text::CSV;
   use DBD::Oracle;
   
   my $exitStatus = 0;
   my $dow     = `date +%a`; chomp $dow;
   my $csvDow  = `date -dd +%a`; chomp $csvDow;
   
   # define logfile
   my logFile;
   $logFile = "log.dbinserts"
   
   # define csv file directory
   my $csvLogDir  = "Home/log/$csvDow";
   
   # csv Files in array to list all possible match of file
    opendir(my $dh, $csvLogDir ) || die "can't opendir $csvLogDir : $!";
    my @csvFile = grep { /csv.*host1/ && -f "$csvLogDir/$_" } readdir($dh); chomp @csvFile;
    closedir $dh;
   
      foreach my $i (@csvFile)
         {
           $logFile (CSV File: $i);
         }
   
      foreach my $file (@csvFile) 
        {
          chomp ($item);
          $logFile-> ("Working under: $file");
          &insertRecords($csvLogDir."/".$file);
        }
   
   $logFile-> ("Exit status")
   
   #----------------
   
   sub insertRecords 
   {
    my $filetoInsert=shift;
    my $row;
   
    open my $fh, "<" or die "$fileToInsert: $!";
   
    my $csv = Text::CSV->new ({
       binary    =>1,
       auto_diag =>1,
      });
   
    while ($row = $csv->getline ($fh))
      {
         print "first column : $row->[0]\n,";
      }
    close $fh; 
   
    } 
   
   ========
   CSV File
   =========
   date, host, first, number1, number2
   20141215 13:05:08, S1, John, 100, 100.20
   20141215 13:06:08, S2, Ray, 200, 200.50
   ...
   ...
   ... 
   
   =========
   Table - tab1
   =========
   Sample_Date
   Server
   First
   N1
   N2
   

Answer 1

第一步，取决于您选择 CSV 文件所需的条件
如果它在那些 CSV 的名称上，您可以简单地使用 opendir 并使用 readd 获取文件列表：

my $dirToScan = '/var/data/csv';
opendir(my $dh, $dirToScan ) || die "can't opendir $dirToScan : $!";
    my @csvFiles = grep { /.csv$/ && -f "$some_dir/$_" } readdir($dh);
closedir $dh;

在此示例中，您将检索一个数组，其中包含以 .csv 结尾的所有文件（在设计目录中）
之后，您需要在阵列上使用您的 foreach。

你可以找到更多的例子和解释here 我不知道你的 CSV 的结构，但我建议使用像 Text::CSV 这样的模块，它是一个简单的 CSV 解析器，可以包装 Text::CSV_PP 或 Text::CSV_XS ，如果它安装在你的系统上（它比 PP 版本更快（因为用 perl/XS 编写）
此模块允许您像这样在数组中转换 CSV 行：

 use Text::CSV;
 my $file = "listed.csv";
  open my $fh, "<", $file or die "$file: $!";

  my $csv = Text::CSV->new ({
      binary    => 1, # Allow special character. Always set this
      auto_diag => 1, # Report irregularities immediately
      });
  while (my $row = $csv->getline ($fh)) {
      print "first colum : $row->[0]\n";
      }
  close $fh;

来自：perlmeme.org
您需要 open() 您的文件（在 foreach 循环内），将其传递给 Text::CSV 元素（您可以在循环外声明您的解析器)

这是最简单的情况，您知道 CSV 的列号，如果您需要使用列名，则需要使用 getline_hr() 函数（请参阅 文本::CSV)
一旦你有了你的值（你应该在你的文件列表的 foreach 循环中，同时列出你的 CSV 的行，你需要在你的数据库中插入这些数据。

为此，您需要 DBD::Oracle 模块来连接数据库。
像每个 DBI 连接器一样，您需要使用以下语法来实例化连接：

 use DBI;
 $dbh = DBI->connect("dbi:Oracle:$dbname", $user, $passwd);

然后在您的循环中（当您读取 CSV 行时）您应该能够执行以下操作：

$SQL = "INSERT INTO yourTable (foobar,baz) VALUES (?,?)";
$sth = $dbh->prepare($SQL);
$sth->execute($row->[0],$row->[1]);

在这里，您有一个树步骤，您可以在其中准备请求，并将值替换为“？” （如果你有很多列，你也可以使用声明的变量）
准备好后，您使用所需的值执行请求（再次，您不必使用匿名变量）

要捕获请求是否失败，您只需将 RaiseError 设置为声明连接时，它看起来像这样：

 $dbh = DBI->connect("dbi:Oracle:$dbname", $user, $passwd, 
 {        
    PrintError => 1,
    PrintWarn  => 1,
    RaiseError => 1
   });

然后在播放请求时：

try
{
    $sth->execute($row->[0],$row->[1]);
 }
 catch
 {
    warn "INSERT error : $_";
    $CSVhasFailures = 1;
 };

您需要在每个 CSV 之前将 $CSVhasFailures 的值设置为 0 之后，通过在 while 循环结束时测试 CSVhasFailures 的值，您可以决定使用集成函数 commit 和 rollback 执行 commit 或 rollback DBD::Oracle 模块 如果您不想计算插入次数，您只需在 $sth->execute 语句之后放置一个 $counter++ 有关 DBD::Oracle 的更多信息，我建议您阅读 CPAN 文档页面。

最后的建议，逐步开始：列出您的 CSV 文件，读取每个 CSV 的行，读取一列，打印一组列，然后将数据插入临时表中。