将复杂的配置文件转换为 id,parent,key,value 格式

Question

我正在尝试像下面的示例那样转换配置文件，以便生成 SQL 命令以插入到我的 Oracle 表中。我正在尝试使用 Perl，但我愿意尝试其他语言，例如 Python。

配置示例：

# This is a comment
feed_realtime_processor_pool = ( 11, 12 ) ;
dropout_detection_time_start = "17:00";
# Sometimes the config can have sub-structures
named_clients = (
{
  name = "thread1";
  user_threads = (
     { name = "realtime1"; cpu = 11; } # more comments
     { name = "realtime2"; cpu = 12; } # more comments
    );
}
);

(...)

转换（空格只是为了更好的可视化）：

id,parent, key,                            value
01,null,   'feed_realtime_processor_pool', '11'
02,null,   'feed_realtime_processor_pool', '12'
03,null,   'dropout_detection_time_start', '17:00'
04,null,   'named_clients',                null
05,04,     'name',                         'thread1'
06,04,     'user_threads',                 null
07,06,     'name',                         'realtime1'
08,06,     'cpu',                          '11'
09,06,     'name',                         'realtime2'
10,06,     'cpu',                          '12'

所以，问题是：

1. 有人知道一些可以做到这一点的库/模块吗？我可以找到配置解析器，但找不到可以提供树格式的好解析器。

2. 如果没有，有人可以给我一些关于我应该如何启动这个脚本的建议，也许使用不同的模块来帮助我解析配置？清理和解析配置对我来说是最难的部分。

第一次更新：

1. 我忘了说，我有大量的配置要导入到我的数据库中，这不是一次性事件。每当我的公司客户为不同的安装生成新配置时，该脚本就会运行。
2. 我选择 perl 是因为我认为它的执行速度可能比 Python 快。
3. 我对 SQL 很熟悉，但对 Perl 不太擅长
4. 配置遵循我在示例中放置的相同结构，唯一的变化与键/值对之间的空格数或花括号的缩进等有关。
5. 我已经开始使用 DBI 编写 perl 脚本，但主要问题是将此配置解析为我可以轻松使用的格式。我总是发现我的正则表达式被破坏并且我不断调整的情况。如果我可以只使用一个库来自动解析配置，那就太好了。我要试试你们提到的那些。

谢谢！

第二次更新：

伙计们，我在Perl Monks 上交叉发布了这个问题，并在那里得到了另一个反馈，我也在测试。一旦我测试了所有内容，将发布答案。谢谢。

Answer 1

感谢大家的提示，但我认为最好的选择是遵循我在 perlmonks 网站上从 Choroba 收到的建议。我在这里复制他的答案：

“如果找不到模块来解析配置格式，请编写自己的解析器。Marpa::R2 可以帮助您完成任务：

#!/usr/bin/perl
use warnings;
use strict;
use feature qw{ say };

use Marpa::R2;

my $input = << '__INPUT__';
# This is a comment
feed_realtime_processor_pool = ( 11, 12 ) ;
dropout_detection_time_start = "17:00";
# Sometimes the config can have sub-structures
named_clients = (
{
  name = "thread1";
  user_threads = (
     { name = "realtime1"; cpu = 11; } # more comments
     { name = "realtime2"; cpu = 12; } # more comments
    );
}
);
__INPUT__

my $dsl = << '__DSL__';

lexeme default = latm => 1
:default ::= action => ::first

Config    ::= Elements
Elements  ::= Element+                              action => grep_def
+ined
Element   ::= (Comment)                             action => empty
            | Name (s eq s) Value                   action => [values]
            | Name (s eq s) Value (semicolon s)     action => [values]
Comment   ::= (hash nonnl nl)                       action => empty
Name      ::= alpha
Value     ::= List
            | String
            | Num
            | Struct
List      ::= (lpar) Nums (rpar s semicolon s)
Nums      ::= Num+  separator => comma              action => listify
Num       ::= (s) digits (s)
            | (s) digits
            | digits (s)
            | digits
String    ::= (qq) nqq (qq semicolon s)             action => quote
Struct    ::= (lpar s) InStructs (rpar semicolon s)
InStructs ::= InStruct+                             action => grep_def
+ined
InStruct  ::= (lcurl s) Elements (rcurl s)
            | (Comment s)                           action => empty
            | Element

s         ~ [\s]*
eq        ~ '='
hash      ~ '#'
nonnl     ~ [^\n]*
nl        ~ [\n]
alpha     ~ [a-z_]+
lpar      ~ '('
rpar      ~ ')'
lcurl     ~ '{'
rcurl     ~ '}'
semicolon ~ ';'
comma     ~ ','
digits    ~ [\d]+
qq        ~ '"'
nqq       ~ [^"]+

__DSL__

sub listify      { shift; [ @_ ] }
sub quote        { qq("$_[1]") }
sub empty        {}
sub grep_defined { shift; [ grep defined, @_ ] }


my $id = 1;
sub show {
    my ($parent, $name, $elems) = @_;
    if (ref $elems->[0]) {
        show($parent, $name, $_) for @$elems;
    } elsif (ref $elems->[1]) {
        if (ref $elems->[1][0]) {
            say join ', ', $id, $parent, $elems->[0], 'null';
            show($id++, $elems->[0], $elems->[1]);
        } else {
            for my $e (@{ $elems->[1] }) {
                say join ', ', $id++, $parent, $elems->[0], $e;
            }
        }
    } else {
        say join ', ', $id++, $parent, @$elems;
    }
}


my $grammar = 'Marpa::R2::Scanless::G'->new({ source => \$dsl });
show('null', q(), ${ $grammar->parse(\$input, 'main') });
[download]
Output:

1, null, feed_realtime_processor_pool, 11
2, null, feed_realtime_processor_pool, 12
3, null, dropout_detection_time_start, "17:00"
4, null, named_clients, null
5, 4, name, "thread1"
6, 4, user_threads, null
7, 6, name, "realtime1"
8, 6, cpu, 11
9, 6, name, "realtime2"
10, 6, cpu, 12

请注意，要安装此模块，我们需要安装许多依赖项：

sudo cpan IPC::Cmd
sudo cpan Module::Build
sudo cpan Time::Piece
sudo cpan Marpa::R2

Answer 2

抛开 Oracle 不谈，您也许可以在 Python 中使用您的“配置”文件做一些事情，因为如果不兼容，它的语法是相似的（我不能告诉您）。但我不知道有什么东西会在 Perl 中评估它。相反，您可以尝试 Config::General 这将允许配置文件如下所示：

feed_realtime_processor_pool 11
feed_realtime_processor_pool 12
dropout_detection_time_start 17:00
# Sometimes the config can have sub-structures
<named_client thread1>
  <user_threads realtime1>
     cpu 11
  </user_threads>
  <user_threads realtime2>
     cpu 12
  </user_threads>
</named_client>

# etc

然后阅读：

use Config::General;
$config = Config::General->new("my.conf"); 
my %config = $config->getall;

更简单的替代方案可能是带有use JSON 或 XML::Simple 等的 JSON。在 CPAN 中查看它们。这些将以熟悉的语法为您提供树格式。

Answer 3

听起来您希望 Perl 分解配置文件并从中构建 SQL 语句，您可以这样做，但这样做也意味着创建 ID，如果数据库自动递增，可能会导致问题。

我建议学习如何使用 Perl 直接与数据库交互。该区域由两个模块主导：DBI 和 DBIx::Class。

这两个模块都提供了创建/读取/更新/删除数据的方法，并且可以存储查询的返回值，以便您可以在后续查询中使用 id 和其他表数据。他们还对交易进行错误处理，这总是很好。

如果这是一次性脚本并且您已经熟悉 SQL，我会推荐 DBI，因为它使用大量纯 SQL，而且学习起来可能更快。

如果您想要在 Perl 中使用数据库的 OO 解决方案，或者如果您打算做大量的数据库工作，那么我建议您花时间学习 DBIx::Class，因为您可以创建一个完整的模型架构以获得更强大的解决方案。

在任何一种情况下，您还需要 DBD::Oracle 模块，其中包含 DBI 和 DBIx::Class 与 Oracle 数据库交互所需的规则。

更新：

我忘了提...如果您坚持将配置文件转换为 SQL 语句，您可以尝试SQL::Abstract，它将 Perl 数据结构转换为 SQL 语句。

更新2：

我不确定是否有针对特定配置语法的模块，但它看起来非常接近 JSON 格式，因此您可以将文件转换为该格式，然后使用 JSON 加载它们。

需要删除 cmets，数组从括号更改为方括号，等号更改为冒号，所有文本都需要用引号括起来，分号更改为逗号。我认为最棘手的部分是从每个块中删除最后的逗号。

在删除尾随逗号时遇到了困难，但这应该可以帮助您完成大部分工作：

my $config = <<'CONFIG';
# This is a comment
feed_realtime_processor_pool = ( 11, 12 ) ;
dropout_detection_time_start = "17:00";
# Sometimes the config can have sub-structures
named_clients = (
{
  name = "thread1";
  user_threads = (
     { name = "realtime1"; cpu = 11; } # more comments
     { name = "realtime2"; cpu = 12; } # more comments
    );
}
);
CONFIG

# Remove comments
$config =~ s{[#].+?$}{}mg;

# Convert Arrays
$config =~ s{\(}{[}mg;
$config =~ s{\)}{]}mg;

# Convert key-value seaprators
$config =~ s{=}{:}mg;

# Wrap text in quotes
$config =~ s{"?([\w\d]+)"?}{"$1"}mg;
$config =~ s{"(\d\d?)":"(\d\d?)"}{"$1:$2"}mg; # fix times

# Convert eol delimiters
$config =~ s{;}{,}mg;



# Wrap whole thing in brackets
$config = '{' . $config . '}';

print "$config\n\n";