使用 awk 或其他方法替换文件中的整个字段值

Question

我有一个从 postgresql 表导出的多个字段，包括布尔值（由 postgresql 导出为 t 和 f 字符），我需要将它导入另一个无法理解的数据库 (monetdb) f 作为布尔值。

（EDIT删除了空格以反映真实的文件方面并避免愤怒的 cmets - 以前显示空格）

id|val_str|bool_1|bool2|bool_3|bool4|
1|help|t|t|f|t|
2|test|f|t|f|f|
...

由于我无法替换所有出现的 t/f 我需要在我的模式中集成字段分隔符。 我尝试使用awk 将字段t 替换为TRUE 并将f 替换为FALSE：

awk -F'|' '{gsub(/\|t\|/, "|TRUE|"); gsub(/\|f\|/, "|FALSE|"); print;}' 

这是部分工作，因为具有相同值 (|t|t|) 的连续字段只会替换第一个匹配项（|TRUE|t| - 因为第二个匹配项实际上是 t| 而不是 |t|）。

id|val_str|bool_1|bool2|bool_3|bool4|
1|help|TRUE|t|FALSE|TRUE|
2|test|FALSE|TRUE|FALSE|f|
...

表有大约 450 列，所以我不能真正指定要替换的列列表，也不能在 postgres 中“转换”布尔列（我可以但......）。

我可以运行 gsub() 两次，但我正在寻找更优雅的方式来匹配所有字段的整个字段内容。

gsub(/^t$/, ...) 也无济于事，因为我们大部分时间都在排队。

Answer 1

表格有大约 450 列，所以我不能真正指定列的列表 被替换，也不能在 postgres 中“转换”布尔列（我 可以但...）。

您可以让 Postgres 为您完成工作。生成SELECT 列表的基本查询：

SELECT string_agg(CASE WHEN atttypid = 'bool'::regtype
                       THEN quote_ident(attname) || '::text'
                       ELSE quote_ident(attname) END, ', ' ORDER BY attnum)
FROM   pg_attribute
WHERE  attrelid = 'mytable'::regclass  -- provide table name here
AND    attnum > 0
AND    NOT attisdropped;

产生如下形式的字符串：

col1, "CoL 2", bool1::text, "Bool 2"::text

所有标识符都已正确转义。列按默认顺序排列。复制并执行它。使用COPY 导出到文件。 （或 psql 中的 \copy。）性能与导出普通表大致相同。如果不需要大写，请忽略upper()。

为什么对text 的简单转换就足够了？

• Return Boolean Value as TRUE or FALSE in Select (PostgreSQL/pgAdmin)

关于regclass 和正确转义标识符：

• Table name as a PostgreSQL function parameter

如果您需要一个完整的语句，其中 TRUE / FALSE / NULL 大写，标准 SQL 转换表示法（不带冒号 ::），仍然是原始列名，可能还有模式限定的表名：

SELECT 'SELECT '
     || string_agg(CASE WHEN atttypid = 'bool'::regtype
                        THEN format('upper(cast(%1$I AS text)) AS %1$I', attname)
                        ELSE quote_ident(attname) END, ', ' ORDER BY attnum)
     || ' FROM myschema.mytable;'           -- provide table name twice now
FROM   pg_attribute
WHERE  attrelid = 'myschema.mytable'::regclass
AND    attnum > 0
AND    NOT attisdropped;

产生一个完整的陈述形式：

SELECT col1, "CoL 2", upper(cast(bool1 AS text) AS bool1, upper(cast("Bool 2" AS text)) AS "Bool 2" FROM myschema.mytable;

Answer 2

假设（基于您的 cmets）您的输入文件实际上与您发布的示例不同，而是如下所示：

$ cat file
id|val_str|bool_1|bool2|bool_3|bool4|
1|help|t|t|f|t|
2|test|f|t|f|f|

那么你只需要：

$ awk '{while(gsub(/\|t\|/,"|TRUE|")); while(gsub(/\|f\|/,"|FALSE|"));}1' file
id|val_str|bool_1|bool2|bool_3|bool4|
1|help|TRUE|TRUE|FALSE|TRUE|
2|test|FALSE|TRUE|FALSE|FALSE|

N 个替换字符串的一般解决方案是：

$ awk 'BEGIN{m["f"]="FALSE"; m["t"]="TRUE"} {for (k in m) while(gsub("\\|"k"\\|","|"m[k]"|"));} 1' file
id|val_str|bool_1|bool2|bool_3|bool4|
1|help|TRUE|TRUE|FALSE|TRUE|
2|test|FALSE|TRUE|FALSE|FALSE|

Answer 3

如果perl 没问题，您可以使用环视：

$ cat ip.txt 
id |  val_str  | bool_1 | bool2  | bool_3 | bool4  | 
1  |    help   |   t    |   t    |   f    |   t    |
2  |    test   |   f    |   t    |   f    |   f    | 

$ perl -pe 's/\|\K\h*t\h*(?=\|)/  TRUE  /g; s/\|\K\h*f\h*(?=\|)/  FALSE /g' ip.txt 
id |  val_str  | bool_1 | bool2  | bool_3 | bool4  | 
1  |    help   |  TRUE  |  TRUE  |  FALSE |  TRUE  |
2  |    test   |  FALSE |  TRUE  |  FALSE |  FALSE | 

• \|\K 正向向后看以匹配 |
• \h* 可选水平空间，如果输入中不存在则删除
• (?=\|) 正向前瞻匹配 |

也可以通过sed 使用循环。在GNU sed 4.2.2 上测试，语法可能因其他实现而异

$ sed ':a s/| *t *|/|  TRUE  |/;ta; :b s/| *f *|/|  FALSE |/;tb' ip.txt 
id |  val_str  | bool_1 | bool2  | bool_3 | bool4  | 
1  |    help   |  TRUE  |  TRUE  |  FALSE |  TRUE  |
2  |    test   |  FALSE |  TRUE  |  FALSE |  FALSE | 

• :a标签
• s/| *t *|/| TRUE |/替换命令
• ta 分支到标签 a 只要替换命令成功
• 同样适用于:b

输入中没有空格

perl -pe 's/\|\Kt(?=\|)/TRUE/g; s/\|\Kf(?=\|)/FALSE/g' ip.txt 
sed ':a s/|t|/|TRUE|/;ta; :b s/|f|/|FALSE|/;tb' ip.txt 
awk 'BEGIN{FS=OFS="|"} {for(i=1;i<=NF;i++){if($i=="t"){$i="TRUE"} if($i=="f"){$i="FALSE"}} print}' ip.txt

Answer 4

使用sed，这是标准的。

sed 's/| *t */| TRUE /g;s/| *f */| FALSE /g'

这告诉sed 用| TRUE 替换以管道字符、未知数量的空格（可能为零）、t 和后跟未知数量的空格的每个子字符串；与f 相同。

如果线路长度搞砸了，通过column -t 管道输出。