从双引号 csv 字段中去除可变数量的逗号

Question

如何编写 sed 脚本（或 awk，只是不熟悉它）从双引号 csv 字段的内部删除逗号？我可以使用以下 sed one-liner 删除单个逗号：

sed 's/"\([^"]*\),\([^"]*\)"/\1\2/g' file > file2

但如果我在字段中有两个逗号，则只去掉一个逗号：

“ALOHA, INC., A CONDOMINIUM ASSOCIATION”

变成

“ALOHA, INC. A CONDOMINIUM ASSOCIATION”

或者，如果有人可以向我解释为什么在将 csv 加载到 mysql 时，我似乎无法获得“可选地被封闭”选项，那会让生活变得更轻松（我已经一直在尝试使用 sed 去除逗号，因为即使我使用可选包含的选项并且我的字段被双引号引起来，逗号也会破坏我的列数据。Excel 仅在带逗号的字段周围使用引号导出。如果所有内容都是双引号，我不会没问题，但有选择性地引用，我开始在桌子上敲我的鞋子。

更新：该文件包含多个字段。

“ALOHA, INC., A CONDOMINIUM ASSOCIATION”, 900, VENICE, FL, 34293-5112,,VENICE,FL,34285,ALOHA

我什至担心可能存在包含多个引用字段的行，这似乎是一个严重的问题。不过据我所知，这并不常见。

我刚才在想的一件事是我可以消除“，INC”的所有实例，但这不会消除其他例子，例如“，LLC”等。

我想删除字段中的所有逗号。

我担心以下情况：

“ALOHA, INC., A CONDOMINIUM ASSOCIATION”, 900, VENICE, FL, 34293-5112,,VENICE,FL,34285,”ALOHA, Inc., A CONDOMINIUM ASSOCIATION”

Aloha 的第一个实例和最后一个实例之间的逗号不会用

消除吗

sed 's/"\([^"]*\),\([^"]*\)"/\1\2/g' file > file2

Answer 1

您可以在这种情况下使用 GNU awk

$ gawk -v FPAT='"[^"]*"|[^,]*' -v OFS=, '{for(i=1; i<=NF; i++) gsub(/,/, "", $i)} 1' ip.txt
"ALOHA INC. A CONDOMINIUM ASSOCIATION", 900, VENICE, FL, 34293-5112,,VENICE,FL,34285,"ALOHA Inc. A CONDOMINIUM ASSOCIATION"

• -v FPAT='"[^"]*"|[^,]*' 将输入字段定义为双引号字段，或以逗号分隔的字段
  • 详情请见https://www.gnu.org/software/gawk/manual/html_node/Fixed-width-data.html
• -v OFS=, 逗号作为输出字段分隔符
• for(i=1; i<=NF; i++) 循环遍历所有输入字段
  • gsub(/,/, "", $i)删除所有逗号
• 1打印$0的内容

如果gawk不可用，可以使用

perl -pe 's/"[^"]+"/$&=~tr|,||dr/ge' ip.txt

注意：如果字段包含双引号、换行符等，这将不起作用。请使用 perl、python 等中提供的 csv 解析器

Answer 2

如果您想删除所有出现在 " 到 " 之间的逗号，那么以下内容可能会对您有所帮助。

sed '/".*"/s/,//g'   Input_file

如果您想将输出保存到 Input_file 本身，请使用 sed -i 选项。