文本限定符后有空格时将 csv 导入 SQLServer

Question

我有一个包含 GeoCodes 列的 csv 文件。这使用 " 作为文本限定符。

我正在尝试使用 SQL Server 导入向导将其导入 SQLServer。 数据的问题是，如果没有 GeoCode，csv 文件有时会将 GeoCode 输出为“”，然后是几个空格。尝试导入数据时出现此错误，因为它会在文本限定符中提取数据，然后在下一个逗号分隔符之前有这些空格。

以下数据示例。 Pontypandy 行是出错的行。

Place      ,Geo Codes           ,Type                          
Northpole  ,"90.0000,0.0000    ",Pole                          
Southpole  ,"-90.0000,0.0000   ",Pole                          
Pyramids   ,"29.9765,31.1313   ",BigTriangle                   
France     ,"                  ",Country                       
Pontypandy ," "                 ,City                          

我必须使用文本限定符，因为地理代码中有逗号。

我对如何将数据发送给我没有发言权，因此必须按原样处理数据。

作为一种解决方法，我必须先在记事本中查找和替换数据，然后再导入。这为希望不需要的工作增加了一个额外的步骤。

在导入期间我是否可以绕过 " " 空格？

作为额外说明，我目前无法访问 SSIS，但如果可以更轻松地在其中完成，请回答，因为它可以帮助我证明获得 SSIS 的合理性（如果以后我可能不得不删除此评论我必须把它展示给我的经理）。

Answer 1

如果您的数据确实是您在上面显示的方式，您可以使用固定宽度格式。按原样导入数据，然后替换 "。这不是最好的解决方案。

更好：在导入之前通过 sed 管道导入文件。这不仅要快得多，而且在所有情况下，当数据大于 RAM 时，这是唯一简单的方法（好吧，还有其他一些方法）。您只需要在操作系统级别进行 sed。如果您可以将可执行文件复制到某处，那么这就是您所需要的。如果你想用“替换“[任意数量的空白]，这是正则表达式应该是：

cat myfile.txt|sed -b -e "s/\" *,/\",/">yournewfile.txt

一旦你明白了正则表达式就很容易了： - s 表示替代， - /first /second/ 表示查找第一个并替换为第二个， - \" 是转义的 " (因为 DOS) - 空格和 * 表示任意数量的空格 - , 表示 ,

在很多系统上 sed 仍然存在 (cygwin)。玩得开心！

Answer 2

批量插入的两种方法

1. 基于行的批量插入
   • 在 CSV 中有字符串限定的列时最有用
   • 您需要先创建一个包含两个字段的表：identity & varchar(max); identity 将表示行数，varchar(max) 将是您的行数据
   • 创建一个仅从上表中选择 varchar(max) 字段的视图

批量插入语法如下所示：

BULK INSERT AdventureWorks2012.Sales.v_SalesOrderDetail  
FROM 'f:\orders\lineitem.csv'  
    WITH   (  
        ROWTERMINATOR =' |\n'  
    );  

1. 基于列的插入：
   • 大多数人都广泛使用它，但只有在没有字符串限定的列时才有用且可靠。
   • 将最常见的批量插入语法与RowTerminator 和LineTerminator 选项结合使用

参考资料：

• 批量插入语法：https://docs.microsoft.com/en-us/sql/t-sql/statements/bulk-insert-transact-sql#examples
• 带视图的批量插入：https://technet.microsoft.com/en-us/library/ms179250(v=sql.105).aspx
• 批量插入表格：https://technet.microsoft.com/en-us/library/ms187086(v=sql.105).aspx