Azure SQL DW 外部文件格式使用 Polybase 将空字符串视为 NULL

Question

我正在使用外部表将数据从存储在 blob 中的 csv 加载到 Azure SQL 数据仓库中的表。 csv 使用字符串分隔符（双引号），空字符串表示为 2 个双引号 ("")。

我希望表中的空列被视为 NULL。我使用的外部文件格式设置为 USE_TYPE_DEFAULT = FALSE，但这似乎不起作用，因为空列作为空字符串导入。并且只有当列是字符串，数字列正确转换为 NULL 时才会发生这种情况。

我还导入了一个不同的 csv，它没有使用不同的外部文件格式的字符串分隔符，并且那些空列被导入为 NULL。所以看起来它与 STRING_DELIMITER 选项有关。

csv：

col1;col2;col3;col4;col5;col6
"a";"b";"c";"1";"2";"3"
"d";"";"f";"4";"";"6"

外部文件格式的代码：

CREATE EXTERNAL FILE FORMAT eff_string_del
WITH (
        FORMAT_TYPE = DELIMITEDTEXT
        ,FORMAT_OPTIONS(
            FIELD_TERMINATOR = ';'
            ,STRING_DELIMITER = '0x22'
            ,FIRST_ROW = 2
            ,USE_TYPE_DEFAULT = False)
    )

使用外部文件格式的表格代码：

CREATE EXTERNAL TABLE dbo.test (
col1 varchar(1) null
,col2 varchar(1) null
,col3 varchar(1) null
,col4 int null
,col5 int null
,col6 int null
)
WITH (
        DATA_SOURCE = [EDS]
        ,LOCATION = N'test.csv'
        ,FILE_FORMAT = eff_string_del
        ,REJECT_TYPE = VALUE
        ,REJECT_VALUE = 0
        )

查询外部表时的结果：

SELECT *
FROM [dbo].[test]

col1 col2 col3 col4        col5        col6
---- ---- ---- ----------- ----------- -----------
a    b    c    1           2           3
d         f    4           NULL        6

有人可以帮我解释发生了什么或我做错了什么吗？

Answer 1

在外部文件格式中使用USE_TYPE_DEFAULT = False。 在分隔文本文件中使用单词 NULL 存储的任何 NULL 值都将作为字符串“NULL”导入。

例如：

CREATE EXTERNAL FILE FORMAT example_file_format
WITH (FORMAT_TYPE = DELIMITEDTEXT,
      FORMAT_OPTIONS(
          FIELD_TERMINATOR = ',',
          STRING_DELIMITER = '"',
          FIRST_ROW = 2, 
          USE_TYPE_DEFAULT = False)
)

参考：https://docs.microsoft.com/en-us/sql/t-sql/statements/create-external-file-format-transact-sql?view=sql-server-2017

Answer 2

您是否考虑在该字段中添加值 NULL 而不是 ""？

请参阅下面我使用以下代码执行的测试：

declare @mytable table
(id int identity primary key, column1 varchar(100))

insert into @mytable (column1)  values ('test1')
insert into @mytable (column1)  values ('test2')
insert into @mytable (column1)  values (null)
insert into @mytable (column1)  values ('test3')
insert into @mytable (column1)  values (null)

select
*
from    @mytable

结果如下所示：

这对你有用吗？