【问题标题】:Creating external tables in Azure SQL Datawarehouse在 Azure SQL 数据仓库中创建外部表
【发布时间】:2020-07-03 02:35:45
【问题描述】:

我想使用 polybase 将 CSV 加载到 Azure SQL 数据仓库。我创建了一个外部数据源和外部文件格式。由于位置错误,我无法创建外部表。我在下面附上脚本和屏幕截图。请让我知道可以在此处应用哪些适当的代码。

 CREATE EXTERNAL TABLE [dbo].[exttest1]
( [description] [nvarchar](4000) NULL,
    [industry] [nvarchar](4000) NULL,
    [level] [nvarchar](4000) NULL,
    [size] [nvarchar](4000) NULL,
    [line_code] [nvarchar](4000) NULL,
    [value] [nvarchar](4000) NULL )
WITH
(
    LOCATION='store17/test2/SampleData.csv' , --my azure blob storage container
    DATA_SOURCE = ds1 ,
    FILE_FORMAT = FF1 ,
    REJECT_TYPE = VALUE ,
    REJECT_VALUE = 0
) ;

【问题讨论】:

  • 请分享您的外部数据源 DS1 的定义。数据源必须指定容器,并且位置必须指定容器内的路径。如果您可以通过门户中的资源管理器视图或使用 Azure 存储资源管理器截取容器的屏幕截图,将会有所帮助。
  • 顺便说一句,您在这些屏幕截图中使用了两个不同的位置。哪个是正确的?
  • 用(LOCATION = 'wasbs://test2@store17.blob.core.windows.net',CREDENTIAL = cred1,TYPE = HADOOP)创建外部数据源 ds1
  • 您是否使用带有分层文件系统的 ADLS Gen2?如果是这样,请使用“abfss”而不是“wasbs”docs.microsoft.com/en-us/azure/storage/blobs/…
  • 否 @RonDunn 我正在使用简单的 blob 存储和容器。

标签: azure azure-sql-database azure-sqldw azure-sql-data-warehouse polybase


【解决方案1】:

如果我们猜对了,您希望将 SampleData.csv 从博客存储加载到 Azure SQL 数据仓库。

当我们从 Blob 存储create an external data source with CREDENTIAL option 时:

CREATE EXTERNAL DATA SOURCE <data_source_name>
WITH
  ( [ LOCATION = '<prefix>://<path>[:<port>]' ]
    [ [ , ] CREDENTIAL = <credential_name> ]
    [ [ , ] TYPE = HADOOP ]
[ ; ]

位置值格式应为:

LOCATION = 'wasb[s]://<container>@<storage_account>.blob.core.windows.net'

然后创建CREATE EXTERNAL TABLE,既然我们已经设置了容器,只需像下面这样直接设置LOCATION中的/文件夹/文件名(如果'store17'是容器名称):

CREATE EXTERNAL TABLE [dbo].[exttest1]
( [description] [nvarchar](4000) NULL,
    [industry] [nvarchar](4000) NULL,
    [level] [nvarchar](4000) NULL,
    [size] [nvarchar](4000) NULL,
    [line_code] [nvarchar](4000) NULL,
    [value] [nvarchar](4000) NULL )
WITH
(
    LOCATION='/test2/SampleData.csv' , --/folder/file
    DATA_SOURCE = ds1 ,
    FILE_FORMAT = FF1 ,
    REJECT_TYPE = VALUE ,
    REJECT_VALUE = 0
) ;

但是从你的第二张截图来看,为什么 lLOCATION 变成了/test2/?

这是我将 dbotest.csv 加载到我的 ADW 的完整代码示例,经过测试并且运行良好:

CSV 文件:

T-SQL 代码:

CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
WITH
  IDENTITY = '****', --Storage account name
  SECRET = '*****' ;--accournt key

-- Create an external data source with CREDENTIAL option.
CREATE EXTERNAL DATA SOURCE MyAzureStorage
WITH
  ( LOCATION = 'wasbs://testcontainer@****.blob.core.windows.net/' ,--
    CREDENTIAL = AzureStorageCredential ,
    TYPE = HADOOP 
  ) ;

  --Create external file format
CREATE EXTERNAL FILE FORMAT TextFileFormat
WITH (FORMAT_TYPE = DELIMITEDTEXT,
      FORMAT_OPTIONS(
          FIELD_TERMINATOR = ',',
          STRING_DELIMITER = '"',
          USE_TYPE_DEFAULT = True)
)

---Create external table wiht format
  CREATE EXTERNAL TABLE [dbo].[dbotest]
( [id] int,
  [name] nvarchar(50)
  )
WITH
(
    LOCATION='/csv/dbotest.csv' ,--/folder/filename
    DATA_SOURCE = MyAzureStorage ,
    FILE_FORMAT = TextFileFormat ,
    REJECT_TYPE = VALUE ,
    REJECT_VALUE = 0
) ;

数据检查:

希望这会有所帮助。

【讨论】:

    猜你喜欢
    • 2017-11-02
    • 2020-06-16
    • 2018-06-09
    • 1970-01-01
    • 2020-09-20
    • 1970-01-01
    • 1970-01-01
    • 2016-02-10
    • 1970-01-01
    相关资源
    最近更新 更多