【问题标题】:Azure data factory tempdb usage in data flowAzure 数据工厂 tempdb 在数据流中的使用
【发布时间】:2021-08-23 15:34:24
【问题描述】:

我正在使用数据流将大数据复制到sql azure数据库。

我收到一个错误

 Operation on target Data flow1 failed: {"StatusCode":"DFExecutorUserError","Message":"Job 
 failed due to reason: at Sink 'xxxx': 
 shaded.msdataflow.com.microsoft.sqlserver.jdbc.SQLServerException: The database 'tempdb' has 
 reached its size quota. Partition or delete data, drop indexes, or consult the documentation 
 for possible resolutions.","Details":"at Sink 'xxx': 
 shaded.msdataflow.com.microsoft.sqlserver.jdbc.SQLServerException: The database 'tempdb' has 
 reached its size quota. Partition or delete data, drop indexes, or consult the documentation 
 for possible resolutions."}

为了解决这个问题,我尝试在数据流设置中创建不同的架构,并取消选中“使用 tempdb”选项,并提供我创建的架构的架构名称。

我继续收到相同的错误,但没有太多关于解决此问题的信息。

【问题讨论】:

    标签: azure-sql-database azure-data-factory-2


    【解决方案1】:

    默认情况下,Azure SQL 接收器使用全局临时数据库来暂存数据,全局临时数据库的大小取决于您的服务层。您可以通过增加服务层来增加大小,或者通过取消选中“使用 tempdb”选项并发布更改来使用普通用户表而不是全局临时数据库中的表来暂存数据。请注意,使用用户表暂存数据会显着影响性能。

    【讨论】:

    • 我确实更改了用户模式 ​​.. 来创建临时表 .. 但我猜想,一些东西仍然存储在 tempdb 中,因为我可以看到在我的模式中创建了临时表,然后数据工厂仍然提供 temp db错误..
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-07-17
    • 2023-02-09
    • 2020-11-26
    • 1970-01-01
    • 2020-11-30
    • 2021-08-24
    • 2019-09-28
    相关资源
    最近更新 更多