【问题标题】:I recently had to stop and restart a snowpipe. Since then the pipe has stopped ingesting from a stage我最近不得不停止并重新启动雪管。从那以后,管道停止从舞台上摄取
【发布时间】:2021-05-19 08:32:04
【问题描述】:

我在舞台上有积压的内容,直到最近才被雪管吸收。 我认为当我暂停雪管一段时间后它停止摄取,然后重新启动;但我不能确定。查询snowpipe的状态,我看到了:

{"executionState":"RUNNING","oldestFileTimestamp":"2021-05-13T12:15:25.086Z","pendingFileCount":282,"notificationChannelName":"arn:aws:sqs:XXXXXXXXXXXXXXXXXXXXXXXXXXXX","numOutstandingMessagesOnChannel":0,"lastReceivedMessageTimestamp":"2021-05-19T08:15:27.482Z","lastForwardedMessageTimestamp":"2021-05-19T08:15:27.531Z"}

最后提取的内容日期为 2021-05-13 12:52:16.913。

如何加载 2021 年 5 月 13 日 12:52:16.913 之后登陆的内容,如何让雪管在登陆时重新开始摄取新内容?

【问题讨论】:

    标签: snowflake-cloud-data-platform data-ingestion


    【解决方案1】:

    尝试再次暂停管道并使用 CREATE OR REPLACE PIPE... 选项重新创建它。如果您这样做,请确保将所有权等授予原始所有者(如果以不同的角色运行)以及任何其他权限

    然后运行 ​​SELECT SYSTEM$PIPE_FORCE_RESUME('MY_PIPE');

    我使用这种方法对管道进行了很多更改,但并没有让我失望。话虽如此,我们使用的是内部阶段,所以我不能确定它与外部阶段的表现如何

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2017-06-16
      • 1970-01-01
      • 1970-01-01
      • 2013-06-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多