【问题标题】:Local CSV file load to snowflake table本地 CSV 文件加载到雪花表
【发布时间】:2021-09-09 15:33:02
【问题描述】:

如何在不使用任何调度程序的情况下每天将 csv 文件加载到内部阶段的任务...源是本地文件路径,目标是雪花表

【问题讨论】:

  • 您能否阐明在没有任何调度程序的情况下安排任务 的含义?要按计划(每天)加载某些内容,您很可能需要一个调度程序。因此,要从本地路径加载文件,您可以使用 SnowSQL 与 cron 作业的组合将该文件 PUT 到 Snowflake 中的阶段。

标签: snowflake-cloud-data-platform


【解决方案1】:

您是否使用 auto_ingest 探索过 Snowpipe?

您设置了一个通知服务,在 AWS 上,这是 SQS 和 SNS 的组合,它调用 Snowpipe 来摄取新文件。

https://docs.snowflake.com/en/user-guide/data-load-snowpipe-auto-s3.html

Azure 会有类似的东西

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-09-27
    • 2020-04-21
    • 2021-09-03
    • 2022-12-06
    • 2020-11-13
    • 1970-01-01
    • 2022-01-08
    • 1970-01-01
    相关资源
    最近更新 更多