【问题标题】:Oracle Blob object ingestion into SnowflakeOracle Blob 对象摄取到 Snowflake
【发布时间】:2020-03-16 19:11:53
【问题描述】:

所以我知道 Snowflake 并没有真正的 Oracle Blob 等价物,但我只是好奇其他人如何解决在他们的数据仓库中拥有来自 Oracle 的 Blob 数据的需求?特别是 VARCHAR 的一般 16MB 限制和 Binary 的 8MB 限制是不够的。

【问题讨论】:

  • 这取决于你如何使用它。您没有在 blob 上运行分析查询,对吧?我建议将 blob 放在实际的 blob 存储中(而不是在数据库中),并使用反映表键的文件名。
  • 不是 Oracle Blob,但我们有 PostgreSQL BYTEA 数据,我将其作为 BASE64 编码字符串加载,然后在 Javascript UDF 中解码(它是编码数据,所以我只是将其解压缩为 JSON 对象) 然后真是太棒了。但它远未达到极限……可能已在 2MB 范围内达到顶峰。
  • @Nick.McDermaid 这也是我能想到的唯一解决方案。谢谢。
  • @SimeonPilgrim 是的,我们所做的任何我们知道的事情都不会达到极限,但我们终于遇到了一个做到了
  • 我的意思是这甚至不是一种解决方法。这些斑点实际上是如何使用的?您不想运行依赖于 blob 的某些子组件的关系查询。通常 blob 是 Word 文档和图片之类的东西。因此,您有一个属于并存在于数据库中的数据库记录,并获得所有 ACID 好东西。而且您有一个位于单独的 blob 存储中的 blob,并且您有一个将两者放在一起的前端应用程序。您没有要求 blob 被 ACID 覆盖或参与 SELECT 查询。

标签: oracle blob snowflake-cloud-data-platform


【解决方案1】:

这些是我遇到的一些示例,“特别是 VARCHAR 的一般 16MB 限制和 Binary 的 8MB 限制是不够的”

  1. Storing ore that 16mb data in Snowflake - 16mb 的压缩数据变体
  2. How To Load Data Into Snowflake – Snowflake Data Load Best Practices - 使用 Snowflake 舞台是计划上传的好方法

【讨论】:

猜你喜欢
  • 1970-01-01
  • 2012-09-29
  • 1970-01-01
  • 2020-06-13
  • 1970-01-01
  • 1970-01-01
  • 2020-03-03
  • 2010-09-27
  • 1970-01-01
相关资源
最近更新 更多