【问题标题】:Can Apache arrow support infinite level nested struct?Apache箭头可以支持无限级嵌套结构吗?
【发布时间】:2019-08-21 05:25:04
【问题描述】:

在这个 Apache 箭头文档页面中https://arrow.apache.org/docs/format/Metadata.html 它似乎支持它。 有人会发布一些代码来显示无限级别的嵌套结构吗? 谢谢。

【问题讨论】:

  • 不仅仅是 c++ Aniket 我在标签中添加了 java 和 pyarrow。谢谢。
  • 您可能是指任意级别的嵌套,而不是无限的?否则请用“无限”解释你的理解。
  • 嗨 Uwe,我所说的“无限”是指在创建数据集之前,我们实际上并不知道那里会有多少层。对于给定的数据集,它仅包含有限数量的层。谢谢。
  • 对于单个箭头表或 RecordBatch,您必须提供固定数据的架构。当您的整个数据集(RecordBatches 的集合)具有不同的嵌套级别时,您必须在编写数据集后合并模式。架构中没有占位符来指定未知部分。
  • 感谢 Uwe 的回答。

标签: java c++ pyarrow apache-arrow


【解决方案1】:

对于单个箭头表或 RecordBatch,您必须提供与数据一起固定的架构。当您的整体数据集(RecordBatches 的集合)具有不同的嵌套级别时,您必须在编写数据集后合并模式。模式中没有占位符来指定部分是未知的。 – Uwe L. Korn

【讨论】:

    猜你喜欢
    • 2017-02-22
    • 1970-01-01
    • 1970-01-01
    • 2013-09-22
    • 1970-01-01
    • 1970-01-01
    • 2012-07-11
    • 2011-07-07
    • 2016-07-26
    相关资源
    最近更新 更多