【问题标题】:Apache Drill check structure of files in directoryApache Drill检查目录中文件的结构
【发布时间】:2015-12-21 23:43:13
【问题描述】:

我正在使用 java 代码中的 Apache Drill。 Drill 能够以一堆文件作为一个表来查询目录。但是如果目录中的文件具有不同的结构查询将失败。我知道,具有不同结构的文件的用例查询目录不是很常见,但是是否有任何内置函数或查询允许我在对目录进行任何实际查询之前检查目录中的所有文件是否具有相同的结构?

我明白我可以做的很简单

select * from path.to.directory limit 1;

并捕获异常,但我正在搜索 Drill 内置函数。我在文档中搜索,但没有找到任何东西。

【问题讨论】:

  • 你需要检查什么结构/格式?
  • 一般 - 任何格式。但为简单起见,让它成为文本格式,json 或 csv

标签: java apache-drill


【解决方案1】:

似乎没有开箱即用的功能在使用前检查数据存储。这对我来说并不奇怪。例如,如果您考虑关系数据库,则不会在每次执行选择时显式检查与数据库的连接或检查数据是否未损坏。

但是,如果您真的需要这个,您可以考虑编写对文件的临时检查或为此编写自定义钻取函数,如 here 所述。

【讨论】:

    猜你喜欢
    • 2018-02-25
    • 1970-01-01
    • 2016-05-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-03-08
    • 1970-01-01
    • 2012-11-17
    相关资源
    最近更新 更多