【问题标题】:Could anyone please explain what is c000 means in c000.snappy.parquet or c000.snappy.orc??谁能解释一下 c000.snappy.parquet 或 c000.snappy.orc 中的 c000 是什么意思?
【发布时间】:2018-03-08 16:18:37
【问题描述】:

我已经搜索了所有文档,但仍然没有找到为什么在以下文件命名约定中有前缀以及 c000 是什么:

文件:/Users/stephen/p/spark/f1/part-00000-445036f9-7a40-4333-8405-8451faa44319- c000.snappy.parquet

【问题讨论】:

  • 也许是组合器?查看任何输出信息的代码会很有用

标签: hadoop apache-spark hive parquet orc


【解决方案1】:

您应该使用“谈话很便宜,给我看代码”。方法。一切都没有记录,一种方法就是代码。

考虑 part-1-2_3-4.parquet :

  1. 分割/分区号。

  2. 随机 UUID 以防止不同(附加)写入作业之间发生冲突。

  3. 唯一的作业/任务 ID(有时不包括在内)。
  4. “c”代表计数。这是文件计数器,表示过去为此特定分区写入的文件数。这用于限制为单个文件写入的最大记录数。该值应从 0 开始。

我是根据this codethis code找到的。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2019-12-15
    • 2015-01-06
    • 1970-01-01
    • 2019-06-08
    • 1970-01-01
    • 1970-01-01
    • 2020-12-26
    相关资源
    最近更新 更多