Pinot 批量摄取删除旧数据答案

【问题标题】：Pinot batch ingestion removing old dataPinot 批量摄取删除旧数据
【发布时间】：2022-07-19 09:34:32
【问题描述】：

我正在玩 Pinot，并已使用 ./bin/pinot-admin.sh QuickStart -type batch 在本地进行设置，并且还添加了一个包含单个多值列（命名值）的表。

我现在创建了一个包含以下数据的 csv 文件（注意：我使用 '-' 作为分隔符多值）

values
a-b
a
b

并使用具有以下作业规范的独立批量摄取来摄取它：

executionFrameworkSpec:
  name: 'standalone'
  segmentGenerationJobRunnerClassName: 'org.apache.pinot.plugin.ingestion.batch.standalone.SegmentGenerationJobRunner'
  segmentTarPushJobRunnerClassName: 'org.apache.pinot.plugin.ingestion.batch.standalone.SegmentTarPushJobRunner'
  segmentUriPushJobRunnerClassName: 'org.apache.pinot.plugin.ingestion.batch.standalone.SegmentUriPushJobRunner'
  segmentMetadataPushJobRunnerClassName: 'org.apache.pinot.plugin.ingestion.batch.standalone.SegmentMetadataPushJobRunner'

# Recommended to set jobType to SegmentCreationAndMetadataPush for production environment where Pinot Deep Store is configured  
jobType: SegmentCreationAndTarPush

inputDirURI: '.'
includeFileNamePattern: 'glob:**/*.csv'
outputDirURI: './csv/segments/'
overwriteOutput: true
pinotFSSpecs:
  - scheme: file
    className: org.apache.pinot.spi.filesystem.LocalPinotFS
recordReaderSpec:
  dataFormat: 'csv'
  className: 'org.apache.pinot.plugin.inputformat.csv.CSVRecordReader'
  configClassName: 'org.apache.pinot.plugin.inputformat.csv.CSVRecordReaderConfig'
  configs:
     multiValueDelimiter: '-'
tableSpec:
  tableName: 'exp'
pinotClusterSpecs:
  - controllerURI: 'http://localhost:9000'
pushJobSpec:
  pushAttempts: 2
  pushRetryIntervalMillis: 1000

现在我第一次使用 ./bin/pinot-admin.sh LaunchDataIngestionJob -jobSpecFile ingestion-job.yaml 添加数据时，我看到了表中的所有三个值，现在我再次使用作业添加相同的值，但我没有看到 6 行，而是我仍然看到3 行。然后，我尝试将 csv 文件更改为具有值 x 的单行，当我启动该作业时，它只显示单行。好像每次我运行摄取作业时，以前的数据都会被删除，而摄取的数据是唯一剩下的。

我希望批量摄取来添加数据，我在哪里遗漏了什么？

【问题讨论】：

标签： apache-pinot

【解决方案1】：

这里可能很大，但您是否尝试过将以下配置设置为 APPEND：

 "batchIngestionConfig": {
      "segmentIngestionType": "APPEND",
      "segmentIngestionFrequency": "DAILY"
    }

【讨论】：