VictoriaMetrics 导入/回填历史数据答案

【问题标题】：VictoriaMetrics importing / backfilling historical dataVictoriaMetrics 导入/回填历史数据
【发布时间】：2022-11-28 06:34:48
【问题描述】：

我正在尝试将 6 个月的数据（当前为 CSV，但可以根据需要将其格式化为任何线路协议）文件导入/回填到 VictoriaMetrics 中，以便可以在 Grafana 中可视化。我尝试使用 write API 来推送历史指标，但数据没有显示。 VictoriaMetrics 日志中没有错误或异常，我可以确认数据也不存在。

我在我的机器上创建了一个 docker-compose 设置来进行调查。

version: '3'
services:
  vmagent:
    image: victoriametrics/vmagent
    depends_on:
      - "victoriametrics"
    volumes:
      - ./docker/vmagent/prometheus.yml:/etc/prometheus/prometheus.yml
    command:
      - "--promscrape.config=/etc/prometheus/prometheus.yml"
      - "--remoteWrite.url=http://victoriametrics:8428/api/v1/write"

  victoriametrics:
    image: victoriametrics/victoria-metrics
    entrypoint: /victoria-metrics-prod -search.disableCache -search.cacheTimestampOffset=1440000m0s -retentionPeriod=1440000m0s
    ports:
      - "8428:8428"

  grafana:
    image: grafana/grafana-enterprise
    environment:
      GF_AUTH_DISABLE_LOGIN_FORM: "true"
      GF_AUTH_ANONYMOUS_ENABLED: "true"
      GF_AUTH_ANONYMOUS_ORG_ROLE: Admin
    volumes:
      - ./docker/grafana/provisioning/:/etc/grafana/provisioning/
      - ./docker/grafana/dashboards/:/var/lib/grafana/dashboards/
    ports:
      - '3000:3000'

API调用示例

curl -X POST 'http://localhost:8428/write' -d 'measurement,label1="value1" lable2=32 1669258451474'
curl 'http://localhost:8428/internal/resetRollupResultCache'

这是一种有效的方法吗？

【问题讨论】：

标签： prometheus metrics telemetry victoriametrics

【解决方案1】：

是的，这是有效的方法，除了根据the specs，Influx 线路协议中的时间戳必须默认以纳秒为单位传递。只需在上面示例中的时间戳中添加 6 个零即可。

您可以通过 here 列出的支持的数据摄取协议将历史数据摄取到 VictoriaMetrics。请参阅下面的文档，其中包含有关如何通过支持的协议将数据提取到 VictoriaMetrics 的示例：

您可以通过导出 API 查询数据来检查数据是否已成功摄取 - 请参阅these docs。

当一些摄取的行包含格式不正确的数据时，VictoriaMetrics 返回“成功”响应，因为其他行可能包含正确的数据，因此它们被成功摄取到 VictoriaMetrics。因此，还建议在数据摄取期间查看 VictoriaMetrics 日志，因为 VictoriaMetrics 会在其中记录所有数据摄取错误。

【讨论】：