设置校园工作的频率答案

【问题标题】：Setting frequecy for Camus jobs设置校园工作的频率
【发布时间】：2016-02-06 04:50:13
【问题描述】：

我刚开始接触加缪。我计划每小时运行一次加缪工作。我们每小时收到约 80000000 条消息（平均大小约 4KB）。

如何设置以下属性：

# max historical time that will be pulled from each partition based on event timestamp
kafka.max.pull.hrs=1
# events with a timestamp older than this will be discarded.
kafka.max.historical.days=3

我无法清楚地辨认出这些配置。我应该将天数设为 1 并将小时数属性设为 2 吗？ camus 是如何提取数据的？我经常还会看到以下错误：

ERROR kafka.CamusJob: Offset range from kafka metadata is outside the previously persisted offset

Please check whether kafka cluster configuration is correct. You can also specify config parameter: kafka.move.to.earliest.offset to start processing from earliest kafka metadata offset.

如何正确设置配置以每小时运行一次并避免该错误？

【问题讨论】：

标签： camus

【解决方案1】：

“来自 kafka 元数据的偏移范围超出了先前保留的偏移量。”

表示你的抓取速度不如kafka的修剪速度。

kafka 的剪枝由 log.retention.hours 定义。

第一个选项：通过更改“log.retention.hours”来增加保留时间

第二个选项：以更高的频率运行它。

第三个选项：在你的 camus 工作中设置 kafka.move.to.earliest.offset=true。此属性将强制 camus 从当前存在于 kafka 中的最早偏移量开始消费。但这可能会导致数据丢失，因为我们没有考虑到我们无法获取的修剪数据。

【讨论】：