Caused by: java.lang.IllegalStateException: Unable to add FlumeEventPointer [fileID=25, offset=1000217047]. Queue depth = 100000, Capacity = 100000

 

原因:checkpoint文件夹,不为空。

解决:设置空的checkpoint文件夹。或删除checkpoint文件夹下的内容。

 

java.lang.OutOfMemoryError: Java heap space

原因:java堆内存默认20m,数据量大时oom。

解决:

export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

并且在flume启动脚本flume-ng中,修改JAVA_OPTS="-Xmx20m"为JAVA_OPTS="-Xmx2048m"
cdh可以直接在cdh manager中设置flume的java堆内存。

 

java.lang.IllegalStateException: File Channel transaction capacity cannot be greater than the capacity of the channel.
transaction capacity应当小于capacity of the channel.

 

相关文章:

  • 2021-09-24
  • 2021-04-14
  • 2021-12-28
  • 2021-12-24
  • 2021-08-31
  • 2021-11-13
  • 2021-06-18
  • 2021-04-15
猜你喜欢
  • 2022-12-23
  • 2022-01-17
  • 2021-03-31
  • 2022-01-12
  • 2021-12-09
  • 2022-01-28
  • 2021-06-14
相关资源
相似解决方案