我有一个这样的输入文件
1234AA11BB4321BS33XY...
我想把它拆分成这样的单个消息
Message 1: 1234AA11BB
Message 2: 4321BS33XY
将记录转换为 Java 对象，使用 jaxb 将它们编组为 xml，并在传出消息中聚合大约 1000 条记录。
转换和编组没问题，但我不能拆分上面的字符串。 没有分隔符，只有长度。每条记录的长度正好是 10 个字符。 我想知道是否有像
这样的开箱即用解决方案split(body().tokenizeBySize(10)).streaming()
由于实际上每条记录由 300 个字符组成，并且文件中可能有 500.000 条记录，因此我想拆分一个 InputStream。
在其他示例中，我看到了用于拆分的自定义迭代器，但它们都基于令牌或 xml。
有什么想法吗？
顺便说一句，我们绑定到 Java 6 和 camel 2.13.4
谢谢 尼克
【问题讨论】：
标签： java apache-camel
最简单的方法是用空字符串分割 - .split().tokenize("", 10).streaming() - 这意味着标记器将获取每个字符 - 并将 10 个标记（字符）组合在一起，然后将它们聚合到一个组中，例如
@Override
public void configure() throws Exception {
from("file:src/data?delay=3000&noop=true")
.split().tokenize("", 10).streaming()
.aggregate().constant(true) // all messages have the same correlator
.aggregationStrategy(new GroupedMessageAggregationStrategy())
.completionSize(1000)
.completionTimeout(5000) // use a timeout or a predicate
// to know when to stop
.process(new Processor() { // process the aggregate
@Override
public void process(final Exchange e) throws Exception {
final List<Message> aggregatedMessages =
(List<Message>) e.getIn().getBody();
StringBuilder builder = new StringBuilder();
for (Message message : aggregatedMessages) {
builder.append(message.getBody()).append("-");
}
e.getIn().setBody(builder.toString());
}
})
.log("Got ${body}")
.delay(2000);
}
编辑
这是我在流模式下的内存消耗，100MB 文件延迟 2 秒：
【讨论】：
java.util.Scanner 创建了一个 GroupTokenIterator，它一次被缓冲并流式传输 8KB。但是，您将（并且应该）在内存中看到很多 char[]s，因为 Camel 将为每个组实例化一个新数组并等到收集到 1000 个组，并且在内存已满之前 GC 不会触发。跨度>
.log() 步骤之后添加一个 .delay(5000) 步骤并打开 jconsole 并跟踪内存消耗 - 您会看到内存正在缓慢填充而不是立即。
为什么不让一个普通的java类做拆分和引用呢？看这里： http://camel.apache.org/splitter.html
取自文档的代码示例。
下面的java dsl使用“方法”来调用单独类中定义的split方法。
from("direct:body")
// here we use a POJO bean mySplitterBean to do the split of the payload
.split().method("mySplitterBean", "splitBody")
在下面定义拆分器并返回每个拆分消息。
public class MySplitterBean {
/**
* The split body method returns something that is iteratable such as a java.util.List.
*
* @param body the payload of the incoming message
* @return a list containing each part splitted
*/
public List<String> splitBody(String body) {
// since this is based on an unit test you can of cause
// use different logic for splitting as Camel have out
// of the box support for splitting a String based on comma
// but this is for show and tell, since this is java code
// you have the full power how you like to split your messages
List<String> answer = new ArrayList<String>();
String[] parts = body.split(",");
for (String part : parts) {
answer.add(part);
}
return answer;
}
【讨论】：