【问题标题】:How do I setup a streamed set of SQL Inserts in Apache Camel如何在 Apache Camel 中设置一组流式 SQL 插入
【发布时间】:2018-08-08 18:15:57
【问题描述】:

我有一个包含超过 300 万行管道分隔行的文件,我想将其插入到数据库中。它是一个简单的表格(不需要标准化)

设置路径以监视文件,使用流模式读取文件并拆分行很容易。向表中插入行也将是一项简单的接线工作。

问题是:如何使用批量插入来做到这一点?假设 1000 行是最佳的。鉴于文件是流式传输的,SQL 组件如何知道流已经完成。假设该文件有 3,000,001 条记录。如何设置 Camel 以插入最后一条流浪记录?

可以一次插入一行 - 但这会非常慢。

【问题讨论】:

  • 最后我无法使用 Camel - 最后使用超时感觉很不稳定,我无法让它以任何其他方式工作。我使用了一个简单的 BufferedLineReader 和 Spring 模板,一次批处理 1000 行。性能确实非常好。

标签: apache-camel


【解决方案1】:

我会推荐这样的东西:

from("file:....")
    .split("\n").streaming()
        .to("any work for individual level")
        .aggregate(body(), new MyAggregationStrategy().completionSize(1000).completionTimeout(50)
            .to(sql:......);

我没有验证所有语法,但计划是抓取文件并用流拆分它,然后聚合 1000 个组,并有一个超时时间来捕获最后一个较小的组。这些聚合组可以简单地使正文成为字符串列表或批处理 sql 插入所需的任何格式。

【讨论】:

  • 谢谢。这就是我现在正在尝试的。棘手的一点是检测流的结束,使用超时是可以的,但我正在考虑在处理之前将结束标记附加到输入文件,以便我可以检测到并设置适当的标题
  • 超时确实感觉不干净。我想知道是否有人有更好的方法?
【解决方案2】:

这里是更准确的例子:

@Component
@Slf4j
public class SQLRoute extends RouteBuilder {

  @Autowired
  ListAggregationStrategy aggregationStrategy;

  @Override
  public void configure() throws Exception {
    from("timer://runOnce?repeatCount=1&delay=0")
        .to("sql:classpath:sql/orders.sql?outputType=StreamList")
        .split(body()).streaming()
          .aggregate(constant(1), aggregationStrategy).completionSize(1000).completionTimeout(500)
            .to("log:batch")
            .to("google-bigquery:google_project:import:orders")
          .end()
        .end();
  }

  @Component
  class ListAggregationStrategy implements AggregationStrategy {

    public Exchange aggregate(Exchange oldExchange, Exchange newExchange) {
      List rows = null;

      if (oldExchange == null) {
        // First row ->
        rows = new LinkedList();
        rows.add(newExchange.getMessage().getBody());
        newExchange.getMessage().setBody(rows);
        return newExchange;
      }

      rows = oldExchange.getIn().getBody(List.class);
      Map newRow = newExchange.getIn().getBody(Map.class);

      log.debug("Current rows count: {} ", rows.size());
      log.debug("Adding new row: {}", newRow);

      rows.add(newRow);
      oldExchange.getIn().setBody(rows);

      return oldExchange;
    }
  }
}

【讨论】:

  • 这个也有超时来“完成”流可以这么说。
【解决方案3】:

这可以使用 Camel-Spring-batch 组件来完成。 http://camel.apache.org/springbatch.html ,每个步骤的提交量可以由 commitInterval 定义,并且作业的编排在 spring 配置中定义。对于与您的要求类似的用例,它非常适用。 这是来自 github 的一个很好的例子:https://github.com/hekonsek/fuse-pocs/tree/master/fuse-pocs-springdm-springbatch/fuse-pocs-springdm-springbatch-bundle/src/main

【讨论】:

  • 感谢您的回复,但不确定这如何解决我的流媒体问题。批处理框架如何解决流入数据库的流问题?我知道如何使用常规 Spring 设置批处理 - 设置起来非常容易。但是在从文件流式传输时这样做对我来说并不明显。
  • 同意这是 2 种完全不同的方法,将 spring 批处理作为单独的路由,而不是来自 camel:file 端点,然后是 FlatFileItemReader :docs.spring.io/spring-batch/2.1.x/apidocs/org/springframework/…,流式传输文件,仅当流式传输完成时流被交给处理器,随后被保存到数据库的写入器,这样就避免了流问题。然而,甚至不完全确定这两种方法的结合将如何发挥作用。
  • 我明白了。不幸的是,我需要流式传输方法,因为文件只会变得更大,并且我想减小 VM 的大小。如果我不需要担心流式传输,我只需使用 Bindy 放入一个列表,然后发送到处理器为我拆分成块。谢谢
猜你喜欢
  • 2017-03-20
  • 2014-08-01
  • 2012-06-02
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多