Solace 源连接器“tasks.max”如何连接到队列？答案

【问题标题】：How does a Solace source connector "tasks.max" connect to a queue?Solace 源连接器“tasks.max”如何连接到队列？
【发布时间】：2019-04-05 21:27:57
【问题描述】：

我们正在实现一个 Kafka 主题，它是一个 3 机器集群。我们将退出一个 Solace 队列，并且想知道 tasks.max 参数的作用以及它如何划分消息。我们无权访问安慰队列，只能调用并查看我们是否正在从缓冲区中删除消息。任何见解都会很棒！ hornetQ 中的当前系统，它正在运行 5 个线程。

环境：

分布式模式
1 个主题
3 个副本
每台机器 5 个分区

Solace-kafka-connector-source-master

我们已经在一个单独的任务中单独尝试过它并且它可以工作。由于我们不控制安慰队列，因此我们可以查看是否正在丢弃消息。

{
    "name": "solaceSourceConnector",
    "config": {
        "connector.class":
"com.solace.source.connector.SolaceSourceConnector",
        "tasks.max": "1",
        "kafka.topic": "solacetest",
        "sol.host": "HOSTNAME",
        "sol.username": "USERNAME",
        "sol.password": "PASSWORD",
        "sol.vpn_name": "VPN IP",
        "sol.topics": "soltest, soltest1,solacetest2",
        "sol.queue": "testQ",
        "sol.message_processor_class": "com.solace.source.connector.msgProcessors.SolaceSampleKeyedMessageProcessor",
        "sol.generate_send_timestamps": "true",
        "sol.generate_rcv_timestamps": "true",
        "sol.sub_ack_window_size": "255",
        "sol.generate_sequence_numbers": "true",
        "sol.calculate_message_expiration": "true",
        "sol.subscriber_dto_override": "true",
        "sol.channel_properties.connect_retries": "-1",
        "sol.channel_properties.reconnect_retries": "-1",
        "sol.kafka_message_key": "DESTINATION",
        "sol.ssl_trust_store": "/opt/PKI/skeltonCA/heinz1.ts",
        "sol.ssl_trust_store_pasword": "sasquatch",
        "sol.ssl_trust_store_format": "JKS",
        "sol.ssl_key_store": "/opt/PKI/skeltonCA/heinz1.ks",
        "sol.ssl_key_store_password": "sasquatch",
        "sol.ssl_key_store_format": "JKS",
        "sol.ssl_key_store_normalized_format": "JKS",
        "sol.ssl_private_key_alias": "heinz1",
        "sol.ssl_private_key_password": "sasquatch"
    }

}

我正在努力做到这一点，这样我们就不会在缓冲区中丢失消息。

【问题讨论】：

标签： java apache-kafka apache-kafka-connect solace

【解决方案1】：

max.tasks 1 将与独占队列一起使用，因为这种 Solace 队列只能有一个活动订阅者。它还将保证消息顺序从 Solace 保留到 Kafka。

如果 Solace 队列是非独占（即共享）队列，则增加 max.tasks 将定义从队列中消费的并发 Solace 客户端数量的上限。这允许使用队列中的多个消费者进行水平扩展，以获得更好的吞吐量。但是，Solace 不保证非独占队列的多个消费者之间的消息顺序，因此可能不会保留消息顺序。

在任何一种情况下，消息都不会丢失，因为它们没有被确认回 Solace 并被删除，直到它们成功确认已写入 Kafka。

【讨论】：