【问题标题】:difference between dcos-kafka-service and mesos-kafkadcos-kafka-service 和 mesos-kafka 的区别
【发布时间】:2017-11-09 04:46:17
【问题描述】:

我正在做一个 POC 来将 Kafka 部署为 Mesos 集群上的应用程序。我在 github 上遇到了这两个代码库。一种由 apache-mesos (github page) 开发,另一种由 mesosphere 开发,只能在 DCOS (github page) 上运行。

问题:想知道 DCOS-Kafka 和 mesos-Kafka 在特性和扩展功能方面是否有任何区别。

关于 Mesos-Kafka: 在过去的几个月里,我没有看到 mesos-kafka 在 github 上的积极参与(以及一些未解决的问题)。我可以假设该服务足够强大,可以在生产环境中使用吗?对此的任何输入都会有所帮助。

【问题讨论】:

    标签: apache-kafka mesos mesosphere dcos


    【解决方案1】:

    kakfa-mesos 是一个包含 Kafka 版本和自定义 mesos 调度程序的软件包,旨在解决在 Marathon 上将 Kafka 作为有状态服务运行的问题。我认为post 但融合很有用。它还包括一个用于执行操作任务的 RESTful api,并旨在将来包含这些功能(这是从我链接的文章中提取的)

    • 将 Kafka 命令(例如 kafka-topics 等)集成到调度程序中,以便可以通过 CLI 和 REST API 使用它。
    • 自动扩展集群(包括自动重新分配分区),以便代理正在使用的资源(CPU、RAM 等)可以在已知流量低谷的其他地方使用。
    • 用于容错的机架感知分区分配。
    • 挂钩,以便生产者和消费者也可以从调度程序启动并使用集群进行管理。
    • 根据负载和流量自动重新分配分区

    我自己没有在生产环境中使用过它,但它得到了 Confluent 的支持,这是一个好兆头。

    另一方面,DC/OS Kafka 是一种 DC/OS 服务,它可能仅在您已经通过 Mesosphere 的 DC/OS 运行或计划运行服务时才有用。它还包括一个 API 和一个 CLI 管理工具,但在附加功能方面没有那么雄心勃勃。它当前的功能集包括

    • 用于快速配置的单命令安装
    • 使用 DC/OS 实现多租户的多个集群
    • 高可用性运行时配置和软件更新
    • 用于增强数据持久性的存储卷,称为 Mesos Dynamic * * Reservations 和 Persistent Volumes
    • 与兼容 syslog 的日志记录服务集成以进行诊断和故障排除
    • 与 statsd 兼容的指标服务集成,用于容量和性能监控

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2016-07-11
      • 2020-07-25
      • 2023-03-02
      • 1970-01-01
      • 2018-12-07
      • 2016-10-25
      • 1970-01-01
      • 2020-11-19
      相关资源
      最近更新 更多