带有 Kafka 的 Apache Mesos 代理答案

【问题标题】：Apache Mesos Agent with Kafka带有 Kafka 的 Apache Mesos 代理
【发布时间】：2015-10-14 20:53:46
【问题描述】：

我正在努力将 Mesos 与 Kafka 集成，根据 git hub 文档调度程序可以在安装了 mesos 和 kafka 的独立机器上运行，并且可以在配置注册到 mesos-master 的帮助下完成。

我们如何通过调度程序在代理上运行代理以及在代理上运行代理需要什么配置？

【问题讨论】：

Mesos Kafka 的文档实际上提供了很多信息 - github.com/mesos/kafka#scheduler-configuration 您需要构建项目，下载您希望启动的 Kafka 发行版，并将其放置在您将启动调度程序的同一目录中。然后您可以通过 CLI 添加/启动代理

标签： apache-kafka mesos mesosphere

【解决方案1】：

如果您已经在使用 Docker，则可以按照

中的说明使用 Docker 映像

https://github.com/mesos/kafka/tree/master/src/docker#intro

您可以使用 Marathon 启动 Kafka 调度程序映像，然后使用 REST API 或 CLI 启动代理/主题。

实际代理的调度将由 Mesos 软件本身完成。通过定义的 Zookeeper 节点名称使用代理。

【讨论】：

【解决方案2】：

谢谢，我能够通过 shell 和 docker 运行调度程序。不过我有两个问题

sudo docker run -t -p 5900:5900 --net=host root/kafka-mesos ./kafka-mesos.sh \ 
  scheduler --master=192.168.1.115:5050 --zk=192.168.1.115:2181 \
  --api=http://192.168.1.118:5900 --storage=zk:/kafka-mesos \
  --log=/var/log/mesos.log --debug=true

我在 marathon 中使用上述命令来运行容器，如果我删除 --net=host 调度注册到 docker 容器 ip 与 master 但在添加 --net=host 后它使用代理的 ip 并将其转发到 docker 容器。有没有更好的办法？

第二个问题是我们可以在一个 mesos 集群中启动多少个调度器，比如 3 个主 5 个代理，即我们可以扩展或支持调度器集群吗？

【讨论】：