本文演示如何在E-MapReduce上部署Storm集群和Kafka集群,并运行Storm作业消费Kafka数据。

环境准备

本文选择在杭州Region进行测试,版本选择EMR-3.8.0,本次测试需要的组件版本有:

  • Kafka:2.11_1.0.0
  • Storm: 1.0.1

本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参考创建集群

  • 创建Hadoop集群
    使用E-MapReduce提交Storm作业处理Kafka数据
  • 创建Kafka集群
    使用E-MapReduce提交Storm作业处理Kafka数据

    说明

    • 如果使用经典网络,请注意将Hadoop集群和Kafka集群放置在同一个安全组下面,这样可以省去配置安全组,避免网络不通的问题。
    • 如果使用VPC网络,请注意将Hadoop集群和Kafka集群放置在同一个VPC/VSwitch以及安全组下面,这样同样省去配置网路和安全组,避免网络不通。
    • 如果你熟悉ECS的网络和安全组,可以按需配置。

原文链接

相关文章:

  • 2021-09-10
  • 2021-07-14
  • 2022-12-23
  • 2021-12-25
  • 2021-11-04
  • 2021-04-08
  • 2022-02-21
猜你喜欢
  • 2021-06-18
  • 2021-05-02
  • 2021-10-19
  • 2021-11-23
  • 2021-10-01
相关资源
相似解决方案