点击有惊喜


0. 序言

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群,并运行Storm作业消费Kafka数据。

1. 准备环境

这里我选择在杭州Region进行测试,版本选择EMR-3.8.0,本次测试需要的组件版本有:

  • Kafka:2.11_1.0.0
  • Storm: 1.0.1

E-MapReduce的集群管理界面地址:https://emr.console.aliyun.com/console#/cn-hangzhou/

1.1 创建Hadoop集群

由于Zookeeper和Storm组件默认不是必选的,所以在创建集群时需要记得勾选上,如下:
如何在E-MapReduce上提交Storm作业处理Kafka数据

详细创建集群步骤,请参考E-MapReduce-用户指南-集群一节。

1.2 创建Kafka集群

接着创建Kafka集群,集群类型选择Kafka,如下:
如何在E-MapReduce上提交Storm作业处理Kafka数据

注意:

  • 如果使用经典网络,请注意将Hadoop集群和Kafka集群放置在同一个安全组下面,这样可以省去配置安全组,避免网络不通的问题。
  • 如果使用VPC网络,请注意将Hadoop集群和Kafka集群放置在同一个VPC/VSwitch以及安全组下面,这样同样省去配置网路和安全组,避免网络不通。
  • 如果你熟悉ECS的网络和安全组,可以按需配置。

点击有惊喜

如何在E-MapReduce上提交Storm作业处理Kafka数据

相关文章:

  • 2021-10-01
  • 2021-09-10
  • 2021-07-14
  • 2021-08-26
  • 2022-02-13
  • 2021-12-25
  • 2021-07-27
猜你喜欢
  • 2021-06-17
  • 2021-11-23
  • 2021-11-04
  • 2021-05-02
  • 2021-10-19
相关资源
相似解决方案