【发布时间】:2017-05-26 09:47:03
【问题描述】:
如何在 Windows 操作系统的单节点上运行 Apache Storm?谁能提供一个链接?
【问题讨论】:
标签: streaming apache-storm bigdata
如何在 Windows 操作系统的单节点上运行 Apache Storm?谁能提供一个链接?
【问题讨论】:
标签: streaming apache-storm bigdata
安装 Java
下载并安装 JDK(Storm 可与 Oracle 和 OpenJDK 6/7 兼容)。对于这个设置,我使用了 Oracle 的 JDK 7。
我将 Java 安装在:
C:\Java\jdk1.7.0_45\
安装 Python
为了测试安装,我们将部署 Storm-starter 项目中的“字数统计”示例,该示例使用 Python 编写的多语言 Bolt。我用的是python 2.7.6,可以在这里下载。
我将python安装在:
C:\Python27\
安装并运行 Zookeeper
下载 Apache Zookeeper 3.3.6 并解压。使用以下命令配置和运行 Zookeeper:
> cd zookeeper-3.3.6
> copy conf\zoo_sample.cfg conf\zoo.cfg
> .\bin\zkServer.cmd
安装 Storm
允许 Storm 在 Windows 上无缝运行的更改尚未正式发布,但您可以在此处下载包含这些更改的构建。
(可以在此处找到该构建的源分支)。
将该文件解压缩到您选择的位置。我选择了 C:。
配置环境变量
在 Windows Storm 上需要设置 STORM_HOME 和 JAVA_HOME 环境变量,以及对 PATH 变量的一些补充:
JAVA_HOME:
C:\Java\jdk1.7.0_45\
STORM_HOME:
C:\storm-0.9.1-incubating-SNAPSHOT-12182013\
PATH: (add)
%STORM_HOME%\bin;%JAVA_HOME%\bin;C:\Python27;C:\Python27\Lib\site-packages\;C:\Python27\Scripts\;
PATHEXT: (add)
.PY
启动 Nimbus、Supervisor 和 Storm UI 守护进程
为每个守护进程打开一个单独的命令提示符。
雨云
cd %STORM_HOME% 风暴雨云 主管
cd %STORM_HOME% 风暴主管 风暴界面
cd %STORM_HOME% 风暴用户界面 通过在浏览器中打开 http://localhost:8080/ 来验证 Storm 是否正在运行。
部署“字数”拓扑
要么从源代码构建storm-starter项目,要么下载预构建的jar
使用storm jar 命令将字数统计拓扑部署到本地集群:
storm jarstorm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jarstorm.starter.WordCountTopology WordCount -c nimbus.host=localhost
【讨论】: