用于在 hortonworks 上配置风暴拓扑和 kafka 的属性文件答案

【问题标题】：properties file to configurate storm topology and kafka on hortonworks用于在 hortonworks 上配置风暴拓扑和 kafka 的属性文件
【发布时间】：2016-08-31 15:49:36
【问题描述】：

我正在使用 hortonworks 上的 Storm 在 Hbase 和 Hive 中进行实时数据摄取，并且我开发了 Storm 拓扑以从 kafka 代理接收数据，拓扑已提交我可以看到我的 kafkaspout 和我的两个螺栓，但是，我不知道为什么我的kafkaSpout 不使用来自 Kafka Brokers 的消息，但是当我可视化拓扑时：0% 数据已被消耗！！

我的hdfsbolt 也有错误：

java.lang.RuntimeException: Error preparing HdfsBolt: Permission denied: user=storm, access=WRITE, inode="/infos-cliens-v4/staging/infosClientshdfsBolt-4-0-1462472414665.txt":hdfs:hdfs:drwxr-xr-x at

我的@ip 是192.168.1.78

我想我必须修复属性文件，但我不知道如何：

#Broker host
  kafka.zookeeper.host.port=localhost
    #Kafka topic to consume.
    kafka.topic=TOPICINFORMATIONSCLIENTS
    #Location in ZK for the Kafka spout to store state.
    kafka.zkRoot=/infos_clients_sprout
    #Kafka Spout Executors.
    spout.thread.count=1

    #hdfs bolt settings
    hdfs.path=/infos-cliens-v4
    hdfs.url=hdfs://sandbox.hortonworks.com:8020
    hdfs.file.prefix=infosClients
    #data will be moved from hdfs to the hive partition
    #on the first write after the 1st minute.
    hdfs.file.rotation.time.minutes=1

    #hbase bolt settings
    hbase.persist.all.events=false


    PLZ Help me

【问题讨论】：

标签： java hive hbase apache-kafka apache-storm

【解决方案1】：

你的用户是

风暴

但是写入的目录归 HDFS 所有。因此，更改该目录的用户权限并使用

以用户身份进行风暴

chown

命令。

首先使用 java 代码检查您是否能够连接到 Hbase。然后在 Storm 拓扑中测试相同的逻辑。

【讨论】：

感谢我作为用户制造了风暴，但我的 kafka spout 不消耗消息，我不知道为什么
仔细检查正确的主题名称、IP 或主机名等...您是否检查了 Storm 和 Kafka 日志中的错误消息？ .另请参阅 STORM UI 以获取任何线索。谢谢
@Property zk.connect 无效 SLF4J：无法加载类“org.slf4j.impl.StaticLoggerBinder”。
SLF4J：默认为无操作 (NOP) 记录器实现 SLF4J：有关详细信息，请参阅 slf4j.org/codes.html#StaticLoggerBinder。
16/05/07 10:27:09 警告 common.AppInfo$：无法从 MANIFEST.MF 读取 Kafka 版本。可能原因：java.lang.NullPointerException

【解决方案2】：

@Property zk.connect is not valid                                                                  
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".                                                                                     
SLF4J: Defaulting to no-operation (NOP) logger implementation                                                                                        
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.                                                                   
16/05/07 10:27:09 WARN common.AppInfo$: Can't read Kafka version from MANIFEST.MF. Possible cause: java.lang.NullPointerException              

  enter code here

【讨论】：