【问题标题】:how can i bring data from static websites to HDFS?如何将数据从静态网站带到 HDFS?
【发布时间】:2016-01-07 06:54:36
【问题描述】:

还有哪些其他可用的框架,例如 spring XD、Flume?其中哪一个是最好的;请告知携带数据的步骤。

【问题讨论】:

  • 我需要遵循哪些步骤才能从静态站点获取 hdfs 中的数据。我在 cloudera 有卡夫卡

标签: hadoop spring-xd flume-twitter


【解决方案1】:
  • 使用 NUTCH
  • 使用 Kafka 水槽
  • 使用弹簧 xd
  • scraper import.io
  • 生产者消费者的java程序

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多