【问题标题】:Sending data from android/iOS app to Kafka or Hadoop将数据从 android/iOS 应用程序发送到 Kafka 或 Hadoop
【发布时间】:2018-10-28 18:01:26
【问题描述】:

要求: 使用 Kafka 将数据从 Android 应用程序或 iOS 应用程序发送到大数据生态系统并存储以进行实时分析或近乎实时的分析。

1- 如何将数据从 Android 应用程序发送到 Kafka(仅是 REST API 选项)?或者我们可以直接用App连接kafka。

【问题讨论】:

  • 请编辑问题以将其限制为具有足够详细信息的特定问题,以确定适当的答案。避免一次问多个不同的问题。请参阅“如何提问”页面以获得澄清此问题的帮助。
  • @SergeyKovalev:感谢您的建议,我现在只向其中一位提问。我找到了一些人问了多个问题的地方,所以我做到了。
  • 请记住 - 移动设备的连接非常不可靠,并且在切换网络时可能会丢失数据包或重复数据。您可以尝试一下,但处理长时间运行的连接可能会降低电池寿命。这与任何人从移动设备收集 MQ 消息的方式没有太大区别,如果他们是的话
  • @cricket_007:场景 - 用户打开了一个应用程序并对该应用程序执行了一些操作,例如发布消息。在这种情况下,我想对用户发布的数据进行一些实时分析。将数据存储在 RDBMS 中并进行分析会更好吗?我想像这样每天迁移到蜂巢进行更多分析。我正在寻找大数据生态系统中的东西。
  • 好的...您对使用 HTTP 到某些将数据转发到 Kafka 的服务有何反对?我的意思是——如果移动设备可以向 Kafka 发送数据,你如何保护任何其他随机人不通过连接到你的外部 Kafka 端口来生产(或消费)这些数据?

标签: android ios hadoop apache-kafka


【解决方案1】:

Kafka 有一个REST Proxy,因此您可以通过 HTTP 将消息从您的移动应用程序直接发送到 Kafka,然后在 Kafka 中进一步处理它们,将它们路由到 Hadoop 等。

免责声明:我为 Confluent 工作,他们领导开源 REST 代理的开发

【讨论】:

  • 这并没有真正解决 - 可以通过 App 直接连接到 kafka
  • 谢谢@Robin/@Cricket_007。我从您的建议中找到了一些解决方案,据我所知,REST 是连接应用程序的唯一方法
猜你喜欢
  • 1970-01-01
  • 2015-04-11
  • 1970-01-01
  • 2020-12-18
  • 2018-01-04
  • 1970-01-01
  • 2023-03-13
  • 1970-01-01
  • 2016-03-30
相关资源
最近更新 更多