【问题标题】：Get the data from a REST API and store it in HDFS/HBase从 REST API 获取数据并将其存储在 HDFS/HBase 中
【发布时间】：2018-01-17 14:53:51
【问题描述】：
我是大数据的新手。我了解到 HDFS 用于存储更多结构化数据，而 HBase 用于存储非结构化数据。我有一个 REST API，我需要在其中获取数据并将其加载到数据仓库（HDFS/HBase）中。数据为 JSON 格式。那么将数据加载到哪个更好呢？ HDFS 还是 HBase？你也可以请你指导我一些教程来做到这一点。我遇到了这个关于Tutorial with Streaming Data。但我不确定这是否适合我的用例。
如果您能指导我使用特定的资源/技术来解决这个问题，那将是非常有帮助的。
【问题讨论】：
标签：
python
scala
rest
hadoop
hdfs
【解决方案1】：
有几个问题你需要考虑
您要处理批处理文件还是流式处理？这取决于请求 REST API 的速率
对于存储，不仅有 HDFS 和 Hbase，还有很多其他解决方案，例如 Casandra、MongoDB、Neo4j。一切都取决于您想要使用它的方式（随机访问 VS 全扫描，更新版本 VS 编写新行、并发访问）。例如，Hbase 适合随机访问，Neo4j 适合图形存储，...如果您正在接收 JSON 文件，MongoDB 可以成为上帝的选择，因为它将对象存储为文档。
数据的大小是多少？
这是一篇很好的文章，介绍了开始大数据项目时要考虑的问题documentation