【发布时间】:2018-01-30 04:26:42
【问题描述】:
我正在为我的大学项目创建一个使用 Hadoop 分析股票数据的项目。我已经使用 Cloudera 管理器在 Google 云上创建了集群。 我是一个完整的初学者。根据我的研究,我需要获取一个 API 来获取数据并使用 MAPR 代码或任何其他方法对其进行处理。 但是,我不知道如何集成该 API 以将该数据导入 hadoop 集群。
链接到我正在尝试使用的 API:https://www.alphavantage.co/
一个python包装类:https://github.com/RomelTorres/alpha_vantage(不知道用处)
请有人帮助我并向我解释获取数据所涉及的基本过程。我愿意接受有关其他 API 或其他建议的建议。 非常感谢任何形式的帮助。
【问题讨论】:
-
如果您尝试在 Cloudera 环境中使用 MapR 代码,您可能会遇到一些问题。除非你的意思是 MapReduce
-
此外,Cloudera 不提供 Nifi。不知道你为什么标记它。鉴于自述文件使用 Pandas,并且没有引用 Hadoop,该 API 不需要连接到 Hadoop。您下载文件并将其上传到 HDFS 或 Google Cloud Storage
标签: python hadoop stock stockquotes