【问题标题】:Stock Market Data Analysis using Hadoop使用 Hadoop 进行股票市场数据分析
【发布时间】:2018-01-30 04:26:42
【问题描述】:

我正在为我的大学项目创建一个使用 Hadoop 分析股票数据的项目。我已经使用 Cloudera 管理器在 Google 云上创建了集群。 我是一个完整的初学者。根据我的研究,我需要获取一个 API 来获取数据并使用 MAPR 代码或任何其他方法对其进行处理。 但是,我不知道如何集成该 API 以将该数据导入 hadoop 集群。

链接到我正在尝试使用的 API:https://www.alphavantage.co/

一个python包装类:https://github.com/RomelTorres/alpha_vantage(不知道用处)

请有人帮助我并向我解释获取数据所涉及的基本过程。我愿意接受有关其他 API 或其他建议的建议。 非常感谢任何形式的帮助。

【问题讨论】:

  • 如果您尝试在 Cloudera 环境中使用 MapR 代码,您可能会遇到一些问题。除非你的意思是 MapReduce
  • 此外,Cloudera 不提供 Nifi。不知道你为什么标记它。鉴于自述文件使用 Pandas,并且没有引用 Hadoop,该 API 不需要连接到 Hadoop。您下载文件并将其上传到 HDFS 或 Google Cloud Storage

标签: python hadoop stock stockquotes


【解决方案1】:

github 存储库链接清楚地解释了所有内容。您不需要从任何地方获取数据。只需从您的第一个链接获取 api 密钥并按照 github 自述文件进行操作。您只需输入要使用其股票数据的公司的股票代码。

请参考您分享的 github 链接。一切都在那里完美记录。

【讨论】:

  • 谢谢。我得到了存储库的链接并且能够创建它。但现在我无法验证它。我需要详细信息来配置 SSL 上下文。身份验证详细信息需要以下详细信息 密钥库文件名:密钥库密码:密钥库类型:(JKS/PKCS12) 信任库文件名:信任库密码:信任库类型:(JKS/PKCS12) 我无法在站点证书中找到任何此类信息。请帮忙
  • 在继续之前,请确保您没有防火墙问题。如果您使用的是大学/公司互联网,可能会有防火墙限制。如果您使用家庭互联网连接并且仍然面临同样的问题,您可以在上述存储库的“问题”部分提出查询。这是链接:Issues section
猜你喜欢
  • 1970-01-01
  • 2017-11-28
  • 2015-11-08
  • 1970-01-01
  • 2013-01-04
  • 1970-01-01
  • 2012-03-09
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多