【问题标题】:Bluemix Spark ServiceBluemix Spark 服务
【发布时间】:2015-10-05 03:19:53
【问题描述】:

首先,我需要承认我是 Bluemix 和 Spark 的新手。我只是想尝试一下 Bluemix Spark 服务。

我想对文本文件中的十亿条记录执行批处理操作,然后我想用我自己的一组 Java API 处理这些记录。

这是我想使用 Spark 服务来加快数据集处理的地方。

这是我的问题:

  1. 我可以从 Python 调用 Java 代码吗?据我了解,目前只支持 Python 样板?在我的 Java API 下也有一些 JNI。

  2. 我可以使用 Bluemix Spark 服务执行批处理操作还是仅用于交互目的?

  3. 我可以使用 Bluemix 创建类似于管道的东西(一个阶段的输出到另一个阶段)吗?我需要为它编写代码吗?

对于上述查询,我​​将不胜感激。

在这里期待一些专家的建议。

谢谢。

【问题讨论】:

  • 感谢您纠正语言

标签: apache-spark ibm-cloud


【解决方案1】:

IBM Analytics for Apache Spark 服务现已推出,它允许您使用 spark-submit 提交 java 代码/批处理程序以及适用于 python/scala 的笔记本接口。

之前,测试版代码仅限于笔记本交互界面。

问候 阿努普

【讨论】:

猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2016-12-29
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2016-04-26
相关资源
最近更新 更多