使用 Pyspark 将数据存储到 Accumulo答案

【问题标题】：Storing data into Accumulo with Pyspark使用 Pyspark 将数据存储到 Accumulo
【发布时间】：2015-10-12 02:37:02
【问题描述】：

我正在尝试使用 Pyspark (Python + Spark) 将数据存储到 Accumulo。现在我正在使用 pyaccumulo 库将数据写入 Accumulo，方法是使用 pyFiles 参数将 pyaccumulo egg 文件传递给 SparkContext。我想知道是否有更好的方法来做到这一点。我已经看过 Cassandra 和 HBase 输出格式的示例，并且想知道是否可以为 Accumulo 做类似的事情。 Cassandra 和 HBase 似乎正在使用 saveAsNewAPIHadoopDataset(conf, keyConv, valueConv) 函数并传递一个配置字典、一个 keyconverter 和一个 valueconverter。有谁知道要传递给 Accumulo 的 saveAsNewAPIHadoopDataset() 的相应值是什么？

【问题讨论】：

传递给 saveAsNewAPIHadoopDataset 的值应该是什么？ OutputFormat 的配置？
是的。包含某些配置参数、键转换器和值转换器的配置字典。

标签： python apache-spark pyspark accumulo

【解决方案1】：

猜测一下，因为我不知道它应该如何工作，你需要类似的东西

AccumuloOutputFormat.ConnectorInfo.principal
AccumuloOutputFormat.ConnectorInfo.token
AccumuloOutputFormat.InstanceOpts.zooKeepers
AccumuloOutputFormat.InstanceOpts.name

要获得完整的属性列表，我会运行一个普通的 MapReduce 示例 (http://accumulo.apache.org/1.7/examples/mapred.html) 并查看配置值。

【讨论】：