如何在 Apache spark java 中将行从 csv 转换为 ArrayType？

Question

我有一个 10k 行的 CSV，我想找出一些模式。我指的是 Apache Spark 文档的示例。在下面的示例中，代替项目，我给出了列列表，但出现错误。

输入列必须是ArrayType，但StringType。

FPGrowthModel model = new FPGrowth()
  .setItemsCol("items")
  .setMinSupport(0.5)
  .setMinConfidence(0.6)
  .fit(itemsDF);

如何创建ArrayType？

Answer 1

试试这个-

val new_itemsDF = itemsDF.withColumn("items", array(col("items")))
FPGrowthModel model = new FPGrowth()
  .setItemsCol("items")
  .setMinSupport(0.5)
  .setMinConfidence(0.6)
  .fit(new_itemsDF);