如何使用 PySpark 处理来自 FPGrowth 的 collections.FreqItemset？答案

【问题标题】：How to handle collections.FreqItemset from FPGrowth with PySpark?如何使用 PySpark 处理来自 FPGrowth 的 collections.FreqItemset？
【发布时间】：2018-09-07 11:42:25
【问题描述】：

我正在使用来自 pyspark MLlib 的 FPGrowth，此函数的输出类型为 collections.FreqItemset，我不太熟悉，我发现使用起来很困难，也找不到太多文档或示例。 这是我的问题，有没有办法在 Python 3 中使用这种格式？怎么用手柄呢？这种格式从何而来？ 因为我不太了解如何在 Python 3 上处理这个问题，所以我尝试将其转换为我更熟悉的东西，例如 pandas 数据框。但是我认为这是一种肮脏的。所以我把我的临时解决方案留在这里，等待你们的一些见解。

几乎以文档中的示例来使用 FPGRowth for python，即here。

在 pyspark 中设置环境

import pyspark
sc = pyspark.SparkContext('local[*]')

在示例中运行函数并查看结果：

from pyspark.mllib.fpm import FPGrowth

data = sc.textFile("sample_fpgrowth.txt")
transactions = data.map(lambda line: line.strip().split(' '))
model = FPGrowth.train(transactions, minSupport=0.2, numPartitions=10)
result = model.freqItemsets().collect()
for fi in result:
    print(fi)

如果您没有找到该示例的文件，您可以获取它here。输出是这样的

这是这个人：输入collections.FreqItemse 我不知道如何在 Python 中正确处理。

所以我目前用来将其转换为 pandas 数据框的肮脏方式是这样的：

import pandas as pd
df = pd.DataFrame(columns = [0]) 
for fi in result:
    df.loc[''.join(str(e)+' ' for e in fi.items)[0:-1]] = int(fi.freq)
df.head()

这会输出什么：

提前感谢您的帮助。

【问题讨论】：

标签： python-3.x pandas apache-spark dataframe pyspark

【解决方案1】：

你快到了。而不是使用

for fi in result:
    print(fi)

使用这个

for fi in result:
    print (''.join(fi['items']),fi['freq'])

或者这个

for items,frequency in result:
    print (''.join(items),frequency)

这里的items是一个简单的python列表，频率应该是一个整数。它的打印效果可能不如 pandas 数据框，但我猜你想要的是访问这些值。

【讨论】：