从文本文件中的数据制作数据框

【问题标题】：make dataframe from data in textfile从文本文件中的数据制作数据框
【发布时间】：2018-07-07 20:40:42
【问题描述】：

我以杂乱无章的方式获得了文本文件，我需要将其制作成一个有组织的数据框。

I used the code:
text = sc.textFile(...)
log = text.map (...).filter(...)

所以日志中的每个元素都在文本中采用以下格式：

name: server-link
description: success scanning 
auth_code: 123456789

现在，我想使用列名 ['Name', 'Description', 'auth_code'] 创建一个数据框，其中将包含来自日志中所有元素的所有信息。

我该怎么做？

谢谢！

【问题讨论】：

标签： python dataframe pyspark apache-spark-sql bigdata

【解决方案1】：

构建数据框的一种方法是首先创建一个普通的 Python 列表列表，其中第一行包含列标题，其余行是数据框值。然后通过命令将这样的列表列表转换为数据框：

df = pd.DataFrame(table[1:], columns=table[0])

在您的情况下，您希望一次读取三行输入并从中构建表格。例如。类似（未测试）：

lines = text.split('\n')
table = [('name','description','auth_code')]
i=0
while i<len(lines):
    row = [line[3*i+j].split(': ')[1] 
           for j in range(3)]
    table += [row]
    i+= 1
df = pd.DataFrame(table[1:],columns=table[0])

【讨论】：