将 xlsx 转换为镶木地板

Question

是否可以在 parquet 中转换 xlsx excel 文件而不在 csv 中转换？ 问题是我有很多 excel 文件，每个文件都有很多，我不想在 csv 中转换每张表，然后在 parquet 中转换，所以我想知道是否有办法直接将 excel 转换为 parquet ？或者，有没有办法用 nifi 做到这一点？ 我想用 python 脚本这样做

def csv_from_excel():

wb = xlrd.open_workbook('your_workbook.xls')
sh = wb.sheet_names()
for i in sh:
    sh = wb.sheet_by_name(i)
    your_csv_file = open('your_csv_file.csv', 'wb')
    wr = csv.writer(your_csv_file, quoting=csv.QUOTE_ALL)

    for rownum in xrange(sh.nrows):
        wr.writerow(sh.row_values(rownum))

    your_csv_file.close()
`

Answer 1

从 Nifi 的角度来看，这里有两个有趣的问题：

1. Nifi 可以拿起这个 Excel 吗？

利用XLSX processor 时这应该不会太难，但如果您的情况有点复杂，this elaborate HCC article 可能会有所帮助。

1. Nifi 可以写信给 Parquet 吗？

这部分很简单，用PutParquet processor，Nifi可以直接写Parquet。