我能够使用 Talend 作业创建 .csv 文件，并且我想使用 tSystem 组件将 .csv 转换为 .parquet 文件？答案

【问题标题】：I am able to create a .csv file using Talend job and I want to convert .csv to .parquet file using tSystem component?我能够使用 Talend 作业创建 .csv 文件，并且我想使用 tSystem 组件将 .csv 转换为 .parquet 文件？
【发布时间】：2019-07-10 13:07:33
【问题描述】：

我有一个创建 .csv 文件的 Talend 作业，现在我想使用 Talend v6.5.1 转换 .parquet 格式。我能想到的唯一选择是 tSystem 组件从本地或 .csv 临时登陆的目录调用 python 脚本。我知道我可以使用 pandas 或 pyspark 轻松转换它，但我不确定相同的代码是否适用于 Talend 中的 tSystem。能否请您提供建议或说明-

代码：

   import pandas as pd
   DF = pd.read_csv("Path")
   DF1 = to_parquet(DF)

【问题讨论】：

标签： talend

【解决方案1】：

如果你的文件系统上有外部脚本，你可以试试

"python \"myscript.py\" "

这是 talend 论坛上有关此问题的链接： https://community.talend.com/t5/Design-and-Development/how-to-execute-a-python-script-file-with-an-argument-using/m-p/23975#M3722

【讨论】：

【解决方案2】：

我可以按照以下步骤解决问题-

将熊猫导入为 pd

将pyarrow导入为pa

将 numpy 导入为 np

导入系统

文件名 = sys.argv[1]

test = pd.read_csv(r"C:\Users\your desktop\Downloads\TestXML\"+ filename+".csv") test.to_parquet(r"C:\Users\your desktop\Downloads\TestXML\"+ filename+".parquet")

【讨论】：