在 Azure ML Python 脚本中读取多个 CSV 文件答案

【问题标题】：Read multiple CSV files in Azure ML Python Script在 Azure ML Python 脚本中读取多个 CSV 文件
【发布时间】：2017-07-12 07:25:54
【问题描述】：

我有 4 个 csv 文件作为 azure ML 中 python 脚本的输入，但小部件只有 2 个用于数据帧的输入，第三个用于 zip 文件。我试图将 csv 文件放在一个压缩文件夹中并将其连接到脚本的第三个输入，但这也不起作用：

我想知道如何在python脚本中读取多个csv文件。

【问题讨论】：

是否可以选择将所有 csv 文件添加到一个文件中？这可以用 Python 轻松完成。某种预处理的东西

标签： python csv azure azure-machine-learning-studio

【解决方案1】：

以下是其他人在上面概述的方法的更多详细信息。尝试将“执行 Python 脚本”模块中当前的代码替换为以下代码：

import pandas as pd
import os
def azureml_main(dataframe1=None, dataframe2=None):
    print(os.listdir('.'))
    return(pd.DataFrame([]))

运行实验后，点击模块。现在右侧栏中应该有一个“查看输出日志”链接。我得到如下信息：

[Information]         Started in [C:\temp]
[Information]         Running in [C:\temp]
[Information]         Executing 4af67c05ba02417a980f6a16e84e61dc with inputs [] and generating outputs ['.maml.oport1']
[Information]         Extracting Script Bundle.zip to .\Script Bundle
[Information]         File Name                                             Modified             Size
[Information]         temp.csv                                       2016-05-06 13:16:56           52
[Information]         [ READING ] 0:00:00
[Information]         ['4af67c05ba02417a980f6a16e84e61dc.py', 'Script Bundle', 'Script Bundle.zip']

这告诉我，我的 zip 文件的内容已解压缩到 C:\temp\Script Bundle 文件夹。在我的情况下，zip 文件只包含一个 CSV 文件，temp.csv：您的输出可能有四个文件。您可能还压缩了一个包含四个文件的文件夹，在这种情况下，文件路径会更深一层。如有必要，您可以使用os.listdir() 进一步探索您的目录结构。

一旦您认为您知道 CSV 文件的完整文件路径，请编辑执行 Python 脚本模块的代码以加载它们，例如：

import pandas as pd
def azureml_main(dataframe1 = None, dataframe2 = None):
    df = pd.read_csv('C:/temp/Script Bundle/temp.csv')
    # ...load other files and merge into a single dataframe...
    return(df)

希望有帮助！

【讨论】：

【解决方案2】：

正如@MattR 所说，您只需将4 个csv 文件直接附加到zip 文件theano_keras2.zip 中，无需将这些csv 文件打包为单独的zip 文件进行附加。然后你就可以在Execute Python Script模块中使用这些csv文件了，这些csv文件的路径是相对于theano_keras2.zip的根目录的。

希望对你有帮助。

【讨论】：