【问题标题】:azure databricks notebook - (Python) how to pass argument which is list of tuplesazure databricks notebook - (Python) 如何传递元组列表的参数
【发布时间】:2020-09-16 16:52:19
【问题描述】:

您好,我想将 [('file1', 'd', 1),('file2', 'w',2), ('file3', 'd', 5)] 作为参数传递给 Azure databrics笔记本,然后我想检查 file1 在过去 1 天是否被修改,file2 在过去 2 周是否被修改,file3 在过去 5 天是否被修改,等等所有剩余的元组。 如果这一切都是真的,那么返回真。 当我尝试使用 dbutils.widgets.text('my_filelist','','') my_filelist = dbutils.widget.get("my_filelist") 打印(我的文件列表)
这会打印我传递的字符串,但这不是我可以处理的元组列表,如何制作这个元组列表?例如... list_of_tup = list(my_filelist) 没有帮助 (总体目标是在进行 ETL/ELT 之前开发通用的所有数据文件到达检查实用程序)

【问题讨论】:

    标签: python-3.x azure-databricks


    【解决方案1】:

    您可以按照本示例中的方式进行操作 -

    returned_table = dbutils.notebook.run("LOCATION_OF_CALLEE_NOTEBOOK", 60) display(sqlContext.read.parquet(returned_table))
    

    【讨论】:

    • 感谢巴拉特。我可以试试这个。现在我发现这样做 list_of_tup = list(eval(my_filelist)) 也符合我的目的。
    • 同事帮助修复了它...仅将参数作为元组列表传递,即[(文件名、频率、天/周/月],然后使用 eval 和列出进程元组
    猜你喜欢
    • 1970-01-01
    • 2022-01-02
    • 2021-09-11
    • 1970-01-01
    • 2014-12-17
    • 1970-01-01
    • 2022-10-04
    • 2019-01-17
    • 2022-01-16
    相关资源
    最近更新 更多