如何在没有 my_compute_function 的情况下访问数据框

Question

如何在没有 my_compute_function 的情况下使用数据集。从存储库中的 file1，我想调用另一个文件中定义的函数。在第二个文件中，我想利用数据集 my_input_integration，可能没有 my_compute_function。如何组合来自两个不同存储库文件的数据集。我不想合并到一个文件中，因为我想将第二个文件用作实用程序文件。如果有人能回答这个问题，那就太好了。

存储库文件 1

from transforms.api import transform, Input, Output


@transform(
    my_output=Output("/my/output"),
    my_input=Input("/my/input"),
)
def my_compute_function(my_input, my_output):
    return calling_function(my_input, my_output)

---

存储库文件 2

from transforms.api import transform, Input, Output


@transform(
    my_input_integration =Input("/my/input"),
)
def calling_function(my_input, my_output, my_input_integration??)
   
    return my_output.write_dataframe(
        my_input.dataframe(),
        column_descriptions=my_dictionary
    )

Answer 1

如果我正确理解您想要实现的目标，您不能直接这样做 - 转换的任何输入都必须在该转换中定义，然后传递给实用函数，您不能“注入”输入。

因此，实现您想要的最直接的方法是执行以下操作：

文件 1：

@transform(
    my_output=Output("/my/output"),
    my_input=Input("/my/input"),
    my_input_integration=Input("/my/input_integration"),
)
def my_compute_function(my_input, my_output, my_input_integration):
    return calling_function(my_input, my_output, my_input_integration)

文件 2：

def calling_function(my_input, my_output, my_input_integration)
    return my_output.write_dataframe(
        my_input.dataframe(),
        column_descriptions=my_dictionary
    )

如果您真的认为您需要自动“注入”数据集的能力，并且将它们作为参数添加到您的转换中会太麻烦，那么可以采用更复杂的方法来定义您应用的自定义包装器到使输入数据集自动可用的转换函数。不过我真的会避免这种情况，因为它给代码增加了很多复杂性和“魔力”，对于新手和普通读者来说很难理解。