Kubeflow，跨组件传递 Python 数据帧？

Question

我正在编写一个 Kubeflow 组件，它读取输入查询并创建一个dataframe，大致如下：

from kfp.v2.dsl import component 

@component(...)
def read_and_write():
    # read the input query 
    # transform to dataframe 
    sql.to_dataframe()

我想知道如何将这个数据帧传递给我的 Kubeflow 管道中的下一个操作。 这可能吗？或者我是否必须将数据帧保存为 csv 或其他格式，然后传递它的输出路径？ 谢谢

Answer 1

您需要使用Artifact 的概念。引用：

工件表示大型或复杂的数据结构，如数据集或模型，并作为对文件路径的引用传递到组件中。