哪种 TFX 编排是 TFX 的事实上的标准？答案

【问题标题】：Which TFX orchestrator is de facto tandard for TFX?哪种 TFX 编排是 TFX 的事实上的标准？
【发布时间】：2020-02-29 00:31:49
【问题描述】：

我是 tensorflow 的初学者，现在在一个项目中，我需要为 tensorflow 部署 分布式 生产平台。如果我能得到一些帮助来澄清我的想法，我将不胜感激。

阅读online doument和youtube，我了解分布式生产的主要组件如下。

使用 python 3.x 构建的 TFX（Tensorflow 扩展）管道：Apache Beam 编排器：Apache Airflow 或 Kubeflow

但是对于orchestrator，我认为这两个组件各有利弊，但哪一个是TFX 的事实上的标准？

该指南主要关注Airflow，所以我认为这可能是一个，但kubeflow 似乎是新的，所以它可能是新的挑战者。

Note: The current revision of this user guide primarily discusses deployment on a bare-metal system using Apache Airflow for orchestration.

谢谢，于

【问题讨论】：

【解决方案1】：

我认为 Kubernetes/Kubeflow 是最好的编排器，但是，它会在设置和管理您自己的集群时带来大量前期成本。

Google 刚刚发布了 VertexAI 管道，这是一项托管（无服务器）服务，GCP 为您在后台管理 Kubernetes，您可以专注于编写管道代码。

我强烈建议您使用它，因为它非常实惠且易于设置。 https://cloud.google.com/vertex-ai/docs/pipelines/introduction

在我的公司，我们通过使用 VertexAI 管道节省了数百万美元的运营和维护成本。

为了完成这个答案，VertexAI 有一些缺点。这是一个 Pre-GA 产品，所以我在这里和那里仍然遇到一些小问题，但我会说它 90% 的功能，我们正在使用它来编排我们的端到端机器学习工作流程以及自动化一些我们的分析和数据验证工作负载。

【讨论】：