【问题标题】：Vertex ai custom model training for pyspark ml modelpyspark ml模型的顶点ai自定义模型训练
【发布时间】：2021-11-01 12:20:39
【问题描述】：
是否可以使用 VertexAI 自定义容器模型构建来训练 spark/pyspark ML lib 模型？我在顶点 ai 文档中找不到关于火花模型训练的任何参考资料。对于分布式处理模型构建，唯一可用的选项是 PyTorch 或 TensorFlow。
【问题讨论】：
标签：
apache-spark
pyspark
apache-spark-mllib
machine-learning-model
google-cloud-vertex-ai
【解决方案1】：
如果您利用 Spark Kubernetes 运算符，则可以使用自定义容器，但这不是一个有据可查的工作流程，并且需要复杂的设置。 GCP 运行 Spark 作业的首选方式是在支持 PySpark、SparkR、Scala 的 Dataproc https://cloud.google.com/dataproc 上。您仍然可以从 Vertex Pipelines 触发 Dataproc Spark 作业，并通过 MLeap 将模型保存在 Vertex 中进行预测。