我最近使用“预览”图像在 Google Cloud Dataproc 上启动了一个 Spark 集群。根据文档，预览图像的 Spark 版本是“2.1.0”，但是运行spark-shell --version 表明集群实际上运行的是 Spark 2.2.0。这对我们来说是个问题，因为我们的spark-avro 版本与Spark 2.2.0 不兼容。还有其他人遇到这个问题吗？我找不到任何关于 Google 版本升级的官方公告的痕迹。
【问题讨论】：
标签： google-cloud-platform google-cloud-dataproc
很抱歉，最近preview 图像更新的次要发行说明似乎丢失了；文档应该有望在明天更新。确实，当前的 Dataproc preview 版本现在是 Spark 2.2.0，这是对的。如果您需要固定到已知的工作旧预览图像，您可以尝试：
gcloud dataproc clusters create --image https://www.googleapis.com/compute/v1/projects/cloud-dataproc/global/images/dataproc-1-2-20170227-145329
应该包含 Spark 2.1.0。话虽如此，请记住，通常情况下，新的预览图像中总是有可能进行不兼容的更改，并且不能保证固定到旧的预览图像可以长期继续工作。
在您的情况下，您是否碰巧知道您点击的是issue filed on spark-avro 还是您的版本特定的东西？理想情况下，我们应该让您更新到 Spark 2.2，因为 Spark 2.2 即将推出官方（非预览版）映像版本。
【讨论】：