【问题标题】：Where GCP dataproc stores notebook instances?GCP dataproc 在哪里存储笔记本实例？
【发布时间】：2022-02-10 00:23:58
【问题描述】：
我使用 Dataproc 创建了一个 Spark 集群，并附加了 Jupyter Notebook。然后我删除了集群，我认为笔记本已经不见了。然而，在创建另一个集群（连接到同一个Bucket）之后，我可以看到我的旧笔记本。这是否意味着笔记本（或其检查点）存储在我的存储桶中？或者它们存储在哪里以及如何确保它们被删除？
【问题讨论】：
标签：
google-cloud-platform
jupyter-notebook
bucket
dataproc
【解决方案1】：
Dataproc 允许创建分布式计算集群（Hadoop、Map reduce、spark...）。它仅用于处理（您可以将临时数据保存在内部 HDFS 系统中）但所有输入和输出并在存储桶中完成（云存储是 HDFS 的新/内部 Google 版本 -> HDFS 是规范的开源实现由 Google 公开发布。此后，Google 内部改进了系统（云存储），但仍与 HDFS 兼容。
因此，是的，您的数据仍在您的 Cloud Storage 存储分区中是正常的。