在 jupyter notebook 中读取顶点 ai 数据集答案

【问题标题】：Read vertex ai datasets in jupyter notebook在 jupyter notebook 中读取顶点 ai 数据集
【发布时间】：2021-10-30 00:42:19
【问题描述】：

我正在尝试创建一个 python 实用程序，它将从顶点 ai 数据集中获取数据集，并为该数据集生成统计信息。但我无法使用 jupyter notebook 检查数据集。有没有办法解决这个问题？

【问题讨论】：

所以你想从 Jupyther Notebooks 调用 VertexAI 数据集。那个数据集是什么，它的文本数据集是什么？你想得到什么统计数据？字数？请详细说明。
是的，我想同时获取文本和表格数据的统计信息。统计信息，如 std_dev、表格数据和句子的文本数据长度、字数、字符数的基于计数的特征。有什么办法吗？
您能详细说明一下吗？我想到的只有Vertex Pipelines: Metrics visualization and run comparison using the KFP SDK 和Vertex Pipelines: model train, upload, and deploy using google-cloud-pipeline-components，但不确定这是否是您要问的。一些场景/用例？

【解决方案1】：

如果我理解正确，您想在Jupyter Notebook 中使用Vertex AI 数据集。我不认为这是目前可能的。您可以将 Vertex AI 数据集以 JSONL 格式导出到 Google Cloud Storage：

您的数据集将导出为 JSONL 格式的文本项列表。每行都包含一个 Cloud Storage 路径、分配给该项目的任何标签，以及一个指示该项目是否在训练、验证或测试集中的标志。

此时，您可以使用Notebook 中的BigQuery 数据，就像在Visualizing BigQuery data in a Jupyter notebook. 中提到的那样使用%%bigquery，或者使用机器目录中的csv_read() 或GCS，就像在How to read csv file in Google Cloud Platform jupyter notebook 线程中显示的那样.

但是，您可以在Google Issue Tracker 中填写Feature Request 以增加在Jupyter Notebook 中直接使用VertexAI 数据集的可能性，Google Vertex AI Team 将考虑这一点。

【讨论】：