在 google bigquery 表模式中存储密集向量答案

【问题标题】：storing dense vectors in google bigquery table schema在 google bigquery 表模式中存储密集向量
【发布时间】：2018-12-12 10:22:41
【问题描述】：

我正在创建一个 bigquery 数据集来存储代表用户的密集向量（由机器学习算法生成）。向量可以有任意长度，并且总是包含 float32。

为此构建我的架构的聪明方法是什么？这就是我现在拥有的：

schema = [
    bigquery.SchemaField('user_id', 'INTEGER', mode='REQUIRED'),
    bigquery.SchemaField('embeddings', 'record', mode='REPEATED', fields=[
        bigquery.SchemaField('embedding', 'record', mode='REPEATED', fields=[
            bigquery.SchemaField('index', 'INTEGER', mode='REQUIRED'),
            bigquery.SchemaField('value', 'FLOAT', mode='REQUIRED')
        ]),
        bigquery.SchemaField('timestamp', 'TIMESTAMP', mode='REQUIRED'),
    ]),
]

【问题讨论】：

标签： google-cloud-platform google-bigquery

【解决方案1】：

解决方案在这里：How to add "array of strings" as a schema value for BigQuery

在我的python代码中是这样的：

schema = [
    bigquery.SchemaField('user_id', 'INTEGER', mode='REQUIRED'),
    bigquery.SchemaField('embeddings', 'record', mode='REPEATED', fields=[
        bigquery.SchemaField('embedding', 'FLOAT', mode='REPEATED'),
        bigquery.SchemaField('timestamp', 'TIMESTAMP', mode='REQUIRED'),
    ]),
]

【讨论】：