【问题标题】:BigQuery performance impact with column data lengthBigQuery 性能对列数据长度的影响
【发布时间】:2021-12-11 13:43:31
【问题描述】:

问题陈述-

我们计划在 BigQuery 列中存储长度为 64 的十六进制字符串数据。与存储较小长度的字符串相比,在这些列(字符串长度较大)上使用过滤/连接操作运行查询时,是否会影响 BigQuery 查询性能?

例子-

假设有一个 BigQuery 表 - abc.HACKERNEWS.news

列 -

idtimetime_tsencrypted_datanewsstatus

已知 - encrypted_data 列的字符串长度为 32。

查询 - SELECT time FROM abc.HackerNews.news where encrypted_data = 'abcdefghijklmnopqrstuvwxyz123deabcdefghijklmnopqrstuvwxyzabcde' LIMIT 1000

更改 encrypted_data 长度对性能有何影响? 如果字符串长度的长度,查询会更好吗 存储在 encrypted_data 列中是否较短,例如 5?

【问题讨论】:

    标签: google-bigquery spring-cloud-gcp-bigquery


    【解决方案1】:

    关于数据大小的计算请参考this documentation here

    STRING(数据类型等于)2个字节+UTF-8编码的字符串大小

    所以回答你的问题:是的,字符串越长,查询需要处理的字节越多,速度就越慢。因此,选择较短的字符串长度可能会提高查询性能。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2010-09-19
      • 1970-01-01
      • 2011-08-11
      • 2023-03-26
      • 2014-02-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多