加载包含数千列的表答案

【问题标题】：Loading table with thousands of columns加载包含数千列的表
【发布时间】：2013-06-10 23:35:06
【问题描述】：

我有一个包含 5000 多个变量（列）的 CSV 数据文件。这可以加载到 BigQuery 表中吗？如果是这样，最好的选择是 Web UI 导入向导对话框“指定架构”步骤截断架构规范字符串。

【问题讨论】：

【解决方案1】：

只要您的行不太大，5000 列应该不会有问题。什么太大了？ BigQuery documentation 表示使用 JSON 时每行的最大大小为 20MB，而使用 CSV 时为 1 MB。

如果你有那么多列，我建议使用 bq.py 命令行 client 来进行加载。

【讨论】：

谢谢，会继续调查。定义架构列（5000+ 冒号分隔的名称：类型）的字符串太长，因为它在交互式 BigQuery 导入向导 UI（在指定架构步骤中）中被截断。我现在实际上正在尝试使用 Apps 脚本创建表并从云存储导入。有什么例子吗？我会喜欢的其他选择是Java。但我会看一下建议的 Python 脚本。
如果要使用java，这里有一个java加载示例：stackoverflow.com/questions/10671266/…