使用 bigquery 加载和分析 IIS 日志（在 Extended Log File Format 中）的任何首选方式/示例？我们还需要对其进行自动分区。我们可以定期获取日志文件
我们想要分析特定功能的使用情况，该功能可以通过特定的 URL 模式和访问者通过网站进行的最热门流量的转换漏斗来识别，以确定他们从哪里进入和离开。访问者可以通过 cookie 中的唯一 ID（存储在日志中）来识别，并且页面可以与引用者链接（也存储在日志中）。
提前致谢
【问题讨论】：
标签： iis google-bigquery
将 CSV 格式的文件加载到 BigQuery 很容易。支持Both CSV and JSON format source data。
我不是使用 IIS 的专家，但将平面日志数据加载到 BigQuery 的最快方法是从 CSV 开始。 IIS 日志格式使用起来非常简单，但您可能需要保存一个步骤并将其导出为 CSV。快速搜索发现很多人使用LogParser（注意：我自己从未使用过）将IIS日志转换为CSV。不妨试试这个或类似的工具。
至于“自动分区”您的 BigQuery 数据集表 - BigQuery 不会自动执行此操作，但为您导出的每批 IIS 日志创建一个新表相当容易。
根据您分析的数据量，您应该每天或每小时创建一个新的 BigQuery 表。
使用BigQuery command line tool 时，在命令行上编写脚本非常容易。根据您拥有的每个日志数据时间片创建一个新的 BigQuery 加载作业，并使用一个新的表名。
换句话说，您的 BigQuery 表应如下所示：
mydataset.logs_2012_10_29
mydataset.logs_2012_10_30
mydataset.logs_2012_10_31
etc...
如需更多信息，请务必通读 importing data 的 BigQuery 文档。
【讨论】：