Hive 查询记录处理数答案

【问题标题】：Hive query records processed countHive 查询记录处理数
【发布时间】：2018-05-11 12:57:28
【问题描述】：

我想知道处理了多少条记录或查询处理了多少记录以获取配置单元中的结果。

我尝试了为查询格式化的描述，但无法做到。

描述格式化（从示例中选择 *）

【问题讨论】：

【解决方案1】：

使用解释命令：

explain extended select * from sample

但是计划中的行数是从统计中获取的，因为查询实际上还没有执行。 processed 的行数只有在执行后才会知道。

在此处查看手册：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain

命令完成后日志中的计数器如下所示：

Counters=FileSystemCounters.FILE_BYTES_READ:165364556525,
FileSystemCounters.FILE_BYTES_WRITTEN:398475913171,
FileSystemCounters.FILE_READ_OPS:0,
FileSystemCounters.FILE_LARGE_READ_OPS:0,
FileSystemCounters.FILE_WRITE_OPS:0,
FileSystemCounters.HDFS_BYTES_READ:2403609087417,
FileSystemCounters.HDFS_BYTES_WRITTEN:2401487507859,
FileSystemCounters.HDFS_READ_OPS:185667,
FileSystemCounters.HDFS_LARGE_READ_OPS:0 HIVE.RECORDS_IN:204428194,
HIVE.RECORDS_OUT_0:63070586,
HIVE.RECORDS_OUT_1_schema.table_name:39980068,
HIVE.RECORDS_OUT_INTERMEDIATE:126141195,
HIVE.SKEWJOINFOLLOWUPJOBS:0,
Shuffle Errors.BAD_ID:0,Shuffle

【讨论】：

感谢您的回复，查询执行后我可以在日志中的任何位置获取该计数
@kiran 如果您正在选择，它会在末尾显示：Time taken: 0.302 seconds, Fetched: 1 row(s)。如果您要插入表格，则表示Loading data to table sample Table sample stats: [numFiles=1, numRows=0, totalSize=0, rawDataSize=0] 尝试打开统计信息收集：set hive.stats.autogather=true;
我正在寻找为获取该 1 行而处理的总行查询，在下面的链接中，我可以看到 2 个不同的字段，例如“MAP_INPUT_RECORD”和“MAP_OUTPUT_RECORDS”。这里我猜上面 1 指的是--MAP_OUTPUT_RECORDS。我怎样才能得到输入记录一个acadgild.com/blog/counters-in-mapreduce
@kiran AFAIK 计数器存在于作业执行日志中，并且可以解析它们。无法从 Hive 访问计数器。
@kiran 日志中的计数器如下所示：'Counters=FileSystemCounters.FILE_BYTES_READ:165364556525,FileSystemCounters.FILE_BYTES_WRITTEN:398475913171,FileSystemCounters.FILE_READ_OPS:0,FileSystemCounters.FILE_LARGE_READ_OPS:0,FileSystemCounters.FILE_WRITE FileSystemCounters.HDFS_BYTES_READ:2403609087417,FileSystemCounters.HDFS_BYTES_WRITTEN:2401487507859,FileSystemCounters.HDFS_READ_OPS:185667,FileSystemCounters.HDFS_LARGE_READ_OPS:0' 等等。