使用 Hue Hadoop 在现有表中导入新数据时遇到问题答案

【问题标题】：Having trouble to import new data in an existing table using Hue Hadoop使用 Hue Hadoop 在现有表中导入新数据时遇到问题
【发布时间】：2018-05-20 01:22:15
【问题描述】：

当我在现有表中加载新数据，然后执行 select count(1) 以获取加载的总行数时，我只得到一个 HDFS 文件的计数。

行数仅代表一个HDFS文件的数量。

要导入“新数据”，请单击此处：

另外，这里是 MySQL 中的总数：

以及 Hue Hadoop 中的总数：

顺便说一下，这里是文件浏览器：

你知道我做错了什么吗？

【问题讨论】：

能否分享一下您是如何加载数据以及查询的。
@dbustosp 好的！完成了。
所以您是说当您执行“从电影中选择计数（*）”时你只得到一个文件的行数（大约 421/4 左右），对吗？能否请您运行“描述格式化电影”；并显示输出是什么（将其作为问题的一部分）。
@dbustosp 421 行是一个文件的计数。我已经提供了更多信息。
确保表的位置设置正确，如果您使用 Impala 运行查询，请确保运行“invalidate metadata;”命令。

标签： hadoop hadoop2 hue

【解决方案1】：

试试这个：

invalidate metadata default.movie;

很可能您使用 Impala 作为引擎来检索数据，这个命令是重新加载元数据。

默认情况下，所有表的缓存元数据都会被刷新。如果你指定表名，仅刷新该表的元数据。即使对于单个表，INVALIDATE METADATA 也比 REFRESH，因此在添加新数据的常见情况下更喜欢 REFRESH 现有表的文件。

如果你想更进一步，check this out.

【讨论】：