【问题标题】:Remember last filename created by Hive on S3记住 Hive 在 S3 上创建的最后一个文件名
【发布时间】:2017-09-14 09:01:35
【问题描述】:

您好,我想知道在将新数据插入表后,是否有办法获取 Hive 在 S3 上创建的最后一个 parquet 文件的名称?

【问题讨论】:

    标签: amazon-web-services amazon-s3 hive parquet


    【解决方案1】:

    将数据写入hive后,请查看hive仓库目录是否有变化。

    【讨论】:

    • 我找不到那个文件,你知道我怎样才能轻松得到它吗?
    • 检查 hive-site.xml 中的“hive.metastore.warehouse.dir”或执行“set -v;”在 hive 控制台中列出所有属性。配置的仓库目录将包含每个数据库和表的目录。查看在你的表名目录下创建的文件。
    • 感谢您的帮助,我正在使用的 emr 上似乎没有设置此信息,我尝试为一些新的测试数据库设置自定义路径,但它似乎没有写入任何内容.我将不得不对此进行更多研究
    猜你喜欢
    • 2020-03-27
    • 2023-01-16
    • 2019-11-12
    • 2018-08-02
    • 2021-04-05
    • 2012-10-07
    • 2016-12-02
    • 1970-01-01
    • 2021-08-21
    相关资源
    最近更新 更多