【问题标题】:Cleanup of resources with Hive Session Close使用 Hive Session Close 清理资源
【发布时间】:2017-02-15 13:42:34
【问题描述】:

我需要在我的自定义 UDF 中创建一些资源(带有二进制数据的地理编码器)的对象。这些资源应该为 UDF 创建一次,并且每个映射器都将保存该资源的单个实例所以我使用了一个创建该资源并保存其静态引用的单例工厂。

为了处理这些资源,我使用了一个关闭挂钩,如果我从控制台退出,它可以与 Hive CLI 控制台 (Putty) 一起正常工作,而不是处理所有资源。

但我无法使用 Hue UI 处理这些资源,即使我关闭了 hive 会话,这些资源仍然存在。

有人可以帮我找到一种更简洁的方法来使用 Hue UI 处理这些资源。

作为一种解决方法,我创建了一个新的 UDF 来处理这些资源 - SELECT DisposeGeocoders();。但这对用户来说是一种开销。

【问题讨论】:

    标签: hadoop hive emr hue


    【解决方案1】:

    您环境中hue.init 文件中的这些值是什么? (默认这些是真的,但我会检查这些属性:

    # Use session-length cookies. Logs out the user when she closes the browser window.
    expire_at_browser_close=true
    
    # Hue will try to close the Hive query when the user leaves the editor page.
    #This will free all the query resources in HiveServer2, but also make its results inaccessible.
    close_queries=true
    
    # Use session-length cookies. Logs out the user when she closes the browser window.
    expire_at_browser_close=true
    

    【讨论】:

    • #Ronak Patel - 这两个参数都设置为“true”。
    • 然后重新启动色调(如果不是在设置后)...看看你的问题是否解决
    • 是的,我重新启动了它:)
    猜你喜欢
    • 2011-07-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-05-12
    • 1970-01-01
    相关资源
    最近更新 更多