【问题标题】:Hadoop: How to keep track of Clients and client sessions?Hadoop:如何跟踪客户端和客户端会话?
【发布时间】:2017-08-25 11:08:59
【问题描述】:

我正在尝试查找客户会话中存在的文件的流行度。有没有办法确定客户端 IP 并将文件记录在客户端会话中?还是我必须编写自己的代码或它?如果是这样,在编写该代码时要考虑哪些事项? 谢谢。

【问题讨论】:

    标签: hadoop clientip


    【解决方案1】:

    每次元存储 API 调用都会从 Hive 元存储服务器记录审核日志。它以 log4j 的 INFO 级别记录,因此您需要确保启用 INFO 级别的日志记录。日志条目的名称是 "HiveMetaStore.audit"。

    在 Hive 0.7 中为安全客户端连接添加了审核日志,在 Hive 0.10 中为非安全连接添加了审核日志

    【讨论】:

    • 谢谢。我还没有接触过 Hive(我是 Hadoop 新手)。我会详细查一下的。你能给我一个关于如何在java程序中使用审计日志中记录的客户端会话的示例代码吗?或者只是我在尝试实现这一目标时应该关注的方法或类。我基本上试图找到没有。文件(比如 X)出现在会话/总数中的次数。该会话中的文件。
    • 可以用java解析日志文件。此外,您可以根据需要使用 cloudera navigator。
    猜你喜欢
    • 1970-01-01
    • 2016-05-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-08-30
    • 2012-02-06
    相关资源
    最近更新 更多