【问题标题】:shared connection in hadoop under setup method设置方法下hadoop中的共享连接
【发布时间】:2016-09-02 16:03:50
【问题描述】:

我已经在 Hadoop MR 作业的 setup 方法中初始化了 redis(jedis) 客户端连接。当我在地图作业中使用连接更新键值对时,在多个节点上运行的地图可以同时使用相同的连接来更新 redis 吗?还是连接有锁?

【问题讨论】:

    标签: java hadoop redis


    【解决方案1】:

    我不确定我是否正确地回答了您的问题。 如果您在映射器的设置阶段初始化了 Redis 客户端,那么每个映射器将使用自己的连接与 Redis 通信。 由于所有映射器都在它们自己的 JVM 中运行,我不相信您可以在它们之间共享连接。

    是的,多个客户端可以同时写入 Redis。如果所有客户端都写入 Redis 中的同一个键,那么它将在内部处理这种情况,但它永远不会需要集群级别的锁。

    【讨论】:

    • 是的,因为我在设置阶段已经初始化了一次连接,然后每个映射器如何获得自己的连接。在“setup()”方法中创建的连接只完成一次,并在所有映射器之间共享,对吗?
    • setup() 对每个映射器执行一次。首先,setup() 被执行,然后是所有输入键的 map(),然后是 close(),因此每个映射器都有一个单独的 redis 客户端。
    【解决方案2】:

    如果您已将相同的连接会话对象传递给映射器,那么映射器将使用该会话来更新 redis。如果这样,则没有锁。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2013-09-16
      • 1970-01-01
      • 1970-01-01
      • 2010-10-14
      • 1970-01-01
      相关资源
      最近更新 更多