【发布时间】:2016-09-02 16:03:50
【问题描述】:
我已经在 Hadoop MR 作业的 setup 方法中初始化了 redis(jedis) 客户端连接。当我在地图作业中使用连接更新键值对时,在多个节点上运行的地图可以同时使用相同的连接来更新 redis 吗?还是连接有锁?
【问题讨论】:
我已经在 Hadoop MR 作业的 setup 方法中初始化了 redis(jedis) 客户端连接。当我在地图作业中使用连接更新键值对时,在多个节点上运行的地图可以同时使用相同的连接来更新 redis 吗?还是连接有锁?
【问题讨论】:
我不确定我是否正确地回答了您的问题。 如果您在映射器的设置阶段初始化了 Redis 客户端,那么每个映射器将使用自己的连接与 Redis 通信。 由于所有映射器都在它们自己的 JVM 中运行,我不相信您可以在它们之间共享连接。
是的,多个客户端可以同时写入 Redis。如果所有客户端都写入 Redis 中的同一个键,那么它将在内部处理这种情况,但它永远不会需要集群级别的锁。
【讨论】:
如果您已将相同的连接会话对象传递给映射器,那么映射器将使用该会话来更新 redis。如果这样,则没有锁。
【讨论】: