Hazelcast：无法进行远程调用：com.hazelcast.map.impl.operation.GetOperation

Question

我们在项目中使用 Hazelcast 3.10.4。还启用了二级缓存。 有时，我们会遇到下面提到的例外情况，其中有 3 个 Hazelcast 节点：2 个节点在同一台机器上，1 个在不同的机器上。但是网络是一样的。 异常发生在 2 个节点之一上。不在另一台机器上运行的节点上。

我们得到这个，当我们启动服务器然后做一些操作时。

案例： 考虑 Cache-1 和 Cache-2 都是分布式 hazelcast 缓存（hazelcast IMap）。 Cache-1 在服务器启动时完全初始化。一旦服务器启动并运行，Cache-1 仅用于获取数据 - 不会更新，不会发生重新加载。 Cache-1 包含处理所需的所有数据。比如说，Cache-1 包含在不同级别定义的所有系统配置，一旦系统启动，用户就不会更改这些配置。此缓存分布在 3 个节点上。

Cache-2 在服务器启动时部分初始化。一旦服务器启动并运行，系统正在修改 Cache-2：从缓存中删除数据，修改缓存中的数据，根据 Cache-1 中存在的某些配置，如果缓存中不存在源，则为源加载数据 em>（部分按需加载）。

请注意：在服务器启动期间在 Cache-2 中加载数据时会进行相同的检查。但是在服务器启动时没有失败。

当系统尝试从 Cache-1 检索值时，我们遇到了以下异常：

java.lang.IllegalThreadStateException: Thread[hz._hzInstance_1_tpt-val-js-master.partition-operation.thread-1,5,main] cannot make remote call: com.hazelcast.map.impl.operation.GetOperation{serviceName='hz:impl:mapService', identityHash=1023062798, partitionId=234, replicaIndex=0, callId=0, invocationTime=-1 (1969-12-31 23:59:59.999), waitTimeout=-1, callTimeout=1800000, name=ConfigParamMap}
at com.hazelcast.spi.impl.operationservice.impl.Invocation.invoke0(Invocation.java:523)
at com.hazelcast.spi.impl.operationservice.impl.Invocation.invoke(Invocation.java:215)
at com.hazelcast.spi.impl.operationservice.impl.InvocationBuilderImpl.invoke(InvocationBuilderImpl.java:60)
at com.hazelcast.map.impl.proxy.MapProxySupport.invokeOperation(MapProxySupport.java:424)
at com.hazelcast.map.impl.proxy.MapProxySupport.getInternal(MapProxySupport.java:347)
at com.hazelcast.map.impl.proxy.NearCachedMapProxyImpl.getInternal(NearCachedMapProxyImpl.java:114)
at com.hazelcast.map.impl.proxy.MapProxyImpl.get(MapProxyImpl.java:116)
at com.tpt.atlant.grid.dao.hazelcast.DataHazelcastDAO.getData(DataHazelcastDAO.java:84)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl.getConfigParam(ConfigParamServiceImpl.java:33)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl.getBooleanValue(ConfigParamServiceImpl.java:52)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl$$FastClassBySpringCGLIB$$b698afe3.invoke(<generated>)
at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204)
at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:720)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:157)
at org.springframework.cache.interceptor.CacheInterceptor$1.invoke(CacheInterceptor.java:52)
at org.springframework.cache.interceptor.CacheAspectSupport.invokeOperation(CacheAspectSupport.java:345)
at org.springframework.cache.interceptor.CacheAspectSupport.execute(CacheAspectSupport.java:414)
at org.springframework.cache.interceptor.CacheAspectSupport.execute(CacheAspectSupport.java:327)
at org.springframework.cache.interceptor.CacheInterceptor.invoke(CacheInterceptor.java:61)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179)
at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:655)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl$$EnhancerBySpringCGLIB$$401b9858.getBooleanValue(<generated>)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.isBasisPl(TermDataJDBILoader.java:411)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.prepareInClauseFromList(TermDataJDBILoader.java:385)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.getCmdtyInstruments(TermDataJDBILoader.java:381)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.loadTermAttributes(TermDataJDBILoader.java:353)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.load(TermDataJDBILoader.java:263)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.load(TermDataJDBILoader.java:1)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader$$FastClassBySpringCGLIB$$f032653.invoke(<generated>)
at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204)
at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:651)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader$$EnhancerBySpringCGLIB$$b6e9411d.load(<generated>)
at com.tpt.atlant.grid.dao.loader.hazelcast.HazelcastMapLoader.load(HazelcastMapLoader.java:62)
at com.tpt.atlant.grid.dao.loader.hazelcast.HazelcastMapLoader.load(HazelcastMapLoader.java:33)
at com.tpt.atlant.grid.util.hazelcast.SpringContextMapLoaderFactory$DynamicSpringContectLoaderResolver.load(SpringContextMapLoaderFactory.java:223)
at com.tpt.atlant.grid.util.hazelcast.SpringContextMapLoaderFactory$DynamicSpringContectLoaderResolver.load(SpringContextMapLoaderFactory.java:179)
at com.hazelcast.map.impl.MapStoreWrapper.load(MapStoreWrapper.java:165)
at com.hazelcast.map.impl.mapstore.writethrough.WriteThroughStore.load(WriteThroughStore.java:72)
at com.hazelcast.map.impl.mapstore.writethrough.WriteThroughStore.load(WriteThroughStore.java:28)
at com.hazelcast.map.impl.recordstore.DefaultRecordStore.loadRecordOrNull(DefaultRecordStore.java:415)
at com.hazelcast.map.impl.recordstore.DefaultRecordStore.get(DefaultRecordStore.java:626)
at com.hazelcast.map.impl.operation.GetOperation.run(GetOperation.java:41)
at com.hazelcast.spi.Operation.call(Operation.java:148)
at com.hazelcast.spi.impl.operationservice.impl.OperationRunnerImpl.call(OperationRunnerImpl.java:202)
at com.hazelcast.spi.impl.operationservice.impl.OperationRunnerImpl.run(OperationRunnerImpl.java:191)
at com.hazelcast.spi.impl.operationexecutor.impl.OperationThread.process(OperationThread.java:120)
at com.hazelcast.spi.impl.operationexecutor.impl.OperationThread.run(OperationThread.java:100)
at ------ submitted from ------.(Unknown Source)
at com.hazelcast.spi.impl.operationservice.impl.InvocationFuture.resolve(InvocationFuture.java:127)
at com.hazelcast.spi.impl.operationservice.impl.InvocationFuture.resolveAndThrowIfException(InvocationFuture.java:79)
at com.hazelcast.spi.impl.AbstractInvocationFuture.get(AbstractInvocationFuture.java:162)
at com.hazelcast.map.impl.proxy.MapProxySupport.invokeOperation(MapProxySupport.java:425)
at com.hazelcast.map.impl.proxy.MapProxySupport.getInternal(MapProxySupport.java:347)
at com.hazelcast.map.impl.proxy.NearCachedMapProxyImpl.getInternal(NearCachedMapProxyImpl.java:114)
at com.hazelcast.map.impl.proxy.MapProxyImpl.get(MapProxyImpl.java:116)
at com.tpt.trade.grid.dao.hazelcast.TermDataNumberHazelcastDAO.getTermData(TermDataNumberHazelcastDAO.java:54)
at com.tpt.valuation.position.grid.value.action.BatchTermValueAction.execute(BatchTermValueAction.java:107)

引发此异常的 Hazelcast 代码正在检查：操作键的分区 ID 是否与分区线程 ID 匹配。如果不是，则抛出异常。还有很多其他代码。

谁能告诉我这个的根本原因？ 如果缓存设计有问题，那么每次都应该出现这个异常。 无法在具有 2 个或 3 个节点的开发人员机器上重现。但有时可以在测试机器上重现。

更新：添加了完整的堆栈跟踪。 我们实现了 MapLoader 将数据加载到缓存中。

原因可能是： 在 write through 操作期间，系统试图从具有不同 key 的不同缓存中访问数据。

此逻辑已有 1 年历史并且运行良好。我们最近才开始在测试环境中收到此异常。

Answer 1

我们能够重现该问题。

我们正在维护二级缓存。因为我们在处理过程中将 cache1 键的数据保存在二级缓存中，所以这个问题不会每次都发生。 我们只是在每个 cache2.get(key) 之前清除了二级缓存以重现问题。

如果在cache2 hazelcast map 中没有找到key 的数据，那么系统会调用MapLoader 的load 方法。这里分区线程出现，操作是通过操作写入的。

在 Cache2 MapLoader 的加载方法中，我们试图从具有不同键类型的 cache-1 中访问数据。由于 Cache-1 和 Cache-2 的 key type 不同，会出现分区不匹配，导致“cannot make remote call”异常。

问题： 如果真的需要，有什么办法可以做到这一点？

Solution-1： 我们在 Cache2 MapLoader 的 load 方法中使用了 IExecutorService 来访问 Cache1 中的值。这工作正常。但这可能会增加数据加载时间，因为涉及到额外的线程。

Solution-2： 设置 Cache1 的备份计数 = 节点数 -1。这样，我们在每个节点上都有地图的副本。此异常永远不会发生，因为在运行时（每周一次）Cache1 中的任何更改的更改都非常少。记录数也不超过1000。

还有其他方法可以实现吗？