我们在我们的项目中使用Hazelcast 3.10.4。第二级缓存也已启用。有时，我们会遇到下面提到的3个Hazelcast节点异常：同一台计算机上的2个节点和另一台计算机上的1个节点。但是网络是一样的。2个节点之一上发生异常。不在另一台计算机上运行的节点上。
我们在启动服务器然后进行一些操作时得到了这个。
Case：考虑Cache-1和Cache-2都是分布式hazelcast缓存（hazelcast IMap）。Cache-1在服务器启动时已完全初始化。服务器启动并运行后，Cache-1仅用于获取数据-不进行更新，也不进行重新加载。 Cache-1包含处理所需的所有数据。可以说，Cache-1包含在不同级别定义的所有系统配置，一旦系统启动，用户就不会更改。该缓存分布在3个节点上。
Cache-2在服务器启动时被部分初始化。服务器启动并运行后，系统正在修改Cache-2：从缓存中删除数据，修改缓存中的数据，根据缓存1中存在的某些配置，为缓存中不存在的源加载源数据（部分按需加载）。
请注意：服务器启动期间，在Cache-2中加载数据时也会进行同样的检查。但是在服务器启动时没有任何故障。
当系统尝试从Cache-1检索值时，我们将遇到以下异常：
java.lang.IllegalThreadStateException: Thread[hz._hzInstance_1_tpt-val-js-master.partition-operation.thread-1,5,main] cannot make remote call: com.hazelcast.map.impl.operation.GetOperation{serviceName='hz:impl:mapService', identityHash=1023062798, partitionId=234, replicaIndex=0, callId=0, invocationTime=-1 (1969-12-31 23:59:59.999), waitTimeout=-1, callTimeout=1800000, name=ConfigParamMap}
at com.hazelcast.spi.impl.operationservice.impl.Invocation.invoke0(Invocation.java:523)
at com.hazelcast.spi.impl.operationservice.impl.Invocation.invoke(Invocation.java:215)
at com.hazelcast.spi.impl.operationservice.impl.InvocationBuilderImpl.invoke(InvocationBuilderImpl.java:60)
at com.hazelcast.map.impl.proxy.MapProxySupport.invokeOperation(MapProxySupport.java:424)
at com.hazelcast.map.impl.proxy.MapProxySupport.getInternal(MapProxySupport.java:347)
at com.hazelcast.map.impl.proxy.NearCachedMapProxyImpl.getInternal(NearCachedMapProxyImpl.java:114)
at com.hazelcast.map.impl.proxy.MapProxyImpl.get(MapProxyImpl.java:116)
at com.tpt.atlant.grid.dao.hazelcast.DataHazelcastDAO.getData(DataHazelcastDAO.java:84)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl.getConfigParam(ConfigParamServiceImpl.java:33)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl.getBooleanValue(ConfigParamServiceImpl.java:52)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl$$FastClassBySpringCGLIB$$b698afe3.invoke(<generated>)
at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204)
at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:720)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:157)
at org.springframework.cache.interceptor.CacheInterceptor$1.invoke(CacheInterceptor.java:52)
at org.springframework.cache.interceptor.CacheAspectSupport.invokeOperation(CacheAspectSupport.java:345)
at org.springframework.cache.interceptor.CacheAspectSupport.execute(CacheAspectSupport.java:414)
at org.springframework.cache.interceptor.CacheAspectSupport.execute(CacheAspectSupport.java:327)
at org.springframework.cache.interceptor.CacheInterceptor.invoke(CacheInterceptor.java:61)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179)
at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:655)
at com.tpt.atlant.configparam.service.ConfigParamServiceImpl$$EnhancerBySpringCGLIB$$401b9858.getBooleanValue(<generated>)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.isBasisPl(TermDataJDBILoader.java:411)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.prepareInClauseFromList(TermDataJDBILoader.java:385)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.getCmdtyInstruments(TermDataJDBILoader.java:381)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.loadTermAttributes(TermDataJDBILoader.java:353)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.load(TermDataJDBILoader.java:263)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader.load(TermDataJDBILoader.java:1)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader$$FastClassBySpringCGLIB$$f032653.invoke(<generated>)
at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204)
at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:651)
at com.tpt.trade.grid.dao.loader.jdbi.TermDataJDBILoader$$EnhancerBySpringCGLIB$$b6e9411d.load(<generated>)
at com.tpt.atlant.grid.dao.loader.hazelcast.HazelcastMapLoader.load(HazelcastMapLoader.java:62)
at com.tpt.atlant.grid.dao.loader.hazelcast.HazelcastMapLoader.load(HazelcastMapLoader.java:33)
at com.tpt.atlant.grid.util.hazelcast.SpringContextMapLoaderFactory$DynamicSpringContectLoaderResolver.load(SpringContextMapLoaderFactory.java:223)
at com.tpt.atlant.grid.util.hazelcast.SpringContextMapLoaderFactory$DynamicSpringContectLoaderResolver.load(SpringContextMapLoaderFactory.java:179)
at com.hazelcast.map.impl.MapStoreWrapper.load(MapStoreWrapper.java:165)
at com.hazelcast.map.impl.mapstore.writethrough.WriteThroughStore.load(WriteThroughStore.java:72)
at com.hazelcast.map.impl.mapstore.writethrough.WriteThroughStore.load(WriteThroughStore.java:28)
at com.hazelcast.map.impl.recordstore.DefaultRecordStore.loadRecordOrNull(DefaultRecordStore.java:415)
at com.hazelcast.map.impl.recordstore.DefaultRecordStore.get(DefaultRecordStore.java:626)
at com.hazelcast.map.impl.operation.GetOperation.run(GetOperation.java:41)
at com.hazelcast.spi.Operation.call(Operation.java:148)
at com.hazelcast.spi.impl.operationservice.impl.OperationRunnerImpl.call(OperationRunnerImpl.java:202)
at com.hazelcast.spi.impl.operationservice.impl.OperationRunnerImpl.run(OperationRunnerImpl.java:191)
at com.hazelcast.spi.impl.operationexecutor.impl.OperationThread.process(OperationThread.java:120)
at com.hazelcast.spi.impl.operationexecutor.impl.OperationThread.run(OperationThread.java:100)
at ------ submitted from ------.(Unknown Source)
at com.hazelcast.spi.impl.operationservice.impl.InvocationFuture.resolve(InvocationFuture.java:127)
at com.hazelcast.spi.impl.operationservice.impl.InvocationFuture.resolveAndThrowIfException(InvocationFuture.java:79)
at com.hazelcast.spi.impl.AbstractInvocationFuture.get(AbstractInvocationFuture.java:162)
at com.hazelcast.map.impl.proxy.MapProxySupport.invokeOperation(MapProxySupport.java:425)
at com.hazelcast.map.impl.proxy.MapProxySupport.getInternal(MapProxySupport.java:347)
at com.hazelcast.map.impl.proxy.NearCachedMapProxyImpl.getInternal(NearCachedMapProxyImpl.java:114)
at com.hazelcast.map.impl.proxy.MapProxyImpl.get(MapProxyImpl.java:116)
at com.tpt.trade.grid.dao.hazelcast.TermDataNumberHazelcastDAO.getTermData(TermDataNumberHazelcastDAO.java:54)
at com.tpt.valuation.position.grid.value.action.BatchTermValueAction.execute(BatchTermValueAction.java:107)
抛出此异常的位置的Hazelcast代码正在检查：操作键的分区ID是否与分区线程ID匹配。如果不是，则抛出异常。还有很多其他代码。
任何人都可以让我知道其根本原因吗？如果缓存设计存在问题，则每次都应发生此异常。无法在具有2个或3个节点的开发人员机器上复制。但是有时可以在测试机上重现。
Update：添加了完整的堆栈跟踪。我们实现了MapLoader以将数据加载到缓存中。
原因可能是：在直写操作期间，系统正在尝试从具有不同密钥的不同缓存访问数据。
此逻辑是1岁，可以正常工作。我们仅在测试环境中才开始获得此异常。
我们能够重现该问题。
我们正在维护二级缓存。因为我们在处理期间将cache1密钥的数据保留在二级缓存中，所以不会每次都出现此问题。我们只是在每个cache2.get（key）之前清除了第二级缓存以重现问题。
如果在cache2榛树广播地图中找不到密钥的数据，则系统将调用MapLoader的加载方法。在这里分区线程进入画面，并且操作是通过操作写入的。
在Cache2 MapLoader的加载方法中，我们试图从具有不同键类型的cache-1访问数据。由于Cache-1和Cache-2的密钥类型不同，因此发生分区不匹配，并导致“无法进行远程调用”异常。
问题：如果确实需要这样做，有什么方法可以实现？
Solution-1：我们在Cache2 MapLoader的加载方法中使用IExecutorService从Cache1访问值。一切正常。但这可能会增加数据加载时间，因为会涉及额外的线程。
Solution-2：设置Cache1的备份计数=节点数-1。这样，我们在每个节点上都有地图的副本。由于运行时（一周一次）中Cache1中任何更改的更改很少，因此永远不会发生此异常。记录数也不超过1000。
还有其他方法可以实现吗？