gridgain 相关问题

GridGain是一种高性能内存平台,可在不到一秒的时间内在1000台计算机上处​​理数TB的内存数据。 (来源GridGain.com)

如何使用 Ignite 瘦客户端指定创建缓存时的分区数量?

我们在应用程序中使用Ignite缓存。多个实例加入拓扑,其中使用 Ignite.getOrCreateCache() 和 RendezvousAffinityFunction 创建的缓存进行分区,如下所示: 公共...

回答 2 投票 0

即使对于 Ignite 客户端节点(厚或薄),Ignite 是否也需要一揽子导出(全部未命名)java 模块包

我在 ignite 文档中看到,使用 Java 11 运行 ignite,特别是使用 Java 17 需要一堆 --add-opens 来全面导出(全部未命名)一堆 java 模块包。 它不清晰...

回答 1 投票 0

Apache Ignite 驱逐行为

我正在使用 Apache Ignite(gridgain 8.8.33) 我有 4 个节点和 2 个数据区域。(不同的数据区域大小) 服务器1 数据区域#1 32GV 数据区域#2 16GB 服务器2 数据区域#1 32GB 数据区域#2 ...

回答 1 投票 0

Apache Ignite:堆外驱逐不起作用

我正在使用 Ignite 2.15 并配置了“PageEvictionMode=RANDOM_2_LRU”的 DataRegion,但最终我收到了 IgniteOutOfMemoryException 并显示以下消息: 数据寄存器内存不足...

回答 1 投票 0

GridGain 升级失败并出现 IgniteSpiException

使用环境:AWS、Docker桌面 现有镜像:gridgain/community:8.8.27-openjdk11-slim 新镜像:gridgain/community:8.8.34-openjdk17-slim 两种环境 GirdGain 集群(3 个节点)都是 r...

回答 1 投票 0

点燃 PeerClassLoading 以实现传递依赖

我正在使用 ignite 计算任务从 BigQuery 检索数据。以下是胖客户端和服务器端的配置: 我正在使用 ignite 计算任务从 BigQuery 检索数据。以下是胖客户端和服务器端的配置: <property name="peerClassLoadingEnabled" value="true"/> <property name="deploymentMode" value="CONTINUOUS"/> 计算任务可以描述如下: public class BigQueryStorageReadTask implements IgniteClosure<LoadingRequest, Long> { @IgniteInstanceResource private Ignite ignite; @Override public Long apply(LoadingRequest query) { return loadToCache(query); } private void readFromBigQuery(LoadingRequest query) { try (BigQueryReadClient client = BigQueryReadClient.create()) { // Read data from BigQuery using storage read api ..... } catch (IOException e) { throw new RuntimeException(e); } } } 使用存储读取API从BigQuery读取数据时出现依赖关系问题,需要依赖关系 implementation platform('com.google.cloud:libraries-bom:26.22.0') implementation 'com.google.cloud:google-cloud-bigquery:2.23.2' 如果我使用简单的 SQL api 从 BigQuery 读取数据,只需要“com.google.cloud:google-cloud-bigquery:2.23.2”,那么就没有问题,计算任务工作正常,但有 bom 依赖项 com.google.cloud:libraries-bom 远程计算任务会因为缺乏依赖而出现各种错误。由于我的 ignite 服务器节点以 xml 脚本而不是 spring 应用程序启动,因此我尝试将库 jar 手动添加到 user_libs 中,但仍然缺少一些低级依赖项。 我想知道是否有办法解决远程计算任务的依赖管理?我认为是peerClassLoading无法正常工作。 更新: 经过进一步调查,发现问题与是否包含bom无关,只是其他导入库的版本参考。 我猜根本原因是 ignite peerClassLoading 是否可以下载所有依赖项,包括 transitive 依赖项。 我通过关闭peerClassLoading并手动提供所有jar进行本地测试,如下 docker run -v /local_path/to/dir_with_libs/:/opt/ignite/apache-ignite/libs/user_libs apacheignite/ignite 效果很好。 所以我想我应该问:如何正确配置peerClassLoading策略以使其了解完整的依赖关系? AFAIU 当您仅指定 BOM 依赖项时会遇到问题。 这看起来像是您的 Gradle 使用问题。语句 platform('com.google.cloud:libraries-bom:26.22.0') 本身并不声明任何依赖项。 BOM 文件用于指定应该协同工作的特定版本的依赖项集,然后您不需要为这些包含的依赖项指定版本。 例如 implementation platform('com.google.cloud:libraries-bom:26.22.0') implementation 'com.google.cloud:google-cloud-bigquery' implementation 'com.google.cloud:google-cloud-storage' 如果您只声明对 BOM 的依赖,或者只复制 BOM 文件,您将无法获得您需要的实际代码。 如果您想从应用程序运行任务,对等类加载是加载库的可行选项。在这种情况下,您的应用程序应该具有任务代码+所有依赖项。服务器不应该有任何这些依赖项。然后,当服务器尝试执行任务时,它会要求客户端共享所有必需的类。 部署 Maven 依赖项的另一个好选择是使用 GridGain Control Center 的 Code Deployment 功能。您可以将集群连接到控制中心并使用其 UI 来操作已部署的代码 - 您指定 Maven 工件或上传要部署的文件,系统会处理依赖项、版本控制等。同样,仅指定 BOM不起作用 - 您需要应用程序使用的实际库(例如 com.google.cloud:google-cloud-bigquery:2.23.2)。

回答 1 投票 0

Ignite 计算任务依赖管理

我正在使用 ignite 计算任务从 BigQuery 检索数据。以下是胖客户端和服务器端的配置: 我正在使用 ignite 计算任务从 BigQuery 检索数据。以下是胖客户端和服务器端的配置: <property name="peerClassLoadingEnabled" value="true"/> <property name="deploymentMode" value="CONTINUOUS"/> 计算任务可以描述如下: public class BigQueryStorageReadTask implements IgniteClosure<LoadingRequest, Long> { @IgniteInstanceResource private Ignite ignite; @Override public Long apply(LoadingRequest query) { return loadToCache(query); } private void readFromBigQuery(LoadingRequest query) { try (BigQueryReadClient client = BigQueryReadClient.create()) { // Read data from BigQuery using storage read api ..... } catch (IOException e) { throw new RuntimeException(e); } } } 使用存储读取API从BigQuery读取数据时出现依赖关系问题,需要依赖关系 implementation platform('com.google.cloud:libraries-bom:26.22.0') implementation 'com.google.cloud:google-cloud-bigquery:2.23.2' 如果我使用简单的 SQL api 从 BigQuery 读取数据,只需要“com.google.cloud:google-cloud-bigquery:2.23.2”,那么就没有问题,计算任务工作正常,但有 bom 依赖项 com.google.cloud:libraries-bom 远程计算任务会因为缺乏依赖而出现各种错误。由于我的 ignite 服务器节点以 xml 脚本而不是 spring 应用程序启动,因此我尝试将库 jar 手动添加到 user_libs 中,但仍然缺少一些低级依赖项。 我想知道是否有办法解决远程计算任务的依赖管理?我认为是peerClassLoading无法正常工作。 AFAIU 当您仅指定 BOM 依赖项时会遇到问题。 这看起来像是您的 Gradle 使用问题。语句 platform('com.google.cloud:libraries-bom:26.22.0') 本身并不声明任何依赖项。 BOM 文件用于指定应该协同工作的特定版本的依赖项集,然后您不需要为这些包含的依赖项指定版本。 例如 implementation platform('com.google.cloud:libraries-bom:26.22.0') implementation 'com.google.cloud:google-cloud-bigquery' implementation 'com.google.cloud:google-cloud-storage' 如果您只声明对 BOM 的依赖,或者只复制 BOM 文件,您将无法获得您需要的实际代码。 如果您想从应用程序运行任务,对等类加载是加载库的可行选项。在这种情况下,您的应用程序应该具有任务代码+所有依赖项。服务器不应该有任何这些依赖项。然后,当服务器尝试执行任务时,它会要求客户端共享所有必需的类。 部署 Maven 依赖项的另一个好选择是使用 GridGain Control Center 的 Code Deployment 功能。您可以将集群连接到控制中心并使用其 UI 来操作已部署的代码 - 您指定 Maven 工件或上传要部署的文件,系统会处理依赖项、版本控制等。同样,仅指定 BOM不起作用 - 您需要应用程序使用的实际库(例如 com.google.cloud:google-cloud-bigquery:2.23.2)。

回答 1 投票 0

Ignite Server集群中只有一个节点且数据未过期的问题

我启动了一个3节点的Ignite集群,但没有启用持久化。运行一段时间后,发现一个节点上的缓存数据永远不会过期,而另外两个节点却可以过期

回答 1 投票 0

GridGain 纤薄版

运行安全扫描并注意到,它在 gridgain-community-8.8.33.zip 中报告了更多漏洞,而在 gridgain/community:8.8.33-openjdk11-slim docker 镜像中报告了很少的漏洞。 有没有办法获得

回答 1 投票 0

如何在 Kubernetes 内部的 Ignite 集群中确认已启用的模块?

我已经使用 ignite-geospatial 模块设置了一个 Ignite Cluster,但是它遇到了 H2SpatialIndex 的 ClassNotFound 异常,我知道这是由于缺少 ignite-geospat...

回答 0 投票 0

获取在 Apache Ignite 中丢失分区的缓存列表

我想使用脚本来重置丢失的分区 control.sh --cache reset_lost_partitions ,但我不知道如何获取我需要重置的缓存列表。有没有...

回答 1 投票 0

客户端节点上的高驻留内存

我们正在使用 Ignite 2.13。我们在客户端节点上看到非常高的驻留内存。下面是我们的配置, 我们正在运行具有 4Gb 堆的客户端和服务器节点。 堆上没有打开...

回答 0 投票 0

Ignite 不断崩溃并出现 OOM

我们正在运行一个 2-client-3-server 集群。即使我们提供更多堆,我们也会不断看到 OOM。下面是堆转储快照,知道为什么我们看到这么多 CacheEvent 对象,真正发生了什么......

回答 1 投票 0

网格增益控制台负载平衡

我有Gridgain三个节点集群,也运行Gridgain网络控制台代理和网络控制台上所有三个节点。它是所有托管在Windows服务器上。我想负载平衡我的Web控制台。...

回答 1 投票 1

GridGain Web Console with Docker: 404 Not Found.

我想在RHEL7 x86_64上用Docker按照这里的文档部署GridGain Web Console 2020.03.01。但是,在访问http:/localhost:3000swagger-ui.html时,出现404 Not Found错误。

回答 2 投票 1

sqlline在终端上没有显示Ignite表的所有列。

我在Ignite中创建了一个有20多列的表。现在,在sqlline上,当查询 "select * from table_name "这样的数据时,我只能看到该表20列中的5列。是否有...

回答 2 投票 0

GridGain Web Console用户创建自动化

有没有办法在GridGain Web Console的docker容器部署上自动创建用户?我们的测试台部署是全自动的,我们想把Web Agent也自动部署, ...

回答 1 投票 1

点燃WAL档案清理

我们确实有三个节点Ignite集群。在3个节点中,我可以看到一个节点的WAL存档路径已满。有什么办法可以清除吗?就像目前WAL目录有今天的数据,但WAL存档......

回答 1 投票 0

zookeeper服务器重启后,Apache ignite客户端不能自动重新连接。

我正在使用单节点独立的zookeeper运行一个带有zookeeper发现SPI机制的单节点Apache Ignite服务器。我试图从客户端应用程序连接Ignite服务器......

回答 1 投票 0

复制缓存上的点燃选择查询(包括嵌套选择)-如果查询启动器发生任何处理该怎么办?

[很少有问题,对于复制缓存上的选择查询,是否确实没有在查询启动器上进行任何处理(例如,在...的情况下,从应用程序进行查询时,在点火客户端节点中发生]

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.