ignite 相关问题

Apache Ignite™是一个以内存为中心的分布式数据库,缓存和处理平台,用于事务,分析和流式工作负载,以PB级的速度提供内存速度。它为大型数据集提供高性能的内存计算功能。

Ignite clear() 方法在版本 2.15.0 中抛出异常

与 2.11.0 一起使用的 Ignite clear() 现在抛出以下异常。没有任何配置更改。 javax.cache.CacheException:类org.apache.ignite.IgniteCheckedException:远程...

回答 1 投票 0

Ignite 计算任务依赖管理

我正在使用 ignite 计算任务从 BigQuery 检索数据。以下是胖客户端和服务器端的配置: 我正在使用 ignite 计算任务从 BigQuery 检索数据。以下是胖客户端和服务器端的配置: <property name="peerClassLoadingEnabled" value="true"/> <property name="deploymentMode" value="CONTINUOUS"/> 计算任务可以描述如下: public class BigQueryStorageReadTask implements IgniteClosure<LoadingRequest, Long> { @IgniteInstanceResource private Ignite ignite; @Override public Long apply(LoadingRequest query) { return loadToCache(query); } private void readFromBigQuery(LoadingRequest query) { try (BigQueryReadClient client = BigQueryReadClient.create()) { // Read data from BigQuery using storage read api ..... } catch (IOException e) { throw new RuntimeException(e); } } } 使用存储读取API从BigQuery读取数据时出现依赖关系问题,需要依赖关系 implementation platform('com.google.cloud:libraries-bom:26.22.0') implementation 'com.google.cloud:google-cloud-bigquery:2.23.2' 如果我使用简单的 SQL api 从 BigQuery 读取数据,只需要“com.google.cloud:google-cloud-bigquery:2.23.2”,那么就没有问题,计算任务工作正常,但有 bom 依赖项 com.google.cloud:libraries-bom 远程计算任务会因为缺乏依赖而出现各种错误。由于我的 ignite 服务器节点以 xml 脚本而不是 spring 应用程序启动,因此我尝试将库 jar 手动添加到 user_libs 中,但仍然缺少一些低级依赖项。 我想知道是否有办法解决远程计算任务的依赖管理?我认为是peerClassLoading无法正常工作。 AFAIU 当您仅指定 BOM 依赖项时会遇到问题。 这看起来像是您的 Gradle 使用问题。语句 platform('com.google.cloud:libraries-bom:26.22.0') 本身并不声明任何依赖项。 BOM 文件用于指定应该协同工作的特定版本的依赖项集,然后您不需要为这些包含的依赖项指定版本。 例如 implementation platform('com.google.cloud:libraries-bom:26.22.0') implementation 'com.google.cloud:google-cloud-bigquery' implementation 'com.google.cloud:google-cloud-storage' 如果您只声明对 BOM 的依赖,或者只复制 BOM 文件,您将无法获得您需要的实际代码。 如果您想从应用程序运行任务,对等类加载是加载库的可行选项。在这种情况下,您的应用程序应该具有任务代码+所有依赖项。服务器不应该有任何这些依赖项。然后,当服务器尝试执行任务时,它会要求客户端共享所有必需的类。 部署 Maven 依赖项的另一个好选择是使用 GridGain Control Center 的 Code Deployment 功能。您可以将集群连接到控制中心并使用其 UI 来操作已部署的代码 - 您指定 Maven 工件或上传要部署的文件,系统会处理依赖项、版本控制等。同样,仅指定 BOM不起作用 - 您需要应用程序使用的实际库(例如 com.google.cloud:google-cloud-bigquery:2.23.2)。

回答 1 投票 0

如何将 pyspark 数据帧从 hive 保存到 iginte 缓存中?

我想按照此博客中的方法将我的 pyspark 数据帧保存到 ignite 缓存中,但发生了一些错误。 错误信息是: 回溯(最近一次调用最后一次): 文件“test_ig...

回答 1 投票 0

apache Ignite 优先级队列的实现

我需要一个分布式优先级队列,并查看 Apache Ignite 提供的不同数据结构,我找不到任何类似于优先级队列的内容。有没有办法创建一个

回答 1 投票 0

在 Ignite 失败时停止本地节点 - V2.15.0

我们面临最新版本 Ignite (V2.15.0) 的问题。我们使用三个节点,由于以下问题,每天有一个节点会出现故障。 与数据流相关的系统工作人员正在 blo...

回答 1 投票 0

Apache Ignite 页内存与堆和非堆有何关系?

我有java应用程序在ignite集群上运行。 在点燃日志中记录了各种参数。 例如,堆、非堆和页内存。 点燃日志 ^-- PageMemory [页数=82885] ^-- 他...

回答 1 投票 0

尝试将 DATE 列与 pyignite 一起使用

当我查询日期列时,出现错误: 回溯(最近一次调用最后一次): 文件“...\Python\Python38\site-packages\pyignite\datatypes\internal.py”,第 390 行,在 __data_class_parse 中 重新...

回答 0 投票 0

我应该如何正确地将 JDBC URL 传递给 ignite3 cli 命令?

我目前正在使用 ignite3 cli 命令,并注意到有一个选项 -u 可以指定 JDBC URL 以连接到 Ignite 集群: # 点燃3 # -u, --jdbc-url= JDBC u...

回答 1 投票 0

Ignite Server集群中只有一个节点且数据未过期的问题

我启动了一个3节点的Ignite集群,但没有启用持久化。运行一段时间后,发现一个节点上的缓存数据永远不会过期,而另外两个节点却可以过期

回答 1 投票 0

GridGain 纤薄版

运行安全扫描并注意到,它在 gridgain-community-8.8.33.zip 中报告了更多漏洞,而在 gridgain/community:8.8.33-openjdk11-slim docker 镜像中报告了很少的漏洞。 有没有办法获得

回答 1 投票 0

Ignite:错误:log4j 已启用且类路径设置错误?

安装ignite后,ignite.sh基本执行顺利。 但是,如下 apache-ignite-2.11.0-bin/config/default-config.xml 在文件中设置 Log4J 日志记录会引发错误。 默认配置...

回答 1 投票 0

有人可以告诉我 Apache ignite 中的计算网格和服务网格之间的区别吗?

服务 noda 和计算 noda 的用途是什么?它们之间有什么区别? 我们可以在一个节点/集群中使用 2 个(或更多)服务/计算吗? 客户端noda如何获取数据并给出...

回答 1 投票 0

Ignite 3的瘦客户端可以连接到Ignite 2集群来执行SQL吗?

我目前正在使用 Apache Ignite,并有一个使用 Ignite 2 集群的设置。我最近接触到了 Ignite 3 及其瘦客户端功能。我想知道是否有可能...

回答 1 投票 0

为什么我找不到'apacheignite/ignite3:latest'图像

我正在尝试按照文档提取“apacheignite/ignite3:latest”图像,但我在公共 dockerhub 中找不到它。

回答 1 投票 0

Apache Ignite 2.x 是否有采用 Cassandra Java Driver 4.x 并为未来更新实现无缝 Cassandra 集成的路线图?

Apache Cassandra 4.x 已经发布,Apache Ignite 是否打算合并 Cassandra Java 驱动程序 4.x 以与 Apache Cassandra 4.x 无缝集成。截至目前,Apache Ignite 版本 2.15...

回答 0 投票 0

Apache ignite 数据流传输器

我对 Ignite 的流媒体部分有疑问。 我的理解是,这是将数据导入缓存的方法,但我也看到我们可以配置流接收器来应用一些其他的cu...

回答 1 投票 0

Ignite:前 10 个长期运行的缓存期货

我正在运行 Ignite 节点,在操作过程中它显示此警告,并且我的服务变得无响应如何解决此问题! 12:18:10,035 [grid-timeout-worker-#39] 警告 org.apache.ignite.internal.

回答 1 投票 0

Apache Ignite REPLICATED SYNC IgniteCache 在创建时未填充

我定义了一个 Apache Ignite Server 节点集群和一些 IgniteCache。集群中的第一个节点已使用一些值填充缓存。当新节点加入时,它会获得该节点的一个实例...

回答 2 投票 0

如何在 Kubernetes 内部的 Ignite 集群中确认已启用的模块?

我已经使用 ignite-geospatial 模块设置了一个 Ignite Cluster,但是它遇到了 H2SpatialIndex 的 ClassNotFound 异常,我知道这是由于缺少 ignite-geospat...

回答 0 投票 0

apache ignite 中未配置控制台日志记录处理程序

启动与 spring boot 集成的 apache ignite 时 出现以下错误请帮忙。 (wrn) 无法为类代码库自动解析 IGNITE_HOME [class=class o.a.i.i.util.IgniteUt...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.