apache-storm 相关问题

Storm是一个分布式实时计算系统。类似于Hadoop如何提供一组用于进行批处理的通用基元,Storm提供了一组用于进行实时计算的通用基元。 Storm很简单,可以与任何编程语言一起使用

是否可以直接从Nifi发送数据到Spark Structured Streaming / Storm而不丢失数据?

在我目前的情况下; Nifi收集数据,然后发送给Kafka。然后任何流媒体引擎都会消耗来自kafka的数据并对其进行分析。在这种情况下;我不想在Nifi和...之间使用Kafka

回答 2 投票 0

Storm 1.0.1提交拓扑的工作者错误

在向Storm 1.0.1提交拓扑时,我收到以下错误(worker.log)(尽管出现错误,拓扑确实已提交并显示在Storm UI中):o.a.s.d.worker [ERROR]错误...

回答 2 投票 1

部署后的Apache Storm JAR访问

我开发了一个在Apache Storm上运行的java应用程序。我们将应用程序安装到客户计算机中,我们希望客户无法访问JAR逆向工程师中的代码。 ...

回答 1 投票 0

Nimbus主机分辨率不正确

我使用https://hub.docker.com/_/storm/在单独的docker容器中运行Apache Storm Nimbus和Supervisor。容器在同一AWS EC2实例上运行。命令我......

回答 1 投票 0

Flink和Storm之间的主要区别是什么?

Flink已与Spark进行比较,在我看来,这是错误的比较,因为它将窗口事件处理系统与微批处理进行了比较;同样,它也没有太大的意义...

回答 4 投票 132

在intellij中未能使用storm-starter,找不到很多依赖

我想在intellij中使用storm-starter我配置严格作为官方网站https://github.com/apache/storm/tree/master/examples/storm-starter说但是intellj告诉我许多依赖不能。 ..

回答 1 投票 0

ClassNotFoundException:clojure.lang.PersistentList,编译:( clojure / core.clj:20:8)同时在Storm中向拓扑提交拓扑

我是Apache Storm的新手,我正在尝试在风暴中创建拓扑,可用于流的实时处理。但是,当我尝试在本地群集上提交拓扑时,我...

回答 1 投票 0

如何从一个KafkaSpout一次发送多个(不同的)元组到螺栓?

我是Apache Storm的新手。我正在尝试使用Apache Kafka,Storm和ESPER CEP引擎开发实时流处理系统。为此,我有一个将发射流的KafkaSpout ......

回答 1 投票 0

Storm-kafka-mongoDB集成

我正在从Kafka生产者连续阅读500 MB随机元组,并在风暴拓扑中使用Mongo Java Driver将其插入MongoDb。问题是我的吞吐量非常低,因为4-5 ......

回答 1 投票 0

杀死风暴拓扑后资源清理

我们有一个风暴拓扑,它与MariaDB数据库交互。我们的螺栓实现了IRichBolt接口并覆盖了生命周期方法。我们在prepare方法中打开一个db连接,然后......

回答 1 投票 0

Apache风暴中的窗口并行性

我希望在Apache风暴中或者换句话说分布式窗口操作中并行化窗口操作。我需要比较单节点运行窗口时的性能以及...

回答 1 投票 0

Storm + Kafka没有像预期的那样并行化

我们遇到的问题是单个拓扑中的任务并行性。我们无法获得良好,流畅的处理率。我们正在使用Kafka和Storm构建一个不同的系统......

回答 1 投票 0

使用Redis运行Storm时出错:java.lang.NoClassDefFoundError:Lredis / clients / jedis / Jedis

我的Storm类使用Redis队列来收集数据。我尝试通过暴风jar运行我的Storm jar jar_file_name.jar Topology_name configuration_file但我得到以下异常:线程中的异常...

回答 4 投票 0

元组花费更多时间从喷口到最后一个螺栓(又名完全延迟)很高

版本信息:“org.apache.storm”%“storm-core”%“1.2.1”“org.apache.storm”%“storm-kafka-client”%“1.2.1”我正在创建和试验一个我创建的风暴拓扑结构......

回答 1 投票 0

S3到Apache Storm spout可用吗?

我需要使用Apache Storm spout读取到达S3的新文件。 Apache Storm是否有直接从S3读取数据的spout?我试图找到一个直接从S3摄取数据的鲸鱼喷水......

回答 1 投票 0

Apache Storm拓扑上的Sigar UnsatisfiedLinkError

我在配置为单个本地群集的计算机上部署Storm拓扑。我已经配置conf / storm.yaml来使用storm.scheduler:“org.apache.storm.scheduler.resource ....

回答 1 投票 0

如何缩小风暴集群的规模(离线一个监控机器)

作为标题。我有一台拥有20台机器的风暴集群,一台用于灵气,一台用于主管。现在我发现我们不需要这么多机器用于风暴集群,并且想离线2个主管...

回答 1 投票 0

如何使用storm的New Metrics Reporting API?

我使用风暴V1.2.1。根据官方文档设置后,我想在spout中获得一些指标,spout代码如下,但是没有预期的指标数据...

回答 1 投票 1

无法从Storm教程中运行风暴启动器拓扑

在遵循storm-starter repo中的指南时,我无法实际运行任何拓扑 - 如ExclamationTopology。 mvn clean install -DskipTests = true成功运行,从顶部执行...

回答 4 投票 6

Apache Storm与Apache Airflow

两者有什么区别?据我所知,它们都基于有向无环图(DAG)和Storm流程数据的概念实时和Airflow相当移动......

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.