apache-storm 相关问题

Storm是一个分布式实时计算系统。类似于Hadoop如何提供一组用于进行批处理的通用基元,Storm提供了一组用于进行实时计算的通用基元。 Storm很简单,可以与任何编程语言一起使用

风暴群集无法在生产模式下工作

我有一个在两个节点中的风暴拓扑。 一个是灵气,另一个是主管。 不属于Storm的代理从客户端接受HTTP请求,并将其传递到Storm拓扑。 拓扑如下所示: ....

回答 1 投票 0

无法使用streamParse“ thriftpy.thrift.TApplicationException:内部错误处理beginFileUpload”提交拓扑]

我正在尝试使用稀疏提交命令将拓扑提交给远程ubuntu机器,并在 load_entry_point('...

回答 1 投票 0

Apache storm-如何从配置中禁用螺栓

我需要从Config中禁用一些螺栓,或使用其他方式进行代码修改。添加“ topology.bolt_name.enabled = false”无济于事,我的Storm版本是1.1.0

回答 1 投票 0

Apache Storm翻滚窗口中的过期元组

我已经实现了大小为100的翻转窗口(基于计数)。运行拓扑时,我看到新的元组(inputWindow.get)的计数和过期的元组(inputWindow.getExpired)的计数...

回答 1 投票 1

如何在Apache Storm中处理kafka消息时确保一次语义

我需要在我的应用程序中交付一次。我研究了kafka,意识到要使消息产生一次,我必须在生产者配置中设置idempotence = true。这也将acks = all设置为...

回答 1 投票 0

从开始设置风暴拓扑的日志级别

我在初始化期间在我的Storm拓扑中发生了一个错误。我想从启动拓扑时开始将日志级别设置为DEBUG。我意识到有一种机制可以动态设置...

回答 1 投票 0

动态节流Apache喷口

我有一个拓扑结构,其中spout从Kafka读取数据并发送到bolt,然后依次调用REST API(A)和另一个REST API(B)。到目前为止,API B还没有节流。现在他们有了...

回答 1 投票 0

设置Apache Storm和Flink日志级别以显示调试消息

因此,我使用Storm和Flink应用程序构建了一个JAR,在其中我按以下方式记录消息:import org.slf4j.Logger;导入org.slf4j.LoggerFactory; // ...私有静态最终Logger LOG = ...

回答 1 投票 0

Streamparse / Python-自定义fail()方法不适用于错误元组

我正在使用Storm实时处理来自Kafka的消息,并使用streamparse构建我的拓扑。对于此用例,必须100%保证向Storm发送的任何消息都是...

回答 1 投票 4

为什么我的Apache Storm 2.0拓扑在30秒后重新启动?

我已经尝试了几个配置参数,甚至没有运气地使用withLocalModeOverride。我在这里想念的是什么?这是一个示例应用程序,在30秒后计数器将重置,并且所有内容都......>

回答 1 投票 0

Storap Apache升级(1.0.0到2.0.0)

我使用1.0.0版本的Storm Apache(Java客户端-storm-core)和3.4.8版本的zookeeper。我检查版本2.0.0是否“在性能,新功能和...

回答 1 投票 0

如何解决'从种子主机[192.168.23.165]中找不到领导者灵气

基本设置:三个虚拟机分别为192.168.23.165、192.168.23.166和192.168.23.172,我在165台计算机上以单机模式运行zookeeper,并在三台计算机上运行风暴。三个机器的火器都是...

回答 1 投票 0

我在Windows上运行nimbus apache storm 2.0.0遇到麻烦

在运行nimbus的Apachestorm 2.0.0中,一段时间后它停止了。错误消息是:java.lang.Error:java.lang.UnsatisfiedLinkError:C:\ Users \ AppData \ Local \ Temp \ librocksdbjni4098681601609019942941 ....

回答 1 投票 0

Apache Storm的编写集成测试

推荐使用Java为Apache Storm拓扑编写集成测试的推荐方法是什么?感谢任何建议/链接。

回答 1 投票 1

NoClassDefFoundError的:Maven的模块间的依赖

我有我的暴风的应用程序(Maven的)项目结构如下:父项目/├──的pom.xml├──风暴的应用程序/└──的pom.xml├──utils的/└──的pom.xml我我的结构pom.xml的文件,...

回答 1 投票 1

获得的ClassNotFoundException在卡夫卡喷用新的卡夫卡版本2.1.0与Apache 1.2.2风暴

虽然开始卡夫卡嘴的拓扑结构,新的卡夫卡版本2.1.0和风暴1.2.2版本得到了java.lang.ClassNotFoundException:kafka.api.OffsetRequest。当我使用卡夫卡我没有得到这个...

回答 2 投票 0

阿帕奇卡夫卡抵消阿帕奇风暴拓扑犯

我设计一个出口(阿帕奇卡夫卡口)和1个螺栓与并行> 1,从卡夫卡口批量读取消息,并坚持建立一个Apache风暴拓扑结构(使用streamparse)...

回答 1 投票 0

在风暴分布式缓存

如何存储在Apache的风暴临时数据?在风暴的拓扑结构,螺栓需要访问先前处理的数据。例如:如果螺栓日上午10:00进程与结果为20 varaiable1。然后再次 ...

回答 5 投票 0

如何找到特定类文件中的依赖项?

我的项目包含一些依赖性,这些依赖性正在拉动相同的共同依赖性。常见的依赖风暴-kafka有一个新版本1.0.2和一个旧版本0.10.0在建立一个阴影罐子,我......

回答 2 投票 6

确切一次和至少一次保证之间的差异

我正在研究分布式系统并参考这个老问题:stackoverflow链接我真的无法理解完全一次,至少一次和最多一次保证之间的区别,我......

回答 4 投票 9

© www.soinside.com 2019 - 2024. All rights reserved.