apache-storm 相关问题

Storm是一个分布式实时计算系统。类似于Hadoop如何提供一组用于进行批处理的通用基元,Storm提供了一组用于进行实时计算的通用基元。 Storm很简单,可以与任何编程语言一起使用

在storm.yaml中更改风暴动物园管理员服务器

我想将我的风暴群集指向3个zookeeper节点。根据我的理解,我应该在不停止任何节点的情况下更改nimbus和supervisor节点中的storm.yaml配置。是吗 ...

回答 1 投票 0

在Kubernetes中运行时,Apache Storm UI和worker无法解析nimbus

我设置了风暴雨云的部署和风暴管理器(和UI)的另一个部署,但是主管死了,因为它无法解析nimbus ...它总是用pod FQDN注册自己:...

回答 1 投票 0

如何将Storm,Zookeeper和Supervisor节点部署到GCP?

我们正在尝试使用Google Compute Engine设置Storm群集,但很难找到资源。大多数教程仅涵盖将单个应用程序部署到GCE。我们已经将这个...

回答 1 投票 0

如果服务器机器侦听更多65536端口会发生什么?

在Storm的情况下,它说“每个工作人员使用一个端口接收消息,这个设置定义了哪些端口可以使用。”,这意味着我可以将插槽号设置为更大的数字......

回答 1 投票 -2

透明流和批处理

我对流和批量处理的世界还很陌生,并试图理解概念和演讲。很有可能,我的问题的答案众所周知,容易找到或...

回答 2 投票 0

storm-kafka集成错误

我得到以下错误:curator jar指的是服务器类路径,它是mapr lib,它包括curator jar。我没有将curator jar包装在最终的可执行jar中。请帮忙 ...

回答 2 投票 1

哪个更适合日志分析

我必须使用Hadoop相关工具分析存储在生产服务器上的Gzip压缩日志文件。我无法决定如何做到这一点,以及使用什么,这里有一些方法我...

回答 4 投票 2

来自NiFi的Storm HDFS锁定文件

我试图使用风暴HDFS喷口,我有Apache Nifi将文件移动到风暴正在侦听的HDFS目录,但是一旦apache nifi开始移动文件,风暴就会感觉到并开始......

回答 1 投票 0

风暴履带中铲斗号码的用途是什么?

在使用分区“host”抓取多个网站时,也会根据主机生成也称为存储桶的分区密钥。并且每个spout实例都有一个桶来获取URL。怎么了 ...

回答 1 投票 0

如何在StormCrawler中使用快速URL过滤器?

我遇到了快速网址过滤器。它提供了几个选项,例如将过滤器应用于特定域。有人可以查询有关其使用情况的更多详细信息以及如何在url filters.json中配置它?

回答 1 投票 0

Storm bolt无法从spout反序列化对象

我正在使用Storm 1.1.2,JDK 8(Storm不喜欢JDK 9编译代码),Kafka 0.11和Docker Compose制作Spring应用程序。我们的想法是拥有一个可以接收REST的容器化服务......

回答 1 投票 0

在没有zookeeper,nimbus依赖的情况下以本地模式运行storm crawler

我在mysql中存储url,在lucene中存储索引数据。我正在使用tomcat在多台机器上运行storm crawler作为applcation服务器。我真的需要动物园管理员,雨云和风暴......

回答 1 投票 0

Storm Supervisor找不到KafkaSpout类

我正在使用Apache Storm 1.1.2,Apache Kafka 0.10,Zookeeper和Docker Compose编写一个dockerized Java 9 Spring应用程序。我的拓扑完全在我的...内部的本地集群上工作。

回答 1 投票 0

无法写pid zookeeper安装zookeeper

我正在关注以前的帖子,但仍然无法解决问题。我正在尝试安装zookeeper并启动它来运行summing-bird运行以提供螺栓/喷口在线风暴...

回答 1 投票 0

打开Heron UI非常慢

当我在运行heron-tracker和heron-ui命令后尝试打开http:// myip:8889 /拓扑时,即使我根本无法打开页面,此页面的响应速度也非常慢。而304 ......

回答 2 投票 0

在Redis重新启动时自动将Storm拓扑重新连接到Redis群集

我创建了一个Storm拓扑,它使用Jedis库连接到Redis Cluster。 Storm组件总是希望Redis启动并运行,然后才连接到Redis并订阅...

回答 1 投票 9

风暴雷迪斯喷口元组也毫无例外地丢失了

我有风暴拓扑(1工人)设置,其中spout(在java中)从redis出列(使用blpop)事件并转移到螺栓。但有一个观察结果是一些没有收到螺栓的事件(在clojure,6 -...

回答 1 投票 1

风暴螺栓跟随kafka螺栓

我有一个Storm拓扑,我必须将输出发送到kafka以及更新redis中的值。为此,我有一个Kafkabolt以及一个RedisBolt。下面是我的拓扑结构 - tp ....

回答 1 投票 0

Apache Storm Flux Kafka Spout Record Translator Exception

我正在使用storm flux 1.2.2来部署拓扑。我正在将记录翻译传递给KafkaSpoutConfig(参考 - > https://github.com/apache/storm/blob/master/flux/flux-examples/src/main/resources / ...

回答 1 投票 1

风暴没有从HDFS读取(HdfsSpout无法识别)

我使用的是风暴1.0.x但当我尝试使用下面的// Instantiate spout来读取文本文件时HdfsSpout textReaderSpout = newHdfsSpout()。setReaderType(“text”)...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.