flume-ng 相关问题

Apache Flume是一种分布式,可靠且可用的服务,用于高效收集,聚合和移动大量日志数据。 Flume-NG正在重构第一代Flume,以解决原始设计的某些已知问题和局限性。

Flume 汇至 Splunk?

有人成功地将数据从 Flume 下沉到 Splunk 吗? 我尝试过 Thrift 和 Avro 水槽,但它们有问题。对于 Splunk 来说不是很好的格式,Flume 不断尝试事件

回答 1 投票 0

Apache Flume 代理未启动但未显示错误

我正在尝试从 AWS EC2 集群运行 Apache Flume 代理,但是当我启动代理时,它既不启动也不抛出明显的错误。 我只是从 Apache 的简单示例开始

回答 1 投票 0

如何正确使用Flume在HDFS中插入JSON

我在 Flume 中使用 HTTPSource 来接收 json 格式的 POST 事件,如下所示: {"用户名":"xyz","密码":"123"} 我的问题是:我是否必须修改事件的来源(我的意思是...

回答 4 投票 0

Flume可以给数据添加头吗?

我正在处理这样的数据。{"a":1, "b":2},我想让Flume给所有数据添加一个头,比如{"header":self_define, "content":{"a":1, "b":2}}。我看了一些关于Flume拦截器的资料,但似乎......

回答 1 投票 0

Flume HDFS接收器:从文件名中删除时间戳记

我已经为我的应用程序配置了水槽代理,其中源是Spooldir,接收器是HDFS,我能够在hdfs中收集文件。代理配置为:agent.sources = src-1 agent.channels = c1 ...

回答 2 投票 5

水槽-无法配置水槽-没有为水槽配置通道

我已经配置了水槽以读取日志文件并写入HDFS。启动水槽时,会读取日志文件,但不会将其写入HDFS。 flume.log具有警告消息-无法配置接收器-否...

回答 2 投票 1

启动Flume代理时找不到文件异常

我是第一次安装Flume。我正在使用hadoop-1.2.1和flume 1.6.0,我尝试按照本指南设置flume代理。我执行了以下命令:$ bin / flume-ng agent -n $ ...

回答 3 投票 1

如何通过Flume将密钥值发送到kafka

我可以通过Flume将消息发送到kafka,但是如何将键值消息发送到kafka?例如我使用tailf日志文件作为源,如何发送键值消息? #描述/配置源a1 ....

回答 1 投票 0

使用flafka从数据源到HDFS的相同文本文件

我正在开发以下架构:1)flume agent_a将文本文件拖到数据源目录中,并在kafka主题中移动它们。 2)flume agent_b将文本文件从kafka主题移至hdfs。 ...

回答 1 投票 0

水槽Appender的问题:当水槽代理重记录期间下降了应用程序线程被卡住

目前,我们正在使用log4j的以下log4j的罐子核心-2.6.2,log4j的,水槽-NG-2.6.2

回答 1 投票 0

从卡夫卡到HDFS的avro活动

我有kafka集群接收来自生产者的avro事件。我想使用水槽来消费这些事件,并将它们作为avro文件放入HDFS这是否可能与水槽?有没有人 ...

回答 2 投票 2

运行flume代理获取Twitter数据

我一直试图在我的Windows系统上运行一个水槽代理来获取推特数据。我正在关注这个博客https://acadgild.com/blog/streaming-twitter-data-using-flume但是,每当我尝试运行...

回答 1 投票 1

当更改到新的一天的目录后,Flume在HDFS中留下.tmp文件

我正在使用Flume 1.7.0和HDFS接收器。我将Flume配置为将数据放入HDFS的日期目录中,以便在新的一天到来时自动更改目录。问题是我设置了水槽......

回答 1 投票 0

ClassCastException:将IBM MQ配置为Flume JMS源时,无法将javax.nam.Conction转换为javax.jms.ConnectionFactory

我正在尝试将Flume(来自Cloudera CDH-5.11.0的1.6)代理配置为使用IBM WebSphere MQ 9.1.1.0作为源。由于没有官方文件,我遵循这些资源(尽管他们......

回答 1 投票 0

水槽配置 - spoolDir和文件卷水槽的变量

我搜索过,有多篇文章关于如何使用'fileHeader'和'basenameHeader'作为spoolDirectory,虽然它似乎不适用于我的情况。我的目标是使用Flume来摄取文件......

回答 1 投票 0

Apache Flume中的Apache Avro架构验证

在阅读了Apache Flume以及它在处理客户端事件方面提供的好处之后,我决定是时候开始更详细地研究它了。另一个好处似乎是......

回答 1 投票 1

如何安排实时数据管道(水槽,卡夫卡,火花流)?

我在Cloudera Hadoop平台上有一个批处理数据管道 - 文件通过Flume和Spark处理到Hive。编排是通过Oozie工作流程完成的。我现在正在建造一个近...

回答 1 投票 0

如何在不指定源的情况下使用Flume的Kafka频道

我有一个现有的Kafka主题和一个从那里读取并写入HDFS的水槽代理。我想重新配置我的水槽代理,这样它就会远离现有的设置;一个卡夫卡来源,档案......

回答 2 投票 3

在运行fatjar时无法加载log4j2

我正在开发一个利用log4j2日志记录的项目。在intellij开发时,一切正常,日志记录按预期完成。 log4j2.xml通过传递给...的java属性链接

回答 4 投票 7

如何使用apache flume从txt文件中读取日志

我在使用flume阅读不断增长的.txt文件时遇到了问题。我知道我可以使用例如a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources ....来读取net中的内容。

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.