Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。
水槽汇入HDFS错误：java.lang.NoSuchMethodError：com.google.common.base.Preconditions.checkArgument
使用：Java 1.8.0_231 Hadoop 3.2.1 Flume 1.8.0在9000端口上创建了hdfs服务。 jps：11688 DataNode 10120 Jps 11465 NameNode 11964 SecondaryNameNode 12621 NodeManager 12239 ResourceManager ...
我想配置一个Flume代理，该代理应从Kafka主题中读取，并以Parquet格式保存数据。我应该怎么做？我找不到直接在...
我正在尝试使用以下代理配置将实时Wireshark数据与Flume一起放入HBase。源A1.Source.k1.type = exec A1.Source.k1.command = tail -f / usr / sbin / tshark Sink A1 ....
也许是以前曾问过这个问题，但是鉴于这些技术已经成熟，我认为今天再次考虑这个问题是很好的。我们正在寻找将水槽，kafka，抄写员或其他工具中的一种用于...
水槽Appender的问题：当水槽代理重记录期间下降了应用程序线程被卡住
目前，我们正在使用log4j的以下log4j的罐子核心-2.6.2，log4j的，水槽-NG-2.6.2
水槽。线解串器的unicode添加符号来loglines卡夫卡通道
我使用的水槽与解析nginx的日志下面的配置并把它们放到卡夫卡。的#define源，通道和水槽a1.sources = R1 a1.channels = C2＃描述/配置源a1.sources ....
Flume TAILDIR来源于Kafka Sink-静态拦截器问题
我正在尝试的方案如下：1- Flume TAILDIR源从日志文件读取并将静态拦截器附加到消息的开头。拦截器由主机组成......
我有kafka集群接收来自生产者的avro事件。我想使用水槽来消费这些事件，并将它们作为avro文件放入HDFS这是否可能与水槽？有没有人 ...
我一直试图在我的Windows系统上运行一个水槽代理来获取推特数据。我正在关注这个博客https://acadgild.com/blog/streaming-twitter-data-using-flume但是，每当我尝试运行...
当更改到新的一天的目录后，Flume在HDFS中留下.tmp文件
我正在使用Flume 1.7.0和HDFS接收器。我将Flume配置为将数据放入HDFS的日期目录中，以便在新的一天到来时自动更改目录。问题是我设置了水槽......
我是Flume的新手。我有一个包含记录的大型CSV文本文件，每个文件大约有50个字符，CR-LF终止这些行。我想用Flume将这些数据摄取到HDFS中。 ......
我正在尝试编写一个非常简单的avro架构（很简单因为我只是指出我当前的问题）来编写基于json格式存储的数据的avro数据文件。诀窍是一个领域是......
如何解决Flume Syslog设置错误 - “事件大小大于指定事件大小：2500。考虑增加最大事件大小”
我正在尝试使用org.apache.flume.source.MultiportSyslogTCPSource设置Flume syslog源。设置和配置成功但我得到以下错误，而flume从...生成事件
我搜索过，有多篇文章关于如何使用'fileHeader'和'basenameHeader'作为spoolDirectory，虽然它似乎不适用于我的情况。我的目标是使用Flume来摄取文件......
某些HDFS接收器文件未关闭有人说如果接收器进程因Timeout条件等问题而失败，则不会尝试再次关闭该文件。我一直在查看我的水槽日志......
在阅读了Apache Flume以及它在处理客户端事件方面提供的好处之后，我决定是时候开始更详细地研究它了。另一个好处似乎是......
HDFS接收器与Flume Interceptor Morphline
我正在尝试使用Flume读取一个syslog，使用Morphline拆分成部分并将结果用分隔符'，'写入HDFS，但我不知道如何将'grok'的输出重定向到接收器中。 ...
我必须使用Hadoop相关工具分析存储在生产服务器上的Gzip压缩日志文件。我无法决定如何做到这一点，以及使用什么，这里有一些方法我...