logstash 相关问题

Logstash是用于管理事件和日志的工具。您可以使用它来收集日志,解析它们并将它们发送到存储器以供以后使用(例如搜索)。

使用 Logstash Aggregate Filter 插件来处理可能或可能没有排序的数据。

大家好!我正在尝试使用Logstash v7.7的Aggregate filter插件来关联和合并来自两个不同的数据。我正在尝试使用Logstash v7.7的Aggregate filter插件来关联和组合来自两个不同CSV文件输入的数据,这些数据代表了API数据调用。我的想法是产生一个 ...

回答 1 投票 0

使用Logstash将json字符串注入到不同的Elasticsearch索引中。

我有这些样本数据存储在postgresql的事件表中: {"playhead":0, "metadata":"{"class/":\"Broadway/Domain/Metadata/",\"payload/":{"console/":{"command/":{"Doctrine/Bundle/"..."。

回答 1 投票 1

Elasticsearch - 用逗号分割 - 分割过滤器 Logstash

我有一个值是动态的字段。我想在一个数组字段中存储空间分隔的标记,用于完成提示器比方说,如果我的字段val是hi how are you,那么我想有一个数组......。

回答 1 投票 0

在grok表达式之间使用分隔符

我必须为给定的行写一个grok表达式:2019-11-14 17:29:20 fqm.kfa::(1087651)我能够为行前的部分写grok::如下。%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{...。

回答 1 投票 1

logstash为s3特殊字符突变gsub。

我试图从logstash上传一个文件到s3。因此,我想替换掉字段中的所有特殊字符,这将是s3的关键。我在conf中使用的过滤器: filter { mutate { ...

回答 1 投票 0

使用Logstash同步两个mysql表的数据,并使用单一的Elasticsearch索引。

我有两张mysql表,我想把它们保存到一个Elastic索引中。表1:Product有id,name...等。表2:ProductWarehouse有productId,WarehouseId,qtyAvailable......等Product......。

回答 1 投票 0

如何在logstash中添加beats输入的主机名?

让我解释一下我现有的结构,我有4台服务器(Web服务器,API服务器,数据库服务器,SSIS Severs),并在这4台服务器中安装了filebeat和winlog,从那里我得到了所有的日志......。

回答 1 投票 0

为mongodb连接运行logstash时出错。

运行时出现这个错误。我正在尝试在mongodb和elasticsearch之间添加连接。通过logstash添加数据进行持续监控。然后我们将添加到Kibana。但是...

回答 1 投票 0

Logstash输出指数每年轮换

与Logstash和Elasticsearch有关的快速问题:如果我使用以下输出索引选项:index =>“ myindex-%{+ MM}”一旦达到一年或仅...就会覆盖最旧的索引吗?]] >

回答 1 投票 0

hadoop(特别是HDFS文件)与ELK堆栈的集成

我正在尝试将hadoop与ELK堆栈集成。我的用例是“我必须从HDFS路径中存在的文件中获取数据并在kibana仪表板上显示内容” Hive在那儿无法正常工作,因此我无法...

回答 1 投票 0

无法运行logstash。路径名包含空字节

我正在尝试对弹性搜索运行logstash,但出现此错误。我不知道是什么原因。请帮我。 [错误] 2020-06-14 01:17:31.633 [[main] -pipeline-manager] javapipeline-Pipeline ...

回答 1 投票 0

如何获取grok模式的字符串的最后一个字符

对你们大多数人来说,这可能是一个愚蠢的问题。我对logstash grok很陌生。我刚刚通过grok调试器成功运行了我的grok模式。以下是来自我的...

回答 1 投票 0

如何从logstash中的选择列中创建嵌套对象

我正在执行从xxx到数据库的选择*,我需要知道如何从该选择中获取两个或三个字段(field1,field2,field3),并使用这些值创建一个数组。关于...

回答 1 投票 0

带有jdbc驱动程序的Logstash-如何为sql_last_value设置初始值

根据Logstash文档,在运行任何查询之前,将sql_last_value参数设置为1970年1月1日,星期四,并根据last_run_metadata_path ...将其存储在YAML文件中...] >>

回答 1 投票 0

Filebeat输入字段未发送到Logstash

StackOverflow社区!我正在尝试使用Filebeat收集一些系统日志,然后在Kibana中查看它们之前用LogStash对其进行进一步处理。现在,由于我的日志位置不同,我...

回答 1 投票 0

将nodejs应用程序登录到kafka的最佳方法

[目前,我的应用程序使用Winston进行日志记录以进行控制台和Logstash,但是我需要将日志发送至kafka,然后将其流式传输以产生火花并将数据写入cassandra。我遇到了几种不同的...

回答 1 投票 0

Logstash无法检索存储在logstash-keystore中的密钥

我正在尝试将null值传递给密钥库。 Logstash无法正常工作,并且出现错误。如果未存储在密钥库中并且使用硬编码“”,则相同的配置也有效。错误:“无法...

回答 1 投票 0

带有Logstash + logstash转发器+ kibana + Elasticsearch的自定义日志

我已经配置了Logstash + logstash转发器+ kibana + Elasticsearch。它可以处理系统日志,例如Apache错误日志和syslogs。现在,我有一个应用程序日志,类似于以下发送者:sender @ ...

回答 2 投票 0

docker-compose:如何将秘密传递给logstash中的环境变量?

我正在docker swarm上运行麋鹿堆栈,而env变量存在问题。这是容器内部的变量“ ELASTIC_PASSWORD_FILE”。 bash-4.2 $ export声明-x ELASTIC_CONTAINER =“ true” ...

回答 1 投票 0

Keycloak记录到logstash

我们正在使用keycloak的头盔图,我可以在Web界面中配置日志的内部视图。是否可以将这些日志也发送到logstash?

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.