logstash 相关问题

Logstash是用于管理事件和日志的工具。您可以使用它来收集日志,解析它们并将它们发送到存储器以供以后使用(例如搜索)。

在 Logstash 中将 XML HTTP 转换为 JSON?

当应用程序发生某些事件时,我有一个客户端发送 HTTP post 消息。 HTTP 是内容类型:XML,我正在尝试使用 logstash/elasticsearch 记录它们。 我遇到的问题...

回答 0 投票 0

无法从零确定时区 (secs:xxxxxx.xxx, utc~:\""

在没有 JDBC 的情况下,所有 ELK 堆栈都可以正常工作并创建索引。但是当我尝试从 SQL Sevrer 获取数据时它显示错误 无法从零确定时区 (secs:1682572498.097,utc~:"20...

回答 0 投票 0

Logstash:如何安装外部插件

这几天一直卡在比较简单的任务上。 我需要将这个插件 https://github.com/lukewaite/logstash-input-cloudwatch-logs 安装到我的 Logstash docker 容器中...

回答 0 投票 0

需要 Elasticsearch Logstash 过滤器方面的帮助

我想从另一个索引丰富主机名,因为在某些情况下,我的主索引中缺少该值。因此,我使用 Elasticsearch Logstash 过滤器来查询主机名{如附件所示}。

回答 1 投票 0

logback:合并控制台和 logstash json 的键/值

在 JVM 项目中,我们使用 logstash 在生产服务器上记录带有附加 JSON 数据的消息。 问题是 JSON 很难在控制台中读取。所以,我试着换成本地...

回答 1 投票 0

logstash不加载数据到elasticsearch索引

我已经在elasticsearch中创建了一个索引来存储一些测试日志,但是我无法从logstash中获取数据来加载。 我在 ES 中创建索引: 放声波墙 { “映射”:{ ...

回答 0 投票 0

动态映射字段的日志解析问题

我们在 logstash 中不断收到以下条目的错误: “无法为字段 [app.kubernetes.io/created-by] 动态添加映射。[kubernetes.lab 的现有映射...

回答 1 投票 0

如何删除 在 Logstash 中

出于安全原因,我需要解析 /etc/passwd 文件以查找过期或虚假帐户。使用以下过滤器解析一个示例文件后: 筛选 { 神交{ 匹配 => {"

回答 2 投票 0

如何使用logstash forwarder指定elasticsearch索引

我想达到的目标: 从 logback-spring.xml 或 application.properties 配置日志将在其中结束的 elasticsearch 索引。 我尝试了什么: 我目前正在使用这种依赖: <

回答 0 投票 0

logstash 的 Nginx grok 模式

以下是我的Nginx日志格式 log_format timed_combined '$http_x_forwarded_for - $remote_user [$time_local] ' '"$request" $status $body_bytes_sent ' '"$http_referer" "$http_user...

回答 2 投票 0

从 logstash 连接 elasticsearch 时连接被拒绝

[Ruby-0-Thread-9:/usr/share/logstash/vendor/bundle/jruby/2.6.0/gems/logstash-output-elasticsearch-11.9.3-java/lib/logstash/outputs/elasticsearch /http_client/pool.rb:213] elasticsearch - 尝试

回答 0 投票 0

如何比较电子搜索中的两个指数

我正在运行一个问题,我想比较两个弹性指数并找到其中一个指数丢失的文件。 我正在开发 ES 5.6 我有一个正在转换 fi 的 logstash 管道...

回答 0 投票 0

如何将丢弃的 csv 行输出到 Logstash 中的文件

我目前正在将 csv 数据导入 ES,并使用 drop {} 过滤掉与我的某些字段的正则表达式模式不匹配的行。 如何将丢弃的行记录到我可以分析的文件中......

回答 0 投票 0

Logstash 解剖过滤器

我想在此之前将 cvs.file 从 logstash 上传到 elasticsearch 通过 DISSECT FILTER 将具有不同数量字符串的单个单元格拆分为单独的单元格(字段) 分配 n...

回答 0 投票 0

Logstash 似乎没有收集数据

Logstash 似乎没有收集数据 得到了我的教程的会议 输入 { 标准输入 { } } 输出 { 弹性搜索{ 主机 => “本地主机:9200” 指数=>“

回答 0 投票 0

当 mongodb 数据更新时,Logstash 不会更新数据

为了同步elasticsearch和mongodb,我配置了logstash。 这是我的配置正常工作: 输入 { mongodb { uri => ''

回答 1 投票 0

Logstash Cloudwatch 插件——错误:请求中包含的安全令牌无效

我们有一个 ELK 堆栈在停止工作的 EC2 实例上运行。检查 Kibana、Elastic Search 和 Logstash 的日志后,我注意到这个错误: 插件: 我们有一个 ELK 堆栈在停止工作的 EC2 实例上运行。检查 Kibana、Elastic Search 和 Logstash 的日志后,我注意到这个错误: Plugin: <LogStash::Inputs::CloudWatch_Logs access_key_id=>"JSDFTGHUKEVSCHIDP5VY", secret_access_key=><password>, id=>"68ef61a27eed2bd3e2a969415fd27263924ca794001390c75f15c212eab", log_group=>["fluteui-Prod", " logstash[30989]: Error: The security token included in the request is invalid. Exception: Aws::CloudWatchLogs::Errors::UnrecognizedClientException secret_key 是一个 jsut 。在设置过程中,密钥和访问密钥被添加到 cloudwatch_logs_cloud.conf 文件中: sudo sed -i "s/access_here/$(sed 's:/:\\/:g' /home/access_key_id.txt)/" /etc/logstash/conf.d/cloudwatch_logs_cloud.conf sudo sed -i "s/secret_here/$(sed 's:/:\\/:g' /home/secret_access_key.txt)/" /etc/logstash/conf.d/cloudwatch_logs_cloud.conf 我查看了 .txt 文件和 cloudwatch.conf 文件,密钥在那里,但不知何故密钥传递不正确。有没有人遇到过这样的问题?

回答 0 投票 0

如何更改 json 对象列表中所有事件的字段名称而不拆分/再次获取 logstash 中的 json 对象列表?

例如,如果我给 logstash 以下输入: [{“a”:1,“b”:2},{“a”:14,“b”:65}] 我想将所有“b”字段名称更改为“c”...

回答 0 投票 0

如何解析 Logstash 中的 xml 属性并将它们以良好的格式存储在字段中

我正在 Elastic Logstash 中解析 XML 结构。我可以使用 xpath 解析所有元素,但当 xml 属性存储在字段中时,我对格式不满意。 基本的xml结构...

回答 0 投票 0

同步 MongoDB 与 ElasticSearch

我想将我的 MongoDB 数据同步到 ElasticSearch,我读了很多关于 elasticsearch river 插件和 mongo 连接器的帖子,但它们都已弃用 mongo 4 和 elasticsearch 7! ...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.