logstash 相关问题

Logstash是用于管理事件和日志的工具。您可以使用它来收集日志,解析它们并将它们发送到存储器以供以后使用(例如搜索)。

Logstash jdbc 输入插件从没有唯一 id 或没有时间戳的数据库多次获取数据

我创建了一个名为 mypipeline 的管道,并将其与其他管道一起在 pipeline.yml (多管道)中执行。 这里的问题是我没有任何唯一的 id 或标识符列...

回答 1 投票 0

过滤掉非目录inode的hdfs审计日志

我正在使用logstash 将 HDFS 审核日志消息填充到 Kafka 主题中。 我在 Kafka 主题中收到的示例消息具有以下格式: allowed=true ugi={myuser} (auth:SIMPLE) ip={/x.x.x...

回答 1 投票 0

Logstash 无法连接到 kubernetes 上的 Elasticsearch

我在将 Logstash 连接到 Elasticsearch 时遇到问题。 我已经使用 helm 在 kubernetes 上安装了 ELK 堆栈。每个 Pod 都在运行并处于就绪状态。 Elasticsearch 和 kibana 完全没问题...

回答 2 投票 0

错误:exec /usr/local/bin/docker-entrypoint:Podman 上的 Logstash 容器的权限被拒绝

我正在尝试在 Podman 上运行 Logstash 的 podman 容器。 我的命令是这样的: podman 运行 \ --分离\ --名称 lgs01 \ --net els-net \ --发布 5000:5000 \ --发布 5044:5044 \ --发布8991...

回答 1 投票 0

在 fluidd 中使用日志时间更新时间戳/time_key 并不顺利

我有一个 Fluentd 客户端,它将日志转发到 Logstash,并最终通过 Kibana 查看。我尝试了几种配置来将时间戳更新为日志文件中的时间条目。然而,没有我...

回答 1 投票 0

ElasticSearch 7 未从 Logstash 上的 JDBC 获取 _id

我正在尝试使用存储到 SQL 数据库中的数据来更新 ElasticSearch 索引,以便添加到数据库中的每一行都会自动添加到 ElasticSearch 中。 我尝试设置主要...

回答 2 投票 0

如何在logstash中手动触发定时jdbc输入?

我有一个定时jdbclogstash输入并将数据加载到elasticsearch中。 输入 { jdbc { jdbc_connection_string =>“XXX” jdbc_user =>“XXX” jdbc_password => &...

回答 1 投票 0

Logstash 无法加载,文件不可读

尝试按照此答案使用 MongoDbJdbcDriver 在 MongoDB 和 Elasticsearch 之间同步。我使用 Docker Compose 进行开发,这就是 Logstash 的样子: 日志存储: 我...

回答 1 投票 0

从 Spring Boot 应用程序连接到 Logstash 时 Logstash-logback-encoder 连接超时

我在使用“net.logstash.logback:logstash-logback-encoder:7.4”启动 Spring Boot 3 应用程序期间收到以下错误 01:53:14,051 |-net.logstash.logback.appe 中的警告...

回答 1 投票 0

ssconvert - 如何指定特定字段格式

我正在寻找在Linux上使用ssconvert工具将.xlsx文件转换为csv时指定字段格式的方法。 我想要这些信息,因为实际上,我有一个位于浮动 PO 中的字段...

回答 1 投票 0

Elasticsearch - Logstash Grok 新字段日期格式是字符串而不是日期

我有一个场景,Logstash 使用 grok 将消息拆分为不同的字段。其中一个字段是 message_date 字段,该字段被提取并发送到 elasticsearch。 现在输入

回答 1 投票 0

logstash 管道中的加密

我有下面的java代码,它使用AES加密输入数据 SecretKeyFactory 工厂 = SecretKeyFactory.getInstance("PBKDF2WithHmacSHA256"); KeySpec 规格 = 新 PBEKeySpec(秒...

回答 1 投票 0

Kibana/Logstash 不使用 grok 模式提取数据

出于某种我不知道的原因,elasticsearch 不会使用 grok 模式从日志文件中提取数据: 输入 { 文件 { 路径=>“/mnt/tutorialdata/www1/access.log” 开始位置...

回答 1 投票 0

尝试制作一个logstashconf文件用于练习测试

我正在尝试为类制作一个logstash配置文件,但我无法弄清楚我在其中输入了错误的内容 我想我只是在某个地方有不正确的语法,但我不知道在哪里......

回答 1 投票 0

在 ElasticSearch 中创建多个索引

存在一个收集科学文献数据库的网站,用户可以在其中搜索并重定向到这些数据库。该数据集包含大约 16,000 个文档(在本例中为数据库),...

回答 1 投票 0

http.host:0.0.0.0 - 错误查找logstash:没有这样的主机

我在 k8s 上部署 ELK 但在 Filebeat 上出现错误 kubectl 描述 pod filebeat-filebeat-rpjbg -n elk /// 错误: 警告不健康的 8 秒(48 秒内 x5)kubelet 就绪探测失败:

回答 1 投票 0

无法解析json中键值对之间有空格的日志

我有一个包含 json 对象的日志。如果 json 对象没有空格,则会解析日志。如果键值对之间有空格,则不会被解析。 使用的配置文件 输入 { 系统日志{ 噗...

回答 1 投票 0

Kibana-Elastic Search 仅从界面返回特定字段

我有一个内部门户,带有用于日志管理的 Kibana-Elastic 搜索,并且我有一组字段。如何与搜索短语一起形成查询以检索并仅将指定字段显示为

回答 3 投票 0

将 PostgreSQL 与 ElasticSearch 同步

我目前正在 NestJS 上开发电子商务后端,并寻找在应用程序中实现 ElasticSearch 的最正确方法,问题是,我真的不明白 ElasticSearch 是如何知道的...

回答 1 投票 0

Logstash-Plug in-JMS 和 Weblogic 12.2.1 出现问题

我已经安装了Weblogic 12.2.1和最新的Logstash 7.5.2版本以及JMS插件v3.1.2。我正在努力使用 JMS 插件,并且我已经设置了 .conf 和 .yml,但它没有

回答 3 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.