Syslog连接器-CEF源

问题描述 投票:0回答:1

[尝试查找有关如何配置Confluent syslog连接器以接受CEF格式的数据的示例。我已经启动并运行了syslog连接器,但是在connect.log中看到这些错误,从没有进入我的主题:

[2020-03-24 23:56:09,181] WARN decode() - Could not parse message. request = 'SyslogRequest{receivedDate=2020-03-24T23:56:09.181, remoteAddress=/<some ip>, rawMessage=Wed Mar 25 00:31:30 2020 1/1/e1 CEF:0|Gigamon|metadata|unknown|4|metadata generation|6|GigamonMdataDeltaBytesRcvd=40 GigamonMdataDeltaPKtsRcvd=1 GigamonMdataFlowStartSysUpTime=264840090 GigamonMdataFlowEndSysUpTime=264840090 proto=6 src=<some ip> dst=<some ip> spt=34846 dpt=9997 }' (io.confluent.connect.syslog.message.SyslogMessageParsingHandler)

我通过REST这样配置连接器:

curl localhost:8083/connectors -X POST -H "Content-Type: application/json" -d '{"name": "connect-syslog-netflow","config": { "connector.class": "io.confluent.connect.syslog.SyslogSourceConnector", "tasks.max": "1", "topics":"syslog-netflow","syslog.port": "2055","confluent.topic.bootstrap.servers": "localhost:9092", "confluent.topic.replication.factor": "1", "type": "CEF" } }'

类型CEF很难说出其传入格式。

运行5.0.1融合发行版,一个节点开发集群。

apache-kafka apache-kafka-connect syslog confluent-platform
1个回答
0
投票

因此,在获得融合支持后,我们确定了问题:

rawMessage=Wed Mar 25 00:31:30 2020 ...

将日期更改为:

rawMessage=Mar 25 00:31:30 ...

每周和每年的某天去除。

不幸的是,我不控制netflow源,所以我想在将数据发送到连接器之前,需要对数据进行某种自定义转换。

© www.soinside.com 2019 - 2024. All rights reserved.