如何连接到flink elasticsearch版本6.2.2到flink 1.4.1

问题描述 投票:0回答:2

我使用elasticsearch 6.2.2作为flink中的接收器,但是在阅读apache flink文档时,我可以看到elasticserver版本5.x的连接器,但没有提到6.x的连接器。

flink是否支持elasticsearch 6.x的任何连接器?或者我应该制作任何http客户端并发布帖子请求以便每次创建或更新新文档?或者是他们的任何其他技术?

elasticsearch apache-flink
2个回答
0
投票

Flink 1.4.x没有为Elasticsearch 6.x提供连接器,并且包含的​​连接器仅适用于Elasticsearch 5.1.x(由于在5.2.x中Elasticsearch的客户端中的API中断更改)。

Flink的JIRA中有一个未解决的问题,即跟踪Elasticsearch 6.x支持FLINK-8101的进展情况。


0
投票

作为@ fabian-hueske答案的解决方法,您可以执行以下操作:

1)您可以编写一个自定义Http接收器,使用Elasticsearch REST API将数据发送到Elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html

2)您还可以使用以下librarie https://github.com/sksamuel/elastic4s创建自定义接收器,以通过TCP连接到Elasticsearch

© www.soinside.com 2019 - 2024. All rights reserved.