Apache Nifi:从 REST 加载数据到 Druid

问题描述 投票:0回答:3

我正在使用 Apache NiFi。

从 REST API 加载数据到 Druid 的正确方法是什么?

etl apache-nifi druid bigdata
3个回答
1
投票

目前还没有任何基于 apache 社区的 Druid 连接器,但我们真的应该尽快制作一个。希望很快有人能贡献一份。


1
投票

您有 2 个选择:

  1. 选项 1 解决这个问题的一个简单方法是首先让 NiFi 转储 数据放入Kafka队列然后指向Druid Realtime节点拉取数据 从 Kafka 队列中实时索引数据。
  2. 选项2是将NiFi的数据带到Storm集群中应用一些 如果需要的话进行转换(例如流连接..)然后使用 Tranquility 将数据推送到 Druid。

我不是 NiFi 专家,但我认为你总是需要像 kafka 这样的东西来缓冲事件,因为我不认为 NiFi 确实提供缓冲队列(同样我对这个说法不是 100% 确定)。


0
投票

Mirate el Procesador PutDruidRecoder en la version de Nifi 1.9.2,la configuración no la tengo clara,pero es con eso.

© www.soinside.com 2019 - 2024. All rights reserved.