从Kafka读取数据并将其存储在dynamo db中

Question

我需要从Kafka代理中的多个主题读取数据并将数据存储在Dynamo DB中。我可以继续使用任何参考代码或任何特定方法。

我尝试使用https://github.com/shikhar/kafka-connect-dynamodb，但我不能得到很多帮助，因为我是新手。

Answer 1

从Kafka读取并写入Dynamo的选项之一是Nifi。

使用ConsumeKafka Nifi处理器作为消费者：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-kafka-0-9-nar/1.5.0/org.apache.nifi.processors.kafka.pubsub.ConsumeKafka/

和PutDynamoDB写：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-aws-nar/1.5.0/org.apache.nifi.processors.aws.dynamodb.PutDynamoDB/

这也便于进行任何快速转换，分叉等。