apache-nifi 相关问题

Apache NiFi是一个易于使用,功能强大且可靠的分布式系统,用于转换和分发数据。

除非(S3到HDFS)

我正在尝试使用ListS3,fetchS3object和PutHDFS将数据从S3复制到HDFS。 S3存储桶中的数据结构如下,需要将其复制到具有相同文件夹结构的HDFS(文件夹名称为...

回答 1 投票 0

将JSON转换为自定义格式NIFI

我正在尝试使用以下格式转换JSON:{payload_encrypted:data,timestamp:1469039049}我已经评估了JSON,现在我需要使用我的...中的属性

回答 1 投票 1

除非Apache和MTCONNECT

我有兴趣创建一个在工业PC上运行的软件,连接到某些CNC机床模型,读取数据并将其发送到远程云平台。根据要求,数据必须......

回答 1 投票 2

NIFI:内存错误,尽管堆大小增加

我陷入了NIFI服务拒绝启动的问题。我监控了nifi-app.log,发现它是OutOfMemory错误。我增加了bootstap.conf文件中的内存。但错误......

回答 1 投票 4

当verify设置为False时,Python'requests'包 会抛出SSL异常(在Apache Nifi中)

我有一个用于NIFI的ExecuteScript处理器,它运行以下脚本:import requests import json import logging postMap = {'a':'https:// a / v / 1','b':'https:// b / v / 2'} flowFile = session.get()...

回答 1 投票 1

Nifi:将属性处理器路由到错误的处理器

我正在测试NIFI中的流程,该流程使用REST API检查计数器的特定值。我能够从REST响应中提取正确的值。但是,当我在路线上检查条件时......

回答 1 投票 0

Nifi:如何在一个线程(处理器)中对文件进行写入和检查操作?

如何只使一个点(处理器或服务)将写入文件并使其在单线程中工作,在我的情况下,我有像这样的脚本执行工作流程(单线程处理器...

回答 1 投票 0

如何使用jolt在json中使用value = current_timestamp添加键值标记

我正在尝试使用jolt对JSON进行JSON转换,我有以下示例JSON想要转换为预期的JSON。你能用jolt库来帮助我。我还想添加一个新的钥匙-...

回答 2 投票 0

在nifi中进行Impala DML操作?

是否可以在NiFi中进行impala DML操作?我已经设置了一个连接到impala的DBCPConnectionPool,我可以使用ExecuteSQL处理器完成select语句。现在我 ...

回答 1 投票 0

如何通过MongoDB查询结果有条件地处理FlowFile?

我需要根据MongoDB查询的结果处理文件列表,但我找不到任何可以让我这样做的处理器。我基本上必须采取每个文件并处理它或完全...

回答 1 投票 0

使用python读取Avro文件以创建SQL表

我正在尝试从AVRO文件创建一个包含我的表结构的SQL表:{“type”:“record”,“name”:“warranty”,“doc”:“由Ki te生成的模式”,“字段” “:[{”......

回答 1 投票 1

Nifi记录很重要

我使用Nifi从远程服务器获取文件:我的文件如下:timestamp(ms),nodeID,值12345,x,12.4 12346,x,12.7 12348,x,13.4 12356,x,13,6 12355,y, 12.0我现在只是去取得......

回答 1 投票 0

Apache NiFi - 请求包含无效的主机头

我正在我的工作场所使用Docker运行Apache NiFi实例并使用代理。我把官方容器拉下来,旋转容器并将其设置为8081而不是8080 ...

回答 2 投票 0

从docker-compose启动时无法访问NiFi UI

对于我的生活,我无法进入NiFi Web UI。这让我讨厌安全。 TLDR;我找不到在Docker容器中启动NiFi并仍然访问UI的正确方法。这是我尝试过的(对...

回答 2 投票 1

使用Groovy Nifi阅读FlowFile

我尝试将Avro文件转换为SQL请求。我的文件是这样的:{“type”:“record”,“name”:“warranty”,“doc”:“由Ki te生成的模式”,“fields”:[{“name”:“id”,“。 ..

回答 1 投票 0

除非使用,除非1.5.0 1.2.0处理器

有一个特定的处理器,如下所述,我感兴趣的是1.5.0中有一个额外的功能,而1.2.0,所以我想使用它。处理器名称:QueryDatabaseTable是......

回答 1 投票 0

Nifi QueryDatabaseTable处理器,何时会重置该值?

根据下面提到的文档,似乎我将重新启动处理器,它将重置我提供的最大列值的值,并将从头开始获取数据....

回答 1 投票 0

Avro在Docker Swarm中的所有服务的基本映像? NiFi - > Kafka - > PostgreSQL

我是Docker的新手。也是NiFi和Kafka的新手......问题:如何使用Docker堆栈管理Avro?我是否为我在docker-compose.yml文件中构建的每个图像安装Avro?我应该单独...

回答 1 投票 0

会话未在nifi自定义处理器内关闭异常

想要获取文件并使用它的xml内容,然后更新其中一个标签,但更明显的错误ffstream = session(flowfile),后来关闭ffstream.close()不关闭...

回答 2 投票 0

Apache NiFi将所有日志重定向到stdout

我一直在尝试将所有Apache NiFi日志重定向到stdout,将新的STDOUT appender配置到其./conf/logback.xml中。看起来像这样:

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.