etl 相关问题

ETL是Extract,Transform和Load的首字母缩写。它指的是从源系统提取数据,以某种方式转换数据(操纵它,过滤它,将其与其他源组合),最后将转换后的数据加载到目标系统的过程。

根据同一表中另一列的值更新表中的列

我正在尝试更新下表中的 order_date 列。要求如下:对于每个 Med_Number,order_date 必须是最早/初始 transaction_Date。 Med_numbe 的示例...

回答 1 投票 0

如何在我的数据库中确定并实现3NF?

创建表 season22_23.stands ( 团队 VARCHAR(35) 主键, 位置 INT 唯一, 播放 INT NOT NULL, 赢得了 INT NOT NULL, 绘制的 INT NOT NULL, 丢失 INT NOT NULL, 果阿...

回答 1 投票 0

错误:运行 abbreviation_column_method 时。失败,但有异常:列不可迭代

缩写映射 = { “E”:“欧洲”, “A”:“美国/加拿大”, “S”:“南美洲”, “O”:“澳大利亚...

回答 1 投票 0

psycopg2.OperationalError:连接到“default-workgroupxxx.redshift-serverlessx”(172.31.1.60)的服务器,端口 5439 失败:连接超时

我正在尝试使用 python psycopy2 将数据加载到 AWS Redshift Serverless #从仓库接口导入仓库 导入boto3 从 dotenv 导入 load_dotenv 导入操作系统 导入psycopg2 #任何文件...

回答 1 投票 0

ETL 中的分层数据

我是 ETL 工具的新手,但我发现它们都适用于平行模型。 IE。如果您的数据需要一些图形对象转换(即检查父字段或其他

回答 3 投票 0

如何在Python中自动将JSON对象插入到SQL Server中?

我正在从 API 检索一些数据并将其插入本地 SQL Server 数据库以进行数据分析。 我想创建表并根据Json o将其填充到SQL Server中...

回答 1 投票 0

SSIS 在另一台服务器上查询 Oracle 数据库时选择了错误的日期

通过 SQL Server 代理运行 SSIS etl 包并针对另一台服务器中的 Oracle 数据库使用时间/日期(预期日期为当前日期减 1)进行过滤时,查询返回较早的日期...

回答 1 投票 0

spring boot 基于配置文件的调度

我已经使用 Spring Boot 开发了许多 REST API,但现在我需要开发不同类型的应用程序,我感到很困惑。在我之前的项目中,args(命令行参数)不是

回答 1 投票 0

无法初始化链接服务器的 OLE DB 提供程序 Microsoft.ACE.OLEDB.12.0 的数据源对象(空)

声明 @PATH NVARCHAR(1000) = N'\MY-SERVER\C$\Folder\' 声明 @TABLE NVARCHAR(50) = SUBSTRING(@FILENAME,0,CHARINDEX('.',@FILENAME)) 声明 @SQL NVARCHAR(4000) = N'IF OBJECT_ID(''dbo.' + @...

回答 6 投票 0

如何在SSIS中调用restful API(经过身份验证的端点)进行ETL

我对 SSIS 和 Restful API(以及每种类型的 API)相对较新,对我来说弄清楚这个主题有点困难。 那么如何调用SSIS中的restful API进行ETL呢? 我不明白这个; 如果问题是...

回答 1 投票 0

使用nifi,如何将JSON对象插入Postgres jsonb列?

目前我的nifi流程如下: ListS3 -> RouteOnAttribute -> RouteOnAttribute -> FetchS3Object -> ConvertRecord -> PutDatabaseRecord 我在 s3 存储桶中列出了 CSV 文件并且...

回答 1 投票 0

Gathr 与 JIRA 的集成:有连接器或 API 吗?

我目前正在致力于将 Gathr 与 JIRA 集成,虽然文档可用,但我发现遵循某些步骤具有挑战性。我们的目标是简化通信和数据......

回答 1 投票 0

Oracle CPQ 到雪花

我正在寻找一些有关如何将 Oracle CPQ 中的数据提取到雪花的建议。我不知道 Oracle CPQ 是如何工作的,也不确定数据模型系统是如何工作的。有没有...

回答 1 投票 0

SSIS Excel 2021 导入

我正在尝试连接到 Excel 源,我的 Excel 文件版本是 2021,但可用的选项如下所示(3.0 4.0 2007-2010 2013 和 2016): 在此输入图像描述 所以无论什么版本...

回答 1 投票 0

如何通过 REST API 使用 Azure 数据工厂从 DYNAMICS 365 CE/CRM 检索超过 5000 条记录

如何通过 REST API 使用 Azure 数据工厂从 DYNAMICS 365 CE/CRM 检索超过 5000 条记录? 在Azure数据工厂中,我配置了如下分页规则,但不起作用。

回答 1 投票 0

连接管理器不会获取连接,因为连接管理器 OfflineMode 属性为 TRUE

我尝试在配置表中存储连接,但出现以下错误。 SSIS 未配置为脱机模式。 连接 Oracle 服务器时发生错误:异常...

回答 1 投票 0

如何创建ETL动态获取端口名

我有一张桌子 桌子: 第 1 列,第 2 列 1,2 3,4 我想创建 ETL 以仅提取另一个表中的端口/列名称示例我的目标表应包含一列,其中 2 行包含列名称

回答 1 投票 0

连接数据库 postgresql 时出现问题

我正在尝试读取表格并将它们插入postgresql中,以使我的etl_table中的暂存故事功能正常工作,但现在我收到一个错误,我不知道它是什么: main.ipynb ...

回答 1 投票 0

什么是提取/转换/加载(ETL)?

我尝试阅读维基百科文章“提取、转换、加载”,但这只会让我更加困惑...... 有人可以解释一下 ETL 是什么以及它实际上是如何完成的吗?

回答 6 投票 0

使用ksqldb连接来自多种类型源连接器的数据

我们正在评估 ksqldb 作为我们组织的 ETL 工具。我们的整个应用程序托管在 Microsoft Azure 上,并且大多数 PaaS 产品在我们的组织中更受欢迎。然而 1 个用例是我们...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.