ETL是Extract，Transform和Load的首字母缩写。它指的是从源系统提取数据，以某种方式转换数据（操纵它，过滤它，将其与其他源组合），最后将转换后的数据加载到目标系统的过程。
我无法在glue版本4中使用mongo连接url，但在glue版本3中工作正常
我已经使用 awsglue 从 mongo db 中提取数据大约一年了。我一直在使用glue版本3。我可以使用awsglue版本3执行etl，但是一旦我选择glue版本4，然后...
作为个人项目，我正在从数据集创建一个小型数据模型。 现在我在两个表之间创建外键时面临问题。 如果公共不存在则创建表。“年” ( ...
我正在设计一个服务，不断从多个来源提取数据（比如mysql/postgres表、雪花数据库、redshift等），进行一些转换（简单的字段映射）并保存数据...
有人知道是否仍然无法从管道/数据流中删除（而不是隐藏）未使用或冗余的列？好吧，我想可以选择删除列或只是
将数据从 API 加载到 BigQuery 的首选方式是什么？
我正在尝试将数据从 REST API 获取到 Google Cloud Platform (GCP) 上的 BigQuery 中。实现这一目标的最佳方法是什么（不使用任何第三方工具，例如 Funnel.io 或 Supermetrics）？
使用 Python ETL (petl) 创建 ETL 管道
我有一个相对直接的 ETL 任务： 读取存储在存储桶 (S3) 中的 CSV 中提供的客户数据。 将数据解析/转换为可用的查询。 最后，将其加载到 postgre...
从 s3 读取数据后将数据写入 DDB 时，失败并出现以下错误： 错误类别：UNCCLASSIFIED_ERROR；调用 o112.pyWriteDynamicFrame 时发生错误。提供...
我正在构建一个 ETL，但是，我有一个限制： 我必须使用常规 HTTP 请求与数据库进行通信（将 SQL 查询作为字符串发送）。 我正在寻找可以帮助我的软件包和工具...
直接将雪花 dwh 中的表加载到 postgreSQL 数据库中
我正在尝试编写一些Python脚本，这些脚本将获取我在雪花中的表并将它们传输到postgreSQL数据库。我必须将雪花表中的每一行转换为 json 字符串，所以在
SSIS 条件拆分错误 - 表达式计算结果为 NULL，但“条件拆分”需要布尔结果
这是我第一次使用这个软件。我正在尝试拆分该值，但它显示了这一点，当我看到我的源时，我没有任何 null 值，但当我预览它时，它在...
将 Excel 表格列（并非全部）转换为行 - 长到宽的转换
需要将Excel表格的列转换为行。我尝试将数据透视表的值转换为文本，但找不到用其基础数据替换值字段的方法（显示为 te...
是否可以将 OleDbConnections 与脚本组件一起使用？
我正在构建一个 ssis 包，我希望在脚本组件内使用现有的 OleDbConnection。这是我的代码： 公共覆盖无效AcquireConnections（对象事务） { 基地。
将数据从一个环境中的一个模式导入/导出到 postgres 中的另一个环境
由于数据方面的挑战及其当前的情况，需要对某些表以自动方式将数据从较高的环境导出到较低的环境。 寻找批量导出的任何建议/
我的 abinitio ETL 代码中有一个 DDL，如下所示， 十进制 (“\x01”.6) AMOUNT = NULL (“”) 这是什么意思？是四舍五入到小数点后 6 位还是截断到小数点后 6 位？ 例如，123.4567889 = 123.456788...
在什么情况下我必须在informatica powercenter中使用转换而不是sql查询？
如果我可以通过写SQL来实现，是不是就不需要使用转换组件了？我想知道在什么情况下使用转换比 sql 查询更好？我听说隐藏了
AWS Glue Python 作业 VS AWS Glue Spark 作业
我有一个用例，我必须创建一个 AWS Glue ETL 作业以将 S3 对象中存储的数据更新到 DDB 中的现有表。需要考虑的几个属性是： 目前数据集约为 40...
我有一个文件，在 ADLS 中以非结构化 txt 形式存在。我想以文本形式读取整个文件内容并将其传递到 Azure 数据工厂中的存储过程。这可以通过 Azure 来完成吗...
如何根据文件夹 F2 中是否存在其内容来复制文件夹 F1 中的 XML 文件（忽略文件名）
我们已经为我们运行的其他进程准备了一个 Azure 数据工厂，因此正在尝试使用它来解决以下问题： 我们已经拥有的： ADF 已部署并运行，我们只需创建一个...