我正在使用 ADF 数据流来处理我的数据。我有一个用例，我需要根据库中的自定义逻辑将列 X 转换为 Y。在代码中处理时，我们可以将库导入项目来实现这一点。 ADF 数据流是否提供这种功能？我知道在这里可以对端点进行外部调用。但是为了简单的转换而进行数百万次调用似乎并不理想。
因为 ADF 通过 Integration Runtime 为数据流使用“托管 Spark”环境，我们不允许自定义库来执行数据流中的代码。最好的解决方案是通过使用笔记本、SQL 脚本或 Azure 函数的管道活动添加自定义逻辑来增强数据流。