将 Hive UDF Java 逻辑转换为 BigQuery SQL 的最佳实践

Question

在从 Hive 迁移到 BigQuery 的过程中，人们经常面临将 Java 编写的 Hive UDF 转换为 BigQuery 的 SQL UDF 的问题。将复杂的 Java 逻辑（例如循环和条件）转换为 BigQuery 中的等效 SQL 语句的最佳实践或方法是什么。是否有结构化方法或工具可以帮助进行此转换，尤其是对于复杂的 Java 函数？

Answer 1

旅程从新的 BigQuery 数据仓库中是否需要 UDF 的基本问题开始。我们在评估期间检查该函数是否用于将迁移到 BQ 端的任何转换。如果不是，我们会得到一个简单的解决方案 - 无需迁移，我们可以享受这个结果的简单性。但是，如果确实需要 UDF，我们接下来会探索 BigQuery 的本机函数库，看看是否有现有功能可以复制 Hive UDF 的功能。当原生 BigQuery 功能可用时，我们会采用它，拥抱 BigQuery 的内置效率。

在 BigQuery 不提供本机替代方案的情况下，我们会深入研究我们正在处理的函数类型。对于标准 UDF，我们评估在 BigQuery SQL 中重新实现它是否可行；如果是这样，我们将继续采用这种以 SQL 为中心的方法。如果没有，我们会转向 Google Cloud 的无服务器解决方案并利用 BQ 远程 UDF 功能。这个选项很有吸引力，因为我们可以使用 Java 并保持核心功能代码不变。如果由于某种原因远程函数在我们的情况下不可用，我们总是可以回退到使用 JS UDF。

对于 UDAF，决定取决于数据量，具体来说，聚合是否在有限范围内运行。对于可管理的数据分组，我们可以使用 BigQuery 的 ARRAY_AGG 函数制作自定义聚合。对于更笨重的聚合，我们可能需要完全重构我们的方法或将处理转移到 Google Cloud Dataflow 或 Dataproc，以确保可扩展性和性能。

最后，对于 UDTF，如果我们想留在 SQL 领域，路径很简单：我们将函数转换为以数组形式生成元素，利用 BigQuery 的 UNNEST 函数将数组展平为多行。如果这种方法不起作用，我们可以随时返回使用 Cloud Dataflow 或 Dataproc 来实现我们的功能。

该决策树不仅有助于有条不紊地将 Hive 的自定义功能迁移到 BigQuery，而且还确保所采取的每一步都符合 BigQuery 的最佳实践和架构，保证平稳高效的过渡。

阅读这篇帖子，了解更广泛的背景和更多信息。