雪花存储过程并行性

问题描述 投票:0回答:1

我有使用 Javascript 编写的雪花存储过程。从我的主 sp1 中,我正在读取表名称列表。使用迭代器将表名传递给 sp2 进行数据加载过程。

create procedure sp1()
language javascript
$$
  tbllist=['tb1','tbl2','tbl3'];
  for tbl in tbllist:
    stmt='call sp2('tbl')'
$$

但是 sp2 是按顺序调用的。我正在尝试并行调用此存储过程来处理数据。

有什么解决方案可以实现这一目标吗?我尝试利用 Snowpark 使用 Python 语言创建存储过程。但它不是同时调用查询。

pyspark snowflake-cloud-data-platform
1个回答
0
投票

Python 存储过程可以使用 AsyncJob 进行并行执行。

© www.soinside.com 2019 - 2024. All rights reserved.