我正在尝试从AWS RDS系统读取数据并使用SPARK写入Snowflake。我的SPARK作业建立了与RDS的JDBC连接，并将数据拉入数据帧，另一方面，我使用雪花连接器将相同的数据帧写入雪花。
问题陈述：当我尝试写入数据时，即使30 GB的数据也要花费很长时间来写入。
我尝试过的解决方案：1）在写入之前重新划分数据帧。2）缓存数据帧。3）在写入之前对df进行计数以减少写入时的扫描时间。