如何在 pyspark 中使用 varchar(50) 创建模式或在 pyspark 中转换为 varchar(50)

Question

schema = StructType([StructField("column_name", StringType(), True) 

在我的列目标系统中，他们分配了 50 长度，并且我在 databricks 中创建了 StringType 模式，默认情况下将数据从 databricks 加载到目标数据库时，它分配 4000 长度，因为这个 cpu 消耗更多。如何处理 databricks 中的长度

Answer 1

您可以使用

VarcharType

类型，如下所示。

schema = StructType([StructField("column_name", VarcharType(50), True)