如何将spark DataFrame转换为pandas DataFrame？

Question

在databricks中，我创建了一个spark数据框，需要转换为pandas数据框，

 sdf = spark.sql('select * from my_tbl')
 pdf = sdf.toPandas() 

但出现错误： ArrowInvalid：从时间戳 [us，tz=America/New_York] 转换为时间戳 [ns] 将导致超出范围时间戳：253402214400000000 文件，第 1 行 ----> 1 pdf=sdf.toPandas()

只是想知道如何修复，或者是否有直接通过调用 databricks 中的 SQL 来生成 panda 数据框？

Answer 1

数据框示例：

brand  type   Trans_dtt                  code     
CCA_T    A   2020-05-06T00:00:00-04:00   2020C01
CCA_T    B   2013-01-03T00:00:00-05:00   2012X02
CCD_I    A   2020-10-12T00:00:00-01:00   2036T31
CCD_U    A   2020-09-22T00:00:00-01:00   2022T31