使用％pyspark中的Dataframe到zeppelin中的％python

Question

我在％pyspark中有一个pandas数据帧，我想在zeppelin中的％python单元格中使用它。我无法做到。知道如何做到这一点？

Answer 1

你可以直接使用它，毕竟它都是python，％pyspark只是一个python的API，使用python语言的spark，你也可以在pandas DataFrames和pyspark DataFrame之间切换：

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('app_name').getOrCreate()
your_pyspark_df = spark.createDataFrame(your_pd_df)

另外，您可以使用.toPandas（）方法返回pandas DataFrame。