我正在尝试运行一个简单的 PySpark 程序来测试。
这是我的代码
`
if __name__ == "__main__":
spark = SparkSession.builder \
.appName("Welcome Spark") \
.master("local[2]") \
.getOrCreate()
data_list = [("Aishwarya", 21),("Jhanavi", 19),("Maithree", 23),];
df = spark.createDataFrame(data_list).toDF("Name", "Age")
df.show()`
我正在尝试将列表添加到数据框中。我在创建数据框时遇到错误。
data_list = [("Aishwarya", 21),("Jhanavi", 19),("Maithree", 23),];
df = spark.createDataFrame(data_list).toDF("Name", "Age")
df.show()
这对我有用。
import pyspark
from pyspark.sql import SparkSession
if __name__ == "__main__":
spark = SparkSession.builder.appName("Welcome Spark").master("local[*]").getOrCreate()
data_list = [("Aishwarya", 21),("Jhanavi", 19),("Maithree", 23),];
df = spark.createDataFrame(data_list).toDF("Name", "Age")
df.show()