当在PySpark中读取DataFrames, .csv文件时，我得到了这个错误 "name 'spark' is not defined"。我得到这个错误 "名字'火花'没有定义"

Question

rom pyspark import SparkConf 从 pyspark.context import SparkContext 从 pyspark.sql import SparkSession, SQLContext

从pyspark.sql.type中导入*。

df = spark.read.csv("homsourabhDownloads1535617931_LMS_DATA_1.csv",inferSchema=True, header=True)df.printSchema()

Answer 1

这是因为你在做之前没有创建任何spark session的实例。spark.read你将不得不创建一个SparkSession对象，可以像这样做 spark = SparkSession.builder().getOrCreate() 这是最基本的定义方式，你可以用以下方法为它添加配置 .config("<spark-config-key>","<spark-config-value>").