spark读取textFile与csv之间的差异

Question

我正在尝试读取由|分隔的文本文件。我正在尝试这个

spark.read.format("com.databricks.spark.csv").option("header","true").option("delimiter", "|").option("inferSchema","true").csv("/tmp/file.txt").show()

我只读/看标题但没有数据。

当我尝试使用textFile进行相同操作时，我正在获取数据，但全部集中在一栏中

spark.read.format("com.databricks.spark.csv").option("header","true").option("delimiter", "|").option("inferSchema","true").textFile("/tmp/file.txt").show()

是否可以通过csv读取数据？我正在使用spark 2.4.4

Answer 1

spark.sparkContext.textFile返回RDD[String]

spark.read.csv返回DataFrame

• [C0之间的更多差异

来自textFile vs csv textFile vs csv具有内置的spark2.0+，可以由spark session()（或）csv package访问。

spark.read.csv

spark.read.format("csv")

Answer 2

问题的原因是该文件位于UTF16中，所以我不得不对其进行转换并在其上运行dostounix。谢谢你的建议。道歉，我真的不知道