在 zeppelin 0.8 + Spark 中读取 csv 文件

Question

我正在尝试使用这样的 Spark 读取飞艇注释中的 csv 文件（我还尝试了使用 \ 或 // 的路径的多种语法）：

这是我的代码：

%spark
val button2 = <div class="btn btn-success btn-sm">READ CSV</div>.onClick{() =>
try {
    //val df = spark.read.option("header", "true").csv("C://Users/ut00xzh7/Documents/TEST_CSV_AC_CREATION/ac_lst.csv")
    val df = spark.read.format("com.databricks.spark.csv").option("header", "true").load("C://Users/ut00xzh7/Documents/TEST_CSV_AC_CREATION/ac_lst.csv")
    val res= df.collectAsList()
    AngularModel("result", res)
}

我收到此错误：

java.io.IOException: No FileSystem for scheme: C

经过一些研究后，我发现我可以使用

%dep

添加库，但我没有任何权利这样做，所以我有点坚持这个。

Answer 1

您需要将路径指定为

file:///C:/Users/...

，在 URI 中强制执行本地文件方案。否则，磁盘

C

被视为 URI 方案（

scheme:authority/path

的一般表示）

Answer 2

我在尝试加载文本文件时在 Zeppelin 中遇到错误。错误消息为 org.apache.spark.sql.AnalysisException: 路径不存在: file:/C:/doc/mytext.txt