如何在apache zeppelin中使用hdfs shell命令？

Question

我通过下载和解压缩binary with all interpreters安装了apache zeppelin

然后我开始使用：

./bin/zeppelin.sh start

然后我创建了一个包含以下代码的新笔记本：

%sh

hdfs fs -ls

当我运行它时，我得到了我得到的结果：

bash: hdfs: command not found
ExitValue: 127

是不是齐柏林飞艇应该与hdfs interpreter或支持hdfs命令？

如果zeppelin不包含hdfs文件系统，那么我启动：https://github.com/big-data-europe/docker-hadoop-spark-workbench

然后用docker-compose启动它。我导航到git自述文件中提到的各种网址，所有内容似乎都已启动。我认为这意味着我有一些hdfs，但我不确定我是否应该这样做，或者来自zeppelin的“all”解释器包已经包含它，无论如何我得到了相同的结果。

我的最终目标是在hdfs的帮助下，spark和zeppelin的当地游乐场。

我怎么能运行hdfs命令，如hdfs fs -ls与本地安装的包括all interpreters的apache zeppelin？它包括hdfs和hdfs命令吗？

Answer 1

确实如此，但您正在使用shell解释器。

确保安装了file解释器：

$ ./bin/install-interpreter.sh --list | grep file
## file         HDFS file interpreter

如果没有安装它

$ ./bin/install-interpreter.sh --name file

将file解释器添加到笔记本中并使用它

%file

ls /

要使用hadoop fs命令，您需要安装Hadoop（Hadoop二进制文件和正确的配置和环境变量）：

%sh

$HADOOP_HOME/bin/hadoop fs -ls /

你需要一个更复杂的任务，作为HDFS解释器（a.k.a。file解释器）

目前仅支持浏览。