zeppelin独立用于学习目的与hdfs和spark我需要安装什么?

问题描述 投票:0回答:1

我不得不说,我有点混淆,我不会超过apache zeppelin documentation,我有以下问题。

我的最终目标是简单地让本地zeppelin与本地hdfs和本地spark一起使用,以便进行简单的练习,并且只需要最少的安装。

问题

  1. 齐柏林飞艇安装足够吗?它包括本地hdfs,spark的组件吗?
  2. 如果不是我还需要安装什么才能拥有本地spark和hdfs?
  3. 我是否需要安装本地hdfs(假设我想使用hdfs)并且我需要安装本地spark(假设我想使用本地spark)。

谢谢

hadoop apache-spark apache-zeppelin
1个回答
1
投票

安装Zeppelin,看看它是否带有Spark解释器。

我认为确实如此,我知道the documentation covers its configuration。但是,解释器不是Spark的安装,只是用于启动外部程序进程的配置。

是的,如果你想要HDFS,你需要设置和安装Hadoop。但是,由于您无论如何都使用单台计算机,因此不需要它,并且Spark代码对本地磁盘也是如此。

我知道我见过的Docker容器至少捆绑了Zeppelin和Spark。

或者,您可以使用Hortonworks Sandbox VM,它已经为您设置了所有设置。

© www.soinside.com 2019 - 2024. All rights reserved.