Google Cloud Dataproc是Google云端平台上的托管Hadoop MapReduce，Spark，Pig和Hive服务。该服务提供GUI，CLI和HTTP API访问模式，用于部署/管理集群以及将作业提交到集群。
我们正在尝试以集群模式运行Dataproc集群，但是没有这样做。我们尝试了--properties spark.submit.deployMode = cluster属性，但失败了。有人可以提供有关...的更多信息吗？] >>
如何使用Python SDK生存时间创建dataproc集群
我尝试使用python SDK创建一个dataproc集群，该集群的生存时间为1天。为此，dataproc API的v1beta2引入了LifecycleConfig对象，该对象是......>
我有一个带有2个工作程序节点的Dataproc集群。我的pyspark程序非常简单1）从Bigquery读取500MB数据2）应用一些UDF 3）根据某些...
Google Cloud Data Catalog可以用作Dataproc（Spark / Hive / Presto）以及GCS文件的元数据存储库吗？
我们正在使用MySQL（Cloud SQL）作为Dataproc的元数据存储库。这不会存储不属于Hive外部表的GCS文件的任何信息。谁能建议...
可抢占的工作器VM上是否支持GPU？本文档声称：GPU无法连接到Dataproc群集中的可抢占虚拟机。但后面的部分提到：附加...
java.lang.ClassNotFoundException：com.google.cloud.sql.mysql.SocketFactory
从dataproc连接到Cloud sql时，我需要帮助识别问题。我需要从spark.read.jdbc的云SQL实例读取表。我指的是这个https：//github.com / ...
使用Jupyter中的点导致Google Dataproc群集中的内核死机
我使用以下命令创建了一个Dataproc集群：gcloud beta dataproc集群创建my-cluster \ --project my-project \ --bucket my-bucket \ --region my-region \ --zone my -...
在创建带有架构详细信息的数据框时，Dataproc出现Pyspark错误
我有一个与Anaconda一起使用的Dataproc集群。我创建了一个虚拟环境。在anaconda my-env内部，因为我需要在那里安装开源RDkit，因此我再次安装了PySpark（不使用pre -...
我使用以下命令在Google DataProc中创建了一个集群：gcloud beta dataproc集群创建my-cluster \ --project my-project \ --bucket my-bucket \ --region my-region \ --zone my-zone \ ...
如何将Google Cloud Dataproc上的Hive数据库连接到Tableau
我已经创建了Google Cloud Dataprocs集群，然后继续创建Hive数据库和表，并在表中填充数据。我现在正在尝试将此表作为数据源连接到...
创建GCP Dataproc集群时出错：拒绝'compute.projects.get'的权限]]
正在尝试通过云SDK来使用服务帐户创建Dataproc集群。抛出一个错误，compute.projects.get被拒绝。服务帐户具有计算查看器访问权限，计算实例...
创建数据proc群集时出错。对cloud.projects.get的权限被拒绝
我正在尝试通过云SDK来使用服务帐户创建dataproc集群。抛出一个错误，compute.projects.get被拒绝。服务帐户具有计算查看器访问权限，计算实例...
'create GCP dataproc cluster'错误。.'compute.projects.get'的权限被拒绝]]
试图通过云SDK来使用服务帐户创建dataproc集群。抛出一个错误，compute.projects.get被拒绝。服务帐户具有计算查看器访问权限，计算实例...
我可以恢复在GCP Dataproc中删除的Jupyter笔记本
[您不小心删除了我在DataProc中运行的Jupyter笔记本，但在我的GCS存储桶中看不到检查点文件夹。有任何恢复建议吗？
我有一个Hadoop作业，正在尝试在GCP Dataproc群集上运行。作业采用一个参数，即文件名，用于配置作业的某些方面。我似乎找不到办法...
创建Google Cloud Dataproc群集时出错-无法访问初始化代理脚本
我正在尝试使用以下命令创建我的第一个Google Cloud Dataproc集群：gcloud dataproc集群创建蜂巢群集\ --scopes sql-admin \ --image-version 1.3 \ ...
gcp dataproc如何在交互式登录和ssh命令之间使用相同的python
对于gcp dataproc群集，如果我ssh运行命令gcloudcompute ssh --internal-ip mycluster-m some_command.sh，我得到的python是/ usr / bin / python但是，当我登录时，我得到了系统conda ...
Hadoop上的Sqoop：NoSuchMethodError：com.google.common.base.Stopwatch.createStarted（）
我正在Google Cloud DataProc的hadoop上运行sqoop，以通过Cloud SQL代理访问postgresql，但是我遇到了Java依赖错误：INFO：第一个Cloud SQL连接，生成RSA密钥对。 ...
如何在Google Dataproc主节点上启用pyspark HIVE支持
我创建了一个dataproc群集，并手动安装了conda和Jupyter笔记本。然后，我通过conda安装pyspark。我可以从pyspark import SparkSession sc = SparkContext（...]