databricks 相关问题

有关Databricks统一分析平台的问题

如何在Scala中将字符串作为多边形读取(在Databricks上)

我有一个包含2列的数据集:一列是位置名称,另一列是多边形,坐标勾勒出相应的位置。此数据集来自csv文件...

回答 1 投票 0

Pyspark读取csv - NameError:未定义名称“spark”

我试图在databricks中运行以下代码以调用spark会话并使用它来打开csv文件:spark fireServiceCallsDF = spark.read.csv('/ mnt / sf_open_data / ...

回答 2 投票 1

使用Databricks Python脚本中的URL时,CERTIFICATE_VERIFY_FAILED和SSLV3_ALERT_HANDSHAKE_FAILURE

我正在使用Databricks使用Python版本3解析来自URL的JSON数据。感兴趣的URL:https://www.example.com/data/example.json实际上生成要下载的JSON文件中的输出,...

回答 2 投票 0

如何使用这种类型的列?

我不知道如何从这个SQL列类型中获取相关信息:array <struct <day_of_week:string,start:bigint,duration:bigint,enabled:boolean,created_at:timestamp,...

回答 1 投票 -1

如何停止DataBricks笔记本引用旧版本的egg文件?

在Azure上的DataBricks:我遵循以下步骤:从python egg创建一个库,比如simon_1_001.egg,其中包含一个模块simon。将库附加到群集并重新启动群集附加...

回答 2 投票 1

Azure Databricks - 无法创建托管表关联的位置已存在

我在Azure Databricks中有以下问题。有时当我尝试将DataFrame保存为托管表时:SomeData_df.write.mode('overwrite')。saveAsTable(“SomeData”)我收到以下错误:...

回答 2 投票 1

如何以编程方式检测Databricks环境

我正在编写一个需要在本地和Databricks上运行的spark工作。代码必须在每个环境(文件路径)中略有不同,所以我试图找到一种方法来检测是否......

回答 3 投票 2

语法在参数中添加变量时出错

我正在尝试将json文件的内容添加到文件夹creds.json中。但是,我在扫描字符串文字时遇到语法错误:EOL。请指教! dbutils.fs.put(“/ user1 / creds.json”,“{”......

回答 2 投票 -2

PySpark中的数据框未显示

我试图显示一个数据帧但不知何故,它一直告诉我,不是df定义!怎么会这样?这是代码:for key,val在mapping_dict.items()中:target_table =密钥文件,...

回答 1 投票 -1

Databricks display()函数与Jupyter等效或替代

我正在将当前的DataBricks Spark笔记本迁移到Jupyter笔记本,DataBricks提供方便美观的显示(data_frame)功能,以便能够可视化Spark ......

回答 3 投票 3

如何从数据库中的库中导入类?

我在azure中使用数据库来做一些机器学习工作,我正在尝试从特定的库中导入一个类,但它似乎与我以前的工作方式不同。 (我通常写python ...

回答 1 投票 0

将XML数据从Google Earth KML文件上传到DataBricks

我正在设置DataBricks来比较和对比来自多个来源的数据。部分数据采用CSV文件,部分采用JSON格式,其他数据采用Google Earth KML文件。最后一个......

回答 1 投票 0

可以在Azure Data Lake Gen 2 Rest API中使用通配符吗?

我创建了一个Azure Data Lake gen2文件系统来存储和恢复数据。我已经正确加载了我的数据(每天一个文件)但是,当我想使用Azure Data Lake gen2 Rest API时,我可以......

回答 1 投票 -2

Databricks与Cosmos之间的UPSERT / INSERT / UPDATE

目前,我们使用Azure Databricks作为转换层,转换后的数据通过连接器加载到Cosmos DB。场景:我们有2个文件作为源文件。第一个文件包含姓名,年龄......

回答 1 投票 0

减去两个数组以获得Pyspark中的新数组

我是Spark的新手。我可以在python Pandas Numpy中对数组求和,减去或相乘。但我很难在Spark(python)中做类似的事情。我在Databricks。比如这种......

回答 1 投票 -1

如何在创建机密范围时修复Databricks中的“命令未找到”错误

我正在尝试在Databricks笔记本中创建一个秘密范围。笔记本电脑使用我公司管理员创建的集群运行 - 我无权创建或编辑集群。我跟着......

回答 1 投票 0

聚合ArrayType行包含使用高阶函数的浮点数

我在Databricks上,我有一个表,其值列由数组组成。阵列本身由浮子组成。我需要一个新的列来总结这些数组。我的灵感来自......

回答 1 投票 0

koalas pip安装在pyarrow依赖上失败

我尝试使用推荐的pip安装考拉安装Databricks的新koalas软件包,但是在pyarrow安装上失败了。然后我安装了pyarrow并重试了考拉,但它仍然失败了...

回答 1 投票 0

如何将类型任何列表转换为类型Double(Scala)

我是Scala的新手,我想了解一些基本的东西。首先,我需要计算DataFrame的某个列的平均值,并将结果用作double类型变量。 ...

回答 2 投票 1

round()函数不适用于databricks-Python

我试图在databricks中使用round()函数将一些浮点值舍入为2位数。但是,databricks python不像普通的python那样工作。请帮我解释原因并......

回答 3 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.