databricks 相关问题

有关Databricks统一分析平台的问题

Python中的错误记录无法与Azure数据块一起使用

与这个问题有关的问题没有被我尝试在天蓝色数据砖中使用python实现错误记录的任何人回答。如果我在python(pycharm)中尝试下面的代码,它将按预期工作。...

回答 1 投票 0

Databricks:将数据帧合并到sql数据仓库表中

有没有什么方法可以向SQL数据仓库表中添加数据?假设我有一个Azure SQL数据仓库表:col1 col2 col3 2019 09 10 2019 10 15我有一个数据框...

回答 2 投票 1

将多个文件合并到一个数据框中,并推送到Azure SQL Server

在过去的几天里,我对此进行了一些研究,我想我已经接近完成这项工作了,但是仍然有些问题我还不太清楚。我相信这应该在...

回答 2 投票 0

Azure Databricks SparkSQL是否支持递归查询

我正在将数据从SQL Server移至Azure数据湖gen2,并使用递归查询转换SQL查询。这是使用CTE(公用表表达式)使用递归的示例SQL查询,其中有...

回答 1 投票 0

使用多行选项和编码选项读取CSV

在Azure Databricks中,当我读取多行='true'且编码='SJIS'的CSV文件时,似乎编码选项被忽略了。如果我使用多行选项spark使用其默认编码...

回答 1 投票 1

无法从azure数据块连接到sql server托管实例

我正在尝试从数据块连接到Azure Sql托管实例。我正在使用Scala连接到它。我从Microsoft网站复制的代码我的实际scala代码:(我已更改...

回答 1 投票 0

无法在community.cloud.databricks中序列化的任务

Databricks社区云抛出org.apache.spark.SparkException:任务不可序列化的异常,即我的本地计算机未抛出执行相同代码的异常。该代码来自...

回答 1 投票 1

Delta Lake Create Table具有类似的结构

我在“ / mnt / events-bronze”位置有一个铜级三角洲湖泊表(events_bronze),数据从kafka传输到该表。现在,我希望能够从此表中流式传输并使用“ ...

回答 1 投票 0


DataBricks:Spark数据帧的可旋转轴

假设我有以下数据框年份星期一值1值2 2019年1月10日10月2019年20月20日我想转向30年2019年10月10日10月10日我想转向:年...

回答 1 投票 0

在Databricks笔记本中可视化查询计划的能力发生了什么?

[Youtube上有一个古老的演讲(2014年),演讲者在Databricks笔记本中直观地看到了一个查询计划。这是屏幕截图:我正在使用databricks运行时5.5 LTS ML,并且只要...

回答 1 投票 0

使用Databricks Job api使用AWS Lambda函数调用databricks笔记本运行-提交端点

[我正在尝试建立一个调用databricks笔记本的AWS lambda函数(在s3触发器的情况下。如何通过在Lambda函数中使用python编码来使之成为可能,还需要...

回答 1 投票 0

Databricks-FileNotFoundException

很抱歉,如果这是基本知识,我错过了一些简单的事情。我正在尝试运行下面的代码来遍历文件夹中的文件,并将以特定字符串开头的所有文件合并到数据框中。...

回答 1 投票 0

我如何使用PySpark测量精度并调用Logistic回归?

我正在通过数据块在PySpark上使用Logistic回归模型,但我无法获得准确度和召回率。一切正常,我可以得到我的ROC,但没有属性或...

回答 1 投票 0

Databricks:将参数插入%sql单元格中查询的LIKE子句中

在Databricks笔记本中,我有一个小部件,可以为参数kw设置值。我需要在查询中使用该值作为LIKE子句的一部分。下面的代码段可以运行,但不会返回...

回答 2 投票 0

如何从azure Databricks Filestore下载多个文件

如何从Databricks Filestore下载多个文件(例如,文件夹中的所有文件)?这说明了如何下载一个文件,但是是否有类似https:// / ...

回答 1 投票 0

[尝试在Azure Databricks DBFS中导入CSV时为NULL值

我正在尝试将没有标题的CSV文件导入到Azure Databricks的DBFS中,但是,无论我使用UI还是尝试通过代码来完成,输出都会显示所有四列的空值。 ...

回答 1 投票 0

Databricks spark.read csv具有行#torefresh

我将读取csv到数据帧1。创建结构2.加载csv spark.read.option(“ header”,“ false”)。schema(schema).option('delimiter',',') .option('mode','PERMISSIVE')。csv(path1)

回答 1 投票 0

Databricks python笔记本执行的日志文件

我正在使用数据块,并在python笔记本中编写代码。最近,我们在产品中部署了它。但是有时笔记本会出现故障。我正在寻找笔记本命令执行日志文件...

回答 1 投票 0

如果星巴克通过条件从csv文件中查找值,则其他条件>>

我想将csv文件读入dfTRUEcsv,如何在下面的字符串中获取值(03,05)和11,例如,我想将这些字符串作为参数从该文件夹中获取文件,我将通过(03,05 )和...

回答 1 投票 -1

© www.soinside.com 2019 - 2024. All rights reserved.