有关Databricks统一分析平台的问题
如何在Scala中将字符串作为多边形读取(在Databricks上)
我有一个包含2列的数据集:一列是位置名称,另一列是多边形,坐标勾勒出相应的位置。此数据集来自csv文件...
Pyspark读取csv - NameError:未定义名称“spark”
我试图在databricks中运行以下代码以调用spark会话并使用它来打开csv文件:spark fireServiceCallsDF = spark.read.csv('/ mnt / sf_open_data / ...
使用Databricks Python脚本中的URL时,CERTIFICATE_VERIFY_FAILED和SSLV3_ALERT_HANDSHAKE_FAILURE
我正在使用Databricks使用Python版本3解析来自URL的JSON数据。感兴趣的URL:https://www.example.com/data/example.json实际上生成要下载的JSON文件中的输出,...
我不知道如何从这个SQL列类型中获取相关信息:array <struct <day_of_week:string,start:bigint,duration:bigint,enabled:boolean,created_at:timestamp,...
在Azure上的DataBricks:我遵循以下步骤:从python egg创建一个库,比如simon_1_001.egg,其中包含一个模块simon。将库附加到群集并重新启动群集附加...
Azure Databricks - 无法创建托管表关联的位置已存在
我在Azure Databricks中有以下问题。有时当我尝试将DataFrame保存为托管表时:SomeData_df.write.mode('overwrite')。saveAsTable(“SomeData”)我收到以下错误:...
我正在编写一个需要在本地和Databricks上运行的spark工作。代码必须在每个环境(文件路径)中略有不同,所以我试图找到一种方法来检测是否......
我正在尝试将json文件的内容添加到文件夹creds.json中。但是,我在扫描字符串文字时遇到语法错误:EOL。请指教! dbutils.fs.put(“/ user1 / creds.json”,“{”......
我试图显示一个数据帧但不知何故,它一直告诉我,不是df定义!怎么会这样?这是代码:for key,val在mapping_dict.items()中:target_table =密钥文件,...
Databricks display()函数与Jupyter等效或替代
我正在将当前的DataBricks Spark笔记本迁移到Jupyter笔记本,DataBricks提供方便美观的显示(data_frame)功能,以便能够可视化Spark ......
我在azure中使用数据库来做一些机器学习工作,我正在尝试从特定的库中导入一个类,但它似乎与我以前的工作方式不同。 (我通常写python ...
将XML数据从Google Earth KML文件上传到DataBricks
我正在设置DataBricks来比较和对比来自多个来源的数据。部分数据采用CSV文件,部分采用JSON格式,其他数据采用Google Earth KML文件。最后一个......
可以在Azure Data Lake Gen 2 Rest API中使用通配符吗?
我创建了一个Azure Data Lake gen2文件系统来存储和恢复数据。我已经正确加载了我的数据(每天一个文件)但是,当我想使用Azure Data Lake gen2 Rest API时,我可以......
Databricks与Cosmos之间的UPSERT / INSERT / UPDATE
目前,我们使用Azure Databricks作为转换层,转换后的数据通过连接器加载到Cosmos DB。场景:我们有2个文件作为源文件。第一个文件包含姓名,年龄......
我是Spark的新手。我可以在python Pandas Numpy中对数组求和,减去或相乘。但我很难在Spark(python)中做类似的事情。我在Databricks。比如这种......
如何在创建机密范围时修复Databricks中的“命令未找到”错误
我正在尝试在Databricks笔记本中创建一个秘密范围。笔记本电脑使用我公司管理员创建的集群运行 - 我无权创建或编辑集群。我跟着......
我在Databricks上,我有一个表,其值列由数组组成。阵列本身由浮子组成。我需要一个新的列来总结这些数组。我的灵感来自......
我尝试使用推荐的pip安装考拉安装Databricks的新koalas软件包,但是在pyarrow安装上失败了。然后我安装了pyarrow并重试了考拉,但它仍然失败了...
我是Scala的新手,我想了解一些基本的东西。首先,我需要计算DataFrame的某个列的平均值,并将结果用作double类型变量。 ...
round()函数不适用于databricks-Python
我试图在databricks中使用round()函数将一些浮点值舍入为2位数。但是,databricks python不像普通的python那样工作。请帮我解释原因并......