有关Databricks统一分析平台的问题
当两个ID在Scala中具有相同的最高价格时，使用较小的ID获得最高价格
我有一个数据帧调用productPrice有列ID和价格，我想获得具有最高价格的ID，如果两个ID具有相同的最高价格，我只得到一个具有较小ID号....
我想将一个包含2,700万行的数据帧分成10万行的小数据帧，最终得到27个数据帧，我想将它们存储为csv文件。我看了看这个分区...
如何通过Databricks将大型文件从一个目录复制到另一个目录，而Data Lake中的时间更短？
我正在尝试将20GB文件从一个文件夹复制到Azure Data Lake中的另一个文件夹，并希望通过Data Bricks实现它。我已经尝试了下面的代码，但它花了一个多小时。能够 ...
我试图了解如何使用spark将R连接到redshift，我无法使用简单的RPostgres连接，因为该数据集很大并且需要分布式计算，到目前为止我能够阅读和...
使用Powershell脚本生成Azure Databricks Token
我需要使用Powershell脚本生成Azure Databricks令牌。我完成了使用ARM模板创建Azure Databricks，现在我希望使用powershell生成Databricks令牌...
我需要在我的azure databricks上安装azure库。现在我正在全局安装它，但有时当集群启动我的笔记本失败时出现如下错误：AttributeError：module'lib'有......
使用/ mnt /将Azure Blob存储中的数据读入Azure Databricks
我已经成功地将我的blob存储装载到Databricks，并且在运行dbutils.fs.ls（“/ mnt /”）时可以看到定义的挂载点。这个大小= 0 - 不清楚这是否是预期的。当我 ...
我正在尝试在我的数据框上应用一个数据透视，如下所示val pivot_company_model_vals_df = company_model_vals_df.groupBy（“company_id”，“model_id”，“data_date”）。pivot（“...
我有一个在数据库中创建的pyspark笔记本。我有一个数据帧，我需要动态添加列，目前列数为186.当我到达python行的长度为...
我想使用我最喜欢的编辑器在本地编辑Databricks笔记本，然后使用Databricks Connect在我通常通过Web界面访问的Databricks集群上远程运行笔记本....
AWS Sagemaker与Databricks的使用案例有何不同？
我在看Databricks是因为它与像Kinesis这样的AWS服务集成，但在我看来，SageMaker是Databricks的直接竞争者？我们大量使用AWS，有什么理由......
我尝试从Azure Databricks中的表在Azure数据仓库中创建外部表。我无法转换几个列类型，如日期和小数。我在databricks中的表结构示例：...
如何使用Python 3中的Databricks中的python雪花连接器连接到Snowflake？
当我尝试将snowke-sqlalchemy库附加到Databricks中的Python 3集群时，它会破坏我的python构建，当我安装后续库时它会给我以下错误：...
在Microsoft Databricks上使用pandas.to_json（）时出错
有没有人知道我们是否有另一种方法将pandas dataFrame保存为Microsoft Databricks上的Json文件？我正在尝试这个：dataframe.to_json（'wasbs：// @ ....
我试图在dattabricks中安装adls gen2，配置如下配置= {“fs.azure.account.auth.type”：“OAuth”，“fs.azure.account.oauth.provider.type”：“org.apache。 hadoop.fs.azurebfs ....
授予用户/组在Databricks Workspace中对所有笔记本的读取权限
我试图将用户的访问权限授予工作区内的所有笔记本，即用户笔记本和共享。有没有办法在一个声明中批准？谢谢，萨西。
Azure databricks spark - 写入blob存储
我有一个包含两列的数据框--filepath（blobs的wasbs文件路径），字符串，并希望将每个字符串写入具有该文件名的单独blob。我怎样才能做到这一点？
给定相应的类名作为键，我必须检索存储在Map中的Derived类对象。如下所示，特质Caluclator类PreScoreCalculator（数据：Seq [Int]）扩展了Caluclator类......
我在Azure上使用Databricks笔记本，我有一个非常好的Pyspark笔记本，昨天整天运行良好。但是在那天结束的时候，我注意到我有些奇怪......
我有多个要并行执行的作业，它们使用动态分区将每日数据附加到同一路径中。我面临的问题是在...期间创建的临时路径