使用 Scala API 设置 TBLProperties

问题描述 投票:0回答:2

我正在将数据写入模式为表

overwrite

由于我的列名中有特殊字符,我需要为列映射设置以下三个属性。

  • 'delta.minReaderVersion' = '2',
  • 'delta.minWriterVersion' = '5',
  • 'delta.columnMapping.mode' = 'name'

所以想知道有没有办法使用 Scala API 设置 TBLProperties ?

我试过了,但没用

myDf.write.mode("Overwrite")
.option("delta.minReaderVersion", "2")
.option("delta.minWriterVersion", "5")
.option("delta.columnMapping.mode", "name")
.saveAsTable("testDB.employees")
scala apache-spark databricks
2个回答
1
投票

不使用

databricks
进行测试,但尝试一下可能会有所帮助:

df.write.format("delta")
  .mode("overwrite")
  .option("TBLPROPERTIES", "key1=value1, key2=value2")
  .save("/path/to/table")

0
投票

有同样的问题。这就是我的解决方案。上面的例子没有成功

df.write.format("delta").option("delta.enableChangeDataFeed", true).save("/path/to/table")

© www.soinside.com 2019 - 2024. All rights reserved.