有没有什么方法可以向SQL数据仓库表中添加数据?假设我有一个Azure SQL数据仓库表:col1 col2 col32019 09 102019 10 15
我有一个数据框col1 col2 col32019 10 202019 11 30
然后合并到Azure数据仓库表的原始表中
col1 col2 col32019 09 102019 10 202019 11 30
感谢大家的想法
很好的问题。我需要在几天内做同样的事情;只需要先完成一件初步的事情。尝试以下概念,看看它是否对您有用。
写入Azure SQL数据库或SQL Server:
import com.microsoft.azure.sqldb.spark.config.Config
import com.microsoft.azure.sqldb.spark.connect._
// Aquire a DataFrame collection (val collection)
val config = Config(Map(
"url" -> "mysqlserver.database.windows.net",
"databaseName" -> "MyDatabase",
"dbTable" -> "dbo.Clients",
"user" -> "username",
"password" -> "xxxxxxxx"
))
import org.apache.spark.sql.SaveMode
collection.write.mode(SaveMode.Append).sqlDB(config)
请给我反馈,让我知道它是否对您有用。我必须尽快这样做。
https://docs.databricks.com/data/data-sources/sql-databases-azure.html
https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-connect-to-sql-database
您可以将输出保存在文件中,然后将Azure数据工厂中的存储过程活动用于upsert。只需执行一个小步骤,即可从文件中插入值。我假设您在这里使用Azure数据工厂。