sqoop会删除所有现有的数据文件吗?

问题描述 投票:0回答:1

我使用以下命令通过sqoop将数据从RDBMS导入HDFS:sqoop import --connect ... --table ... --hive-import --hive-table --m 20等。因此,此命令将在hdfs中的dir下创建20个文件。

如果我稍后决定导入另一个数据并覆盖现有数据,我将使用以下命令:sqoop import --connect ... --table ... --hive-import --hive-overwrite --hive-table --m 10

sqoop的行为是什么?

  1. Sqoop将转到目录并删除所有之前的20个文件并创建10个新文件。
  2. Sqool将从20个文件中删除所有数据,然后从现有的20个随机文件中写入新数据。
hadoop hive sqoop rdbms
1个回答
0
投票

Option 1

Sqoop将只是overwrite the existing 20 files with new 10 files

有关更多信息,请参阅thisthis链接。

© www.soinside.com 2019 - 2024. All rights reserved.