Sqoop工作情报

Question

在一个场景中，如果有一个sqoop作业用于一次导入250行数据和250行数据，那么有没有办法知道sqoop作业的哪个执行导入了哪些数据？

Answer 1

每个sqoop job都会创建一些part-m文件，文件的数量取决于映射器。因此，您可以比较这些文件的创建时间。

否则，如果您知道所需的sqoop job ID（例如，工作ID：1234567891234_4201），您可以找到JOB的log_file。

通过Hue导入数据

查看文件并尝试找到Sqoop command arguments:部分。您将看到由您执行的sqoop命令。

通过Sqoop命令行导入数据

查看文件并尝试找到Processing file部分。您将看到由搜索JOB ID创建的part-m文件的名称。