sqoop 相关问题

从psql提取数据时，Sqoop导入作业失败

我在3个表上应用联接后，正在Google云上运行一个sqoop作业，以便从psql数据库导入数据。但是，尽管sqoop作业导入了...

Sqoop增量

Sqoop是否可以在数据类型为timestamp（6）的加载时间的基础上对Teradata进行增量加载？在hdfs中加载时如何处理格式：sql exxeption：-期望...

sqoop-数据导入期间作业失败

如果大数据导入作业之间的同步失败，将会发生什么情况。它会在作业失败发生之前将某些数据复制到hdfs上还是完全不复制任何内容？

如何使用python将配置单元表导出到不同本地的oracle表？

我有hadoop服务器，oracle和本地PC。这些在不同的ips上。我想在oracle和hive表之间导出和导入数据。我使用“ --target-dir”定义导入时使用的hdfs ...

带有Oozie和Sqoop导出的问题

我正在尝试执行Sqoop导出，sqoop命令在本地服务器上工作正常，但是，当我尝试使用与Oozie操作相同的命令时，出现以下错误，有任何帮助...] >

我如何使用sqoop将数据从mssql导入hbase（使用Azure HDInsight）？

我正在尝试使用sqoop将数据表从mssql导入到hbase，我使用C＃语言。我已按照本文的代码命令将数据导入到hbase：connectionstring：connectionString =“ jdbc：...

无法使用sqoop创建配置单元表

我正在尝试通过以下命令使用sqoop（v1.4.7）sqoop import-将jdbc：mysql：// localhost / myhadoop导入mysql表库到Ubuntu 18.0.4和Hadoop 3中的hive（v3.1.2）中--username ...

使用Apache Sqoop-1.4.7将所有表从MySQL导入Hive的问题

[当我执行以下导入命令时，我试图使用Apache Sqoop CLI将所有表从MySQL数据库导入Hive数据库：[hadoop @ localhost bin] $ sqoop import-all-tables --connect ...

同时使用带有多个映射器的sqoop导入创建单个文件

我想使用sqoop导入从Cobol-DB2导入数据，但我的要求是我想使用4个映射器，但它应该在hdfs目标目录中仅创建一个文件。有什么办法吗？

在sqoop中导入数据时删除列

我正在将数据从oracle导入到hive中。我的表没有任何可用于主键的整数列。因此，我无法在拆分列中使用它。或者，我创建了一个...

squip从db2导入hdfs的问题

我正在尝试使用sqoop将数据从DB2导入到hdfs。由于我没有复制db2jcc4.jar到/ var / lib / sqoop /目录的管理员权限，因此我将jar复制到了我正在执行的位置，并且...

如何使用sqoop将数据导出到具有自动增量ID的Microsoft Sql表？

我在Microsoft Sql上有一张表，其中字段ID设置为自动递增。我想将数据从hadoop导出到此sql表。我创建了一个hiveql表来镜像sql表，并尝试设置null ...

与db2产生火花/ sqoop错误，原因是：com.ibm.db2.jcc.am.DisconnectNonTransientConnectionException

尝试使用sqoop和spark将数据从db2导入hdfs时出现以下错误。引起原因：com.ibm.db2.jcc.am.DisconnectNonTransientConnectionException：[jcc] [t4] [2043] [11550] [3.66.46] ...

如何通过sqoop-import更改临时使用的目录？

我一直在使用这样的sqoop-import命令：sqoop import --connect jdbc：oracle：thin：@ $ {machine}：$ {port} / $ {schema} --username $ {user}-密码$ {pw} --table“ $ {table}”-列“ $ {cols}” --...

Dataproc上的增量Sqoop给出“ util.AppendUtils：无法将文件追加到目标目录；没有这样的目录”

我可以通过hadoop / google dataproc上的sqoop作业运行Postgresql表的完整导出，以导出到google存储桶。但是，当我尝试增量导出时，它会失败。 gcloud dataproc作业...

在sqoop导出中，将长文本列的Sqoop列设为null

我正在尝试使用sqoop export将记录从S3导出到Mysql Aurora。 S3中的一种数据类型类似于clob，其长文本和XML文件以string的形式存储在其中。当我运行sqoop ...

aws emr添加步骤限制；我可以并行运行步骤吗？

我有许多SQOOP作业，我想通过EMR添加步骤启动。我现有的内部部署方法是并行运行它们，直到用完YARN资源为止。我注意到当我创建...

SQOOP-将配置单元中的ORC格式表导出到DB2数据库中

我正在尝试下面的代码将蜂巢中的orc格式的表导出到DB2数据库。 sqoop export --connect jdbc：db2：// *****：***** / DV --username test --password test11 –-table DEP.Table1错误消息：...

将Impala表从HDFS导出到MySQL

我正在尝试使用Sqoop将Impala表从HDFS导出到MySQL。该表已经在MySQL中创建，并且两个表的模式应该匹配。 Impala表信息：1 ...

Sqoop导入Hive-错误（“ javax.management.MBeanTrustPermission”“注册”）

我在运行sqoop导入命令以配置单元和HDFS时遇到此错误，HDFS作业运行没有问题，但是由于这些Java错误，我无法将相同的配置导入配置单元。日志：[sga-dl @ ...