sqoop 相关问题

自2012年3月以来，Sqoop是一个开源的顶级Apache项目.Sqoop是一个开源连接框架，有助于在多个关系数据库管理系统（RDBMS）和HDFS之间进行传输。 Sqoop使用MapReduce程序导入和导出数据;进口和出口是并行进行的。

可以使用Sqoop在IMPORT上执行连接吗？

最近我被问到这个问题，我在描述一个涉及多个连接的用例，除了我在Spark中实现的一些处理，问题是，可以加入......

apache-spark hadoop import bigdata sqoop

回答 4 投票 2

Sqoop是否支持从分区的oracle表中提取数据

我有一个非常大的oracle表，它是一个分区表，我会问Sqoop是否或如何支持基于oracle分区进行拆分，例如，一个映射器从一个oracle分区导入。

sqoop

回答 1 投票 0

带有纪元时间戳的Sqoop增量加载

使用Sqoop增量工具需要在--last-value中提供最后修改日期，格式类似于2016-09-05 06：04：27.0。在这种情况下，源MySQL数据库中的问题，update_date ...

sqoop hadoop2 epoch

回答 1 投票 0

sqoop导入成功，但是hive show表看不到表

env：sqoop-1.4.2 hadoop-1.0.4 hive-0.9.0 import cmd：./ bin / sqoop import --connect jdbc：mysql：// localhost / metrics --username root -password 1023 --table访问 - -hive-import --create-hive-table ...

hadoop import hive sqoop

回答 3 投票 0

如何将包含空格的列名传递给sqoop --map-column-java

我必须使用sqoop导入数据，我的源列名在它们之间有空格，所以当我在--map-column-java参数中添加它时得到错误。示例Sqoop导入：sqoop ...

hadoop sqoop avro

回答 1 投票 0

Sqoop工作情报

在一个场景中，如果有一个sqoop作业用于一次导入250行数据和250行数据，那么有没有办法知道导入哪个sqoop作业执行哪个...

hadoop sqoop

回答 1 投票 0

Sqoop尝试-split-by ROWID（Oracle）失败

（善良，这是我的第一个问题，我事先在网上进行了广泛的研究。问题对于Sqoop Split-By Column的Oracle ROWID并没有真正解决这个问题，因为原来的人......

oracle11g sqoop

回答 1 投票 0

移动大型并经常使用组合密钥更新MySQL表到HDFS

我有MySQL库存表没有自动增量ID，但有复合键和最后修改日期（YYYY-mm-DD HH：MM：SS）并且会非常频繁地更新。它有近10年的数据大约10 ...

mysql hdfs hbase sqoop

回答 1 投票 0

如何在Java程序中使用Sqoop？

我知道如何通过命令行使用sqoop。但是不知道如何使用java程序调用sqoop命令。谁能给一些代码视图？

java hadoop sqoop

回答 5 投票 22

可以从本地数据库获取GCP Dataproc sqoop数据（或运行其他作业）吗？

GCP Dataproc sqoop可以从本地数据库导入数据到GCP存储（没有GCP VPC）吗？我们有一个远程Oracle数据库通过VPN隧道连接到我们的本地网络，我们使用Hadoop集群来...

google-cloud-platform sqoop google-cloud-dataproc google-cloud-vpn

回答 1 投票 0

Sqoop创建hive表ERROR - 遇到IOException运行create table job

我在已经安装了hadoop / map reduce和hive的Centos7机器上运行sqoop。我从一个教程中读到，当从RDBMS（在我的情况下是SQL Server）中导入数据到HDFS时，我需要......

hadoop hive centos7 sqoop

回答 4 投票 1

错误exec.DDLTask：java.lang.NoSuchMethodError：

我使用sqoop将数据从mysql导入到hive：sqoop import --connect jdbc：mysql：// localhost：3306 / DATASET -username root -P -table MATCHES --hive-import FAILED：Execution Error，return ...

mysql hadoop hive bigdata sqoop

回答 1 投票 -2

使用自定义SQL在Sqoop 2（Hue 3.6）中导入数据时出错

在Hue 3.6中，我尝试使用Sqoop 2导入功能从Oracle数据库进行自定义SQL查询。我在“表SQL语句”字段中粘贴SQL查询，例如：“SELECT x，y，z FROM ...

sqoop hue

回答 2 投票 1

哪个版本的sqoop与hadoop 3.0兼容

运行sqoop版本时，出现此错误：hadoopusr @ houssein：〜$ sqoop version警告：/usr/lib/sqoop/../hbase不存在！ HBase导入将失败。请将$ HBASE_HOME设置为root ...

hadoop sqoop

回答 1 投票 1

使用sqoop将表从RDBMS导入HIVE后是否仍然存在约束？

当我们使用sqoop import将RDBMS表传输到HIVE时，表的约束如主键是否仍然存在？即，作为主键的表的列仍然是......