sqoop 相关问题

自2012年3月以来，Sqoop是一个开源的顶级Apache项目.Sqoop是一个开源连接框架，有助于在多个关系数据库管理系统（RDBMS）和HDFS之间进行传输。 Sqoop使用MapReduce程序导入和导出数据;进口和出口是并行进行的。

使用sqoop排除表

我在RDBMS中有100个表，但我只想导入50个表。如何使用Sqoop做到这一点？我不想使用-exclude命令。请通过示例告诉我这个过程。

hadoop sqoop

回答 1 投票 0

如何在Sqoop中为增量数据指定多个列？

我正在使用以下查询来获取sqoop-bin / sqoop作业中的增量数据 - 创建JOB_NAME - import --connect jdbc：oracle：thin：/ system @ HOST：PORT：ORACLE_SERVICE --username USERNAME --password- .. 。

hadoop sqoop data-migration

回答 1 投票 1

postgresql中不存在函数min（uuid）

我使用sqoop将表格从Postgres导入到hdfs。我的表有uuid字段作为主键，我的命令sqoop如下：sqoop import --connect'jdbc：postgresql：// localhost：5432 / mydb' - ...

postgresql sqoop

回答 4 投票 3

我可以在并行窗口中为同一个客户机器执行vagrant ssh吗？无论如何会干扰当前的工作吗？

作为我的家庭作业的一部分，我需要将大数据文件加载到两个MySQL表中，使用Python解析，在我的客户机上通过Vagrant SSH调用。然后我还需要在其中一个上运行Sqoop作业...

python mysql linux vagrant sqoop

回答 1 投票 1

使用sqoop导入，如何将行追加到现有的hive表中？

从SQL服务器我导入并使用以下查询创建了一个配置单元表。 sqoop import --connect'jdbc：sqlserver：//10.1.1.12; database = testdb' - username uname --password paswd --table demotable --...

hadoop hive sqoop

回答 4 投票 1

Sqoop导出错误

我使用Sqoop 1.4.4将数据从hdfs导出到mysql。并得到以下错误：bin / sqoop export --connect jdbc：mysql：//127.0.0.1：3306 / rec --username root --password root --table rec_temp --...

mysql hdfs sqoop

回答 3 投票 1

Sqoop自定义PasswordLoader

我正在尝试创建一个自定义PasswordLoader我创建了一个类：package custom.password.loader类CustomPasswordLoader扩展FilePasswordLoader {覆盖def loadPassword（p：String，conf：...

classpath sqoop

回答 1 投票 0

休息api vs sqoop

我试图将数据从mysql导入到hdfs。我能够用sqoop做到这一点，但这可以通过从api获取数据来完成。我的问题是关于何时使用rest api在hdfs中加载数据...

rest hadoop hdfs sqoop

回答 2 投票 0

Oozie + Sqoop：JDBC驱动程序Jar位置

我有一个基于6节点cloudera的hadoop集群，我正在尝试从oozie中的sqoop操作连接到oracle数据库。我已将我的ojdbc6.jar复制到sqoop lib位置（对我来说......

hadoop dependencies cloudera sqoop oozie

回答 4 投票 5

Sqoop：无法加载mysql驱动程序异常

我在本地机器上安装了Sqoop。以下是配置信息。 Bash.bashrc：export HADOOP_HOME = / home / hduser / hadoop export HBASE_HOME = / home / hduser / hbase export HIVE_HOME = / home / hduser / ...

mysql hadoop hive sqoop

回答 7 投票 5

将查询结果从mysql导入现有的hive表时出现问题

当我尝试将MySQL表导入现有的hive表时，下面的命令工作正常。但是当我尝试使用查询将结果导入到同一个hive表中时，它是......

sqoop

回答 1 投票 0

sqoop会删除所有现有的数据文件吗？

我使用以下命令通过sqoop将数据从RDBMS导入HDFS：sqoop import --connect ... --table ... --hive-import --hive-table --m 20等所以这个命令将创建20文件......

hadoop hive sqoop rdbms

回答 1 投票 0

Sqoop导入映射器失败但sqoop作业正在运行

我编写了一个Sqoop导入程序，使用where子句从Netezza导入数据，当where子句中存在语法错误时，Sqoop生成的映射器抛出了Netezza级语法...

hdfs sqoop netezza

回答 1 投票 0

sqoop到mysql导入问题

我使用以下命令从mysql表获取数据到hive表：sqoop import \ --connect jdbc：mysql：//xx.xx.xx.xx/orderdbms \ --username = orderuser \ --password = orderpass \ --table = ...

mysql hive sqoop

回答 1 投票 0

面对sqoop中以下命令的问题

我已经在sqoop / lib文件夹中复制了jar文件，我在sqoop中使用的命令是：bin / sqoop import --connect jdbc：mysql：// localhost：3306 / sqoop --username root --password admin - 表......

mysql hadoop sqoop

回答 3 投票 0

来自MySql的Sqoop导入在线程“main”java.lang.NoClassDefFoundError中的异常失败

将MySQL sqoopdb中的数据从表employee导入HDFS命令sqoop import --connect jdbc：mysql：// localhost：3306 / sqoopdb --username sqoop -P --table employee sqoop import --connect jdbc：...

mysql import hdfs sqoop

回答 1 投票 -1

Sqoop导入失败：超出了拆分的最大块位置

在使用couchbase插件1.1执行Sqoop导入时，导入会发出警告警告：超出拆分的最大块位置错误：错误：com.cloudera.sqoop.lib.LargeObjectLoader。（...

sqoop

回答 1 投票 1

如何使用sqoop在Hive中创建外部表。需要建议

使用sqoop我可以创建托管表但不创建外部表。请告诉我从数据仓库卸载数据并将其加载到Hive外部表中的最佳做法是什么。 1. ...

hadoop hive sqoop

回答 3 投票 2

使用Ranger时，Sqoop无法导入数据

我正在使用HDP-2.6，Ranger启用了管理员权限我在Ranger中添加了一个策略，给予纱线/数据完全权限（读取，写入，执行），启用“递归”我想使用Sqoop来... 。