sqoop 相关问题

自2012年3月以来,Sqoop是一个开源的顶级Apache项目.Sqoop是一个开源连接框架,有助于在多个关系数据库管理系统(RDBMS)和HDFS之间进行传输。 Sqoop使用MapReduce程序导入和导出数据;进口和出口是并行进行的。

Sqoop导入不适用于蜂巢实木复合地板

更改Sqoop-Hive导入中的数据捕获,我正在尝试使用Sqoop进行更改数据捕获,但是当我编写-as-parquet时,我的Sqoop导入命令下降了,但是在删除-as-parquet之后...

回答 1 投票 0

sqoop的密码文件

我必须执行psql命令,并且在使用外壳程序执行sqoop命令之后,需要输入密码。有什么可以放置密码并将其提供给两个命令的选项。

回答 1 投票 0

Apache sqoop增量保存作业设置

对于使用sqoop保存的作业,原始文档指出将导入较新的记录。没问题。但是,如果我们要使用保存的作业,并且想使用> =最后保存的值,例如...

回答 1 投票 0

Sqoop导入驱动程序问题:无法加载驱动程序

因此,几天来我一直使用sqoop将数据从oracle数据库导入到hadoop集群。今天,当我尝试执行sqoop导入时,出现以下错误:ERROR sqoop.Sqoop:得到了...

回答 3 投票 0

存在从数据湖导出到Azure SLQ Server DB的问题

我正在尝试使用Sqoop将数据从数据湖导出到我在Azure SQL Server中设置的表中。这一切都在Azure数据工厂中。该表的架构与文件名的架构匹配,...

回答 1 投票 0

oozie在Shell脚本中运行Sqoop命令

我可以在脚本中编写sqoop导入命令,并在oozie中作为协调员工作流程执行它吗?我已经累了,发现一个错误,说即使我给出了绝对的...也找不到sqoop命令...

回答 3 投票 1

如何将蜂线输出发送到sqoop

我正在努力将beeline输出发送到apache sqoop工具。我猜想Apache sqooop可以从Hadoop集群上的数据读取数据。但是beeline可以查询数据并将数据输出到hadoop的位置...

回答 1 投票 1

oozie sqoop shell操作-sqoop:未找到命令

我正在尝试通过shell动作来触发sqoop命令。但是我遇到了错误-Sqoop:找不到命令。我可以通过外壳操作从HDFS读取文件的内容。但是当我尝试...

回答 1 投票 0

Sqoop增量追加模式不会为--check-column导入空行,此列是时间戳记,并且具有空值

我最初尝试使用以下命令进行增量导入。 sqoop import --connect jdbc:oracle:thin:@ orau20:1555:XXX --username XXXX --password XXXX --table emp-以'\ ...]终止的字段>

回答 1 投票 0

导入带有重命名的sqoop的表

我对Hadoop和朋友很陌生。我在这里查看Cloudera教程示例:http://www.cloudera.com/content/www/zh-cn/developers/get-started-with-hadoop-tutorial/exercise-1.html表示...

回答 1 投票 0

NiFi-提高QueryDatabaseTable的性能以胜过Sqoop

我正在使用QueryDatabaseTable从具有约7000万行的PDA / Netezza表中进行读取。将Nifi设置为具有bootstrap.conf的单节点实例,并对其进行编辑以提供16g RAM。 QueryDatabase ...

回答 2 投票 0

Sqoop无法从MYSQL导入数据到HBASE

[嗨,我是bigdata的新手,我正在尝试使用sqoop将数据从mysql导入到hbase。 sqoop import –连接jdbc:mysql://xxx.xxx.xx.xx:3306 / FBI_DB –表FBI_CRIME –hbase-table H_FBI_CRIME –column -...

回答 1 投票 1

Sqoop Hcatalog导入作业已完成,但表中没有数据

我正在尝试将hcatalog与sqoop集成,以便将数据从rdbms(oracle)导入到data lake(在蜂巢中)。 sqoop-import --connect连接字符串--username用户名--password pass --table -...

回答 1 投票 0

从NON-DEFAULT模式Netezza导入Sqoop

我想使用以下命令在特定的非默认架构中导入Netezza表:sqoop import \ --connect jdbc:netezza:// netezza-host-name:5480 / NZDATABASE \ --table MY_SCHEMA ... 。

回答 1 投票 0

sqoop.tool中的ImportTool不适用于参数(org.apache.sqoop.SqoopOptions)

我们正在尝试使用Java进行Sqoop导入,在我尝试从ImportTool删除不推荐使用的com.cloudera.sqoop.SqoopOptions之前,它可以正常工作,如下面的代码片段所示。 apache.sqoop ....

回答 1 投票 0

sqoop进口临时表问题

我试图从Teradata的数据导入到HDFS位置。我有权查看该数据库。所以,我在另一个数据库中创建一个临时表。但是,当我尝试运行代码,它说错误...

回答 1 投票 0

如何使用Hadoop的凭据提供商星火连接到Oracle数据库?

我试图建立Spark和甲骨文以及Sqoop和Oracle之间的安全连接。我的研究后,我发现了两个不同的设置两个不同的选项。连接火花......

回答 3 投票 0

sqoop进口的所有桌 - 与SQL Server的进口系统表

我试图用sqoop进口全表,从一个特定的数据库从SQL Server中的数据进入HDFS。它进口的所有预期表后从数据库成功,它也试图...

回答 1 投票 0

sqoop导入MySQL的问题

我4天老用Hadoop,我想从我的本地mysql数据库导入表,以learbn sqoop,我的机器是Ubuntu的13.04,我sqoop版本:1.4.3-cdh4.7.0,MySQL的:34年5月5日,这是该...

回答 3 投票 2

避免歪斜以及确定SQOOP进口映射器最佳数量

如果对源表的主键,SQOOP进口会产生偏斜没有数据......如果有什么的表没有定义主键,我们必须使用--split-通过参数分裂...

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.