sqoop 相关问题

自2012年3月以来,Sqoop是一个开源的顶级Apache项目.Sqoop是一个开源连接框架,有助于在多个关系数据库管理系统(RDBMS)和HDFS之间进行传输。 Sqoop使用MapReduce程序导入和导出数据;进口和出口是并行进行的。

在通过sqoop将数据导入Hadoop时,用什么替换sql server中的数据类型datetime?

我试图将数据从SQL Server导入Hadoop,我导入的表中包含datetime字段。如果没有替换,它将在Hive中存储一些数字。我想替换......

回答 1 投票 0

使用sqoop将数据从CSV导入Avro表的命令

我的HDFS上有一个名为test.csv的csv文件。我使用Hue创建了一个Avro表(avro_test),其列名与csv文件相同。我想使用sqoop命令将csv元素放入...

回答 1 投票 0

如何使用Scala在Spark中连接两个Hbase表

我在HBase中有两个表,我需要使用scala加入。这些表是使用sqoop从Oracle导入的,可用于在Hue数据浏览器中使用Spark 1.5,Scala 2.10.4进行查询。我......

回答 2 投票 1

如何使用sqoop在hive中创建多级分区

我需要使用Sqoop创建具有三个分区年/月/日的hive表。我在sqoop中检查了--hive-partition-key和--hive-partition-value。使用这些参数我创建了分区...

回答 2 投票 0

由于org.kitesdk.data.DatasetOperationException,sqoop增量作业失败

我正在尝试使用sqoop增量作业将数据从oracle导入到hive表,使用镶木地板文件格式。但由于以下错误导致作业失败错误:org.kitesdk.data.DatasetOperationException:...

回答 1 投票 0

如何从hadoop将数据导出到大型机

有没有办法使用sqoop将数据从hadoop导出到大型机。我对大型机很新。据我所知,我们可以将数据从大型机平移到hadoop。我浏览了sqoop ......

回答 1 投票 0

在oozie的sqoop exec工作不起作用

我正在运行3节点HDP 2.2集群。 Oozie版本是4.1.0.2.2,Sqoop版本是1.4.5.2.2。我正在使用Sqoop作业从RDBMS进行增量导入到HDFS,如下所示,sqoop job -create ...

回答 3 投票 0

Sqoop“import-all-tables”无法导入所有表

这是我用于将数据从SQL Server导入到Hive sqoop-import-all-tables的sqoop命令--connect“jdbc:sqlserver://ip.ip.ip.ip \ MIGERATIONSERVER; port = 1433; username = SA;密码= ...

回答 2 投票 1

sqoop与hadoop集成抛出ClassNotFoundException

我是hadoop和sqoop的新词。我安装了hadoop 2.7.3(伪模式),它在我的系统上工作正常。我想要与sqoop集成。我正在使用sqoop sqoop-1.99.7-bin-hadoop200。 1)我......

回答 4 投票 0

与Sqoop不一致的结果

无论是从shell运行还是从python子进程运行,使用Sqoop从MySQL数据库获取数据都会产生不一致的结果。但是,我没有这个问题做同样的事情......

回答 1 投票 0

Sqoop job无法识别的参数:--merge-key

我正在尝试使用增量lastmodified创建一个Sqoop作业,但它会抛出ERROR工具.BaseSqoopTool:无法识别的参数:--merge-key。 Sqoop job:sqoop job --create ImportConsentTransaction -...

回答 1 投票 0

Sqoop iMport问题

我已经安装了最近的cloudera集群CDH5.5单节点,我在将数据库从mysql导入到hdfs时面临以下错误。我能够成功运行list-dtabases。请告诉我 ...

回答 1 投票 0

使用Sqoop并行导入Oracle表的最佳方法是什么?

我正在使用Sqoop将oracle表导入HDFS。我有大约50个表要导入,50个表中有10-15个表太大(大约50GB)。我第一次想要导入...

回答 1 投票 0

如何在sqoop自由格式查询中传递字符串值

我需要从几个不同的SQL服务器导入数据,这些服务器具有相同的表,表结构甚至主键值。因此,为了唯一地识别记录,从SQL服务器说“S1”,我想......

回答 1 投票 0

使用Sqoop从AWS S3将数据导入Hdfs

我正在使用distcp(批处理数据)从S3获取数据。但根据sqoop网站,我们可以从s3导入到hdfs。我试过,但每次连接构建错误都会出错:https:// sqoop ....

回答 1 投票 0

Sqoop导入优化的Oracle边界查询

最近,我正在使用Sqoop Import将数据从Oracle导入HDFS。以下是经验教训:我开始观察Sqoop缓慢运行边界查询,例如5中导入的数据集...

回答 1 投票 0

无法使用sqoop列出oracle表名

我正在尝试连接到oracle db并使用sqoop列出表的名称,如下所示:sqoop list-tables --connect jdbc:oracle:thin:@ :1521:DB_Name--用户名hdp --password ...

回答 1 投票 1

sqoop中的last-value(增量导入)

sqoop import --connect \\ jdbc:mysql:// localhost:3306 / ydb --table yloc --username root -P --check-column rank --incremental append --last-value我们不知道最后一个上一个表的值。 ...

回答 2 投票 0

如何使用Sqoop libjars选项?

我正在使用sqoop导入工具将数据导入HBASE表。我已经创建了一个自定义的PutTransformer类,我已经提供了jar和属性来使用自定义变换器,但它不是......

回答 1 投票 1

Sqoop基于列值导入as-parquet文件

所以我试图运行一个sqoop导入作业,我根据我的partition_key保存镶木地板文件。最终我希望我的文件夹/ TABLE_DIR /有5个镶木地板文件,每个独特分区1个...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.