sqoop 相关问题

自2012年3月以来,Sqoop是一个开源的顶级Apache项目.Sqoop是一个开源连接框架,有助于在多个关系数据库管理系统(RDBMS)和HDFS之间进行传输。 Sqoop使用MapReduce程序导入和导出数据;进口和出口是并行进行的。

在 Cloudera Quickstart VM 中导入所有表时在 Sqoop 中出现错误

当我尝试通过 Sqoop 导入所有表时,出现以下错误: sqoop import-all-tables -m 12 --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" --username=retail_dba --

回答 2 投票 0

使用Sqoop从MySQL导入数据到HBase时,出现错误

我尝试执行以下命令 ./bin/sqoop import --connect jdbc:mysql://localhost:3306/dblab --用户名 root --密码 123456 --table user_action --hbase-table user_action --column-fa...

回答 1 投票 0

用Sqoop从MongoDB中提取数据写入HDFS?

我担心从 MongoDB 中提取数据,我的应用程序处理 MongoDB 中的大部分数据。 我曾使用 sqoop 来提取数据,并发现 RDBMS 通过 sqoop 与 HDFS 结合在一起。

回答 2 投票 0

导入 sqoop 到 hdfs 错误 由于 AM 容器,应用程序失败 2 次

在此输入图像描述 我尝试使用 sqoop 导入数据 命令: sqoop import --connect "jdbc:sqlserver://192.168.26.8:1717;databasename=VMC" --表联系人 -m 1 --用户名 sa --pass...

回答 1 投票 0

我收到此错误 有 0 个数据节点正在运行,并且此操作中没有排除任何节点

我需要安装 hive 才能在我的机器上使用 sqoop 吗? 当我尝试将数据从 mysql 导入到 hadoop 时,它会抛出如下错误: bhandarisamir@Lomass-MacBook-Pro ~ % sqoop import \ --

回答 1 投票 0

Sqoop - 在保存的作业中使用架构

当我在 shell 上运行此命令时工作正常: sqoop 导入 --增量追加 --check-column id_civilstatus --last-value -1 --connect jdbc:postgresql://somehost/somedb --用户名 someuser --pas...

回答 4 投票 0

Sqoop 导入失败:尝试导入 Oracle 表时无法转换 SQL 类型 2005

尝试从 Oracle 数据库导入表作为 parquet 文件时出现以下错误。 错误工具.ImportTool:导入失败:无法转换 SQL 类型 2005 这个问题已经...

回答 2 投票 0

Sqoop 通过 bash 工作,但不能通过 oozie 工作

我有一个shell脚本 sqoop 导入 \ -Dmapreduce.job.queuename=adhoc \ --connect jdbc:oracle:thin:secret@//秘密\ --query“选择”\ --target-dir /apps/hive/warehouse/data.db/

回答 2 投票 0

如何使用 sqoop 将 postgresql 数据库增量备份到 hadoop

我有一个名为 test 的数据库,我在其中创建了一个名为 sqoop2 的表。其中包含 15 行与 updated_date 分隔的行。所以当我在查询下面运行但没有查询帮助我们做

回答 0 投票 0

Sqoop 导出几何列:错误 orm.ClassWriter:SQL 类型 1111 没有 Java 类型(postgresql 几何点 3945)

在 CDP 集群 (hdfs) 上使用 Sqoop 导出,我正在尝试将数据几何导出到 Postgresql 表,但我面临 Sqoop 错误 orm.ClassWriter:列“geom”的 SQL 类型 1111 没有 Java 类型。 ...

回答 1 投票 0

如何使用sqoop工具进行增量加载

我的数据在 Teradata 表中。我已经使用 sqoop-import 命令将 Teradata 表数据 sqooped 到 Hive 中。 但是,我的 Teradata 表每天都会获取数据。所以,需要sqo...

回答 1 投票 0

BLOB 到字符串的转换 - DB2

DB2 中的一个表包含 BLOB 数据。我需要将它转换成字符串,以便可以以可读的格式查看它。我试过类似的选项 获取 blob 对象并转换为字节数组 弦 b...

回答 3 投票 0

Sqoop导入报错Error: java.io.IOException: SQLException in nextKeyValue

我编写了一个脚本来执行从 oracle 表到 HDFS 目录的数据增量导入。我使用以下 sqoop 命令进行导入: sqoop——导入\ --连接$

回答 3 投票 0

无法将hive表导出到mysql。

我试图导出一个hive表到mysql数据库,其数据是tab分隔的,存储在HDFS中,但这项工作每次都在mapper阶段后失败。

回答 1 投票 0

从MySQL导入Sqoop。小数总是以字符串的形式导入到Hive中。

我试图将数据从MySQL导入到Hive(Cloudera 5.8集群),HDFS有4个数据节点。使用Sqoop 1.4.6(附在Cloudera 5.8中),我一直试图直接从MySQL导入Hive ...

回答 1 投票 2

sqoop在我的ubuntu 18.04和hadoop 3.1.3上不能使用。

我在Ubutnttu(18.0.4)的机器上启动sqoop(1.4.7,Hadoop-3.1.3)时得到以下错误信息: sqoop import --connect jdbc:mysql:/localhostmyhadoop --username hiveuser --password ....

回答 1 投票 0

在sqoop-import作业中设置日期格式参数。

我在使用sqoop-import将oracle数据库中的日期列转换为字符串到HDFS parquet文件时遇到了问题。我使用的是: sqoop-import -Doraoop.oracle.session.initialization......。

回答 1 投票 2

当使用边界查询时,有效的MySQL查询中断。

注意:这不是Sqoop的重复 - 语法错误 - 边界查询 - "你的SQL语法错误" 为了限制只从过去8天的数据中获取数据,我使用以下边界查询与......。

回答 1 投票 0

Sqoop导入错误 "无法加载db驱动类 "与亚马逊EMR服务。

我已经创建了一个EMR集群,配置了hadoop、Sqoop和Spark。我正在尝试Sqoop导入,但得到错误 "无法加载db驱动类:com.mysql.jdbc.Driver"。我的问题是哪个...

回答 1 投票 1

sqoop如何避免从HDFS导出重复数据到RDBMS?

HDFS以复制的形式存储数据,当我们使用SQOOP将数据从HDFS移动到RDBMS时,sqoop如何避免将重复的数据从HDFS导出到RDBMS?

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.