sqoop 相关问题

自2012年3月以来,Sqoop是一个开源的顶级Apache项目.Sqoop是一个开源连接框架,有助于在多个关系数据库管理系统(RDBMS)和HDFS之间进行传输。 Sqoop使用MapReduce程序导入和导出数据;进口和出口是并行进行的。

在sqoop导出中,Avro表在RDBMS中定义模式

我正在使用SQOOP将数据从HDFS加载到mySQL,在该数据中,一条记录有超过70个字段,使得在RDBMS中创建表时定义模式变得困难。 有没有办法...

回答 2 投票 0

在ubuntu上哪里安装jdbc驱动?

我正在尝试在 ubuntu 上安装 MS SQL JDBC 驱动程序,以便与 sqoop for Hadoop 一起使用。我对 java 和 linux 完全陌生,所以我不确定将所有内容提取到哪里。

回答 4 投票 0

Sqoop 导入 HBase - SQL 数据库

我想将我的数据从SQL数据库迁移到HBase。我的问题之一是我的 SQL 表没有主键,因此要克服这个问题。我在 Sqoop 查询中使用复合键。我已经成功了

回答 1 投票 0

Hive 托管表问题,从 CDP 中的 hdfs 位置创建 Hive 表

我有一个 CDP 7.3.1,使用 sqoop ,我已将 Postgres 数据库表中的数据加载到 HDFS 位置 /ts/gp/node 中。现在我正在尝试为此创建一个配置单元表。我收到以下错误。请...

回答 1 投票 0

在 Cloudera Quickstart VM 中导入所有表时在 Sqoop 中出现错误

当我尝试通过 Sqoop 导入所有表时,出现以下错误: sqoop import-all-tables -m 12 --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" --username=retail_dba --

回答 2 投票 0

使用Sqoop从MySQL导入数据到HBase时,出现错误

我尝试执行以下命令 ./bin/sqoop import --connect jdbc:mysql://localhost:3306/dblab --用户名 root --密码 123456 --table user_action --hbase-table user_action --column-fa...

回答 1 投票 0

用Sqoop从MongoDB中提取数据写入HDFS?

我担心从 MongoDB 中提取数据,我的应用程序处理 MongoDB 中的大部分数据。 我曾使用 sqoop 来提取数据,并发现 RDBMS 通过 sqoop 与 HDFS 结合在一起。

回答 2 投票 0

导入 sqoop 到 hdfs 错误 由于 AM 容器,应用程序失败 2 次

在此输入图像描述 我尝试使用 sqoop 导入数据 命令: sqoop import --connect "jdbc:sqlserver://192.168.26.8:1717;databasename=VMC" --表联系人 -m 1 --用户名 sa --pass...

回答 1 投票 0

我收到此错误 有 0 个数据节点正在运行,并且此操作中没有排除任何节点

我需要安装 hive 才能在我的机器上使用 sqoop 吗? 当我尝试将数据从 mysql 导入到 hadoop 时,它会抛出如下错误: bhandarisamir@Lomass-MacBook-Pro ~ % sqoop import \ --

回答 1 投票 0

Sqoop - 在保存的作业中使用架构

当我在 shell 上运行此命令时工作正常: sqoop 导入 --增量追加 --check-column id_civilstatus --last-value -1 --connect jdbc:postgresql://somehost/somedb --用户名 someuser --pas...

回答 4 投票 0

Sqoop 导入失败:尝试导入 Oracle 表时无法转换 SQL 类型 2005

尝试从 Oracle 数据库导入表作为 parquet 文件时出现以下错误。 错误工具.ImportTool:导入失败:无法转换 SQL 类型 2005 这个问题已经...

回答 2 投票 0

Sqoop 通过 bash 工作,但不能通过 oozie 工作

我有一个shell脚本 sqoop 导入 \ -Dmapreduce.job.queuename=adhoc \ --connect jdbc:oracle:thin:secret@//秘密\ --query“选择”\ --target-dir /apps/hive/warehouse/data.db/

回答 2 投票 0

如何使用 sqoop 将 postgresql 数据库增量备份到 hadoop

我有一个名为 test 的数据库,我在其中创建了一个名为 sqoop2 的表。其中包含 15 行与 updated_date 分隔的行。所以当我在查询下面运行但没有查询帮助我们做

回答 0 投票 0

Sqoop 导出几何列:错误 orm.ClassWriter:SQL 类型 1111 没有 Java 类型(postgresql 几何点 3945)

在 CDP 集群 (hdfs) 上使用 Sqoop 导出,我正在尝试将数据几何导出到 Postgresql 表,但我面临 Sqoop 错误 orm.ClassWriter:列“geom”的 SQL 类型 1111 没有 Java 类型。 ...

回答 1 投票 0

如何使用sqoop工具进行增量加载

我的数据在 Teradata 表中。我已经使用 sqoop-import 命令将 Teradata 表数据 sqooped 到 Hive 中。 但是,我的 Teradata 表每天都会获取数据。所以,需要sqo...

回答 1 投票 0

BLOB 到字符串的转换 - DB2

DB2 中的一个表包含 BLOB 数据。我需要将它转换成字符串,以便可以以可读的格式查看它。我试过类似的选项 获取 blob 对象并转换为字节数组 弦 b...

回答 3 投票 0

Sqoop导入报错Error: java.io.IOException: SQLException in nextKeyValue

我编写了一个脚本来执行从 oracle 表到 HDFS 目录的数据增量导入。我使用以下 sqoop 命令进行导入: sqoop——导入\ --连接$

回答 3 投票 0

无法将hive表导出到mysql。

我试图导出一个hive表到mysql数据库,其数据是tab分隔的,存储在HDFS中,但这项工作每次都在mapper阶段后失败。

回答 1 投票 0

从MySQL导入Sqoop。小数总是以字符串的形式导入到Hive中。

我试图将数据从MySQL导入到Hive(Cloudera 5.8集群),HDFS有4个数据节点。使用Sqoop 1.4.6(附在Cloudera 5.8中),我一直试图直接从MySQL导入Hive ...

回答 1 投票 2

sqoop在我的ubuntu 18.04和hadoop 3.1.3上不能使用。

我在Ubutnttu(18.0.4)的机器上启动sqoop(1.4.7,Hadoop-3.1.3)时得到以下错误信息: sqoop import --connect jdbc:mysql:/localhostmyhadoop --username hiveuser --password ....

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.