sqoop 相关问题

自2012年3月以来,Sqoop是一个开源的顶级Apache项目.Sqoop是一个开源连接框架,有助于在多个关系数据库管理系统(RDBMS)和HDFS之间进行传输。 Sqoop使用MapReduce程序导入和导出数据;进口和出口是并行进行的。

Sqoop导入问题(排除操作)

在sqoop我有500个表,我只想导入3个表,我们使用import-all-tables排除操作,我们不得不提497个表名,不提497表名如何只能导入...

回答 1 投票 0

Sqoop导入将特定列中具有空值的记录路由到另一个表中

我试图在特定列中将具有空值的记录移动到特定表,并在SQOOP导入时将非空记录移动到另一个。试图在goolge上探索,但没有太多超越 - ...

回答 1 投票 0

如何更改sqoop导入临时目录

sqoop import ...默认情况下会将所有数据放入临时表目录,然后再将其发送到target_directory。在我的情况下,这个临时目录默认为hdfs:/// user /目录。怎么样 ...

回答 1 投票 0

Sqoop - ERROR tool.ImportTool:导入失败:尝试从SQL Server导入时无法转换SQL类型2005

我试图使用Sqoop从SQL服务器导入表到Hive。下面是我正在使用的命令:sqoop import --connect“jdbc:jtds:sqlserver:// xxxxxxxxxx:1433; integratedSecurity = false; databaseName = ...

回答 1 投票 0

Sqoop坚持5%的进步

我正在使用Sqoop将数据从oracle导入HDFS。当Job开始时,它会在5%的进度中停留约1小时,这个信息是输出:INFO mapreduce.Job:Task Id:...

回答 1 投票 0

sqoop所有表从mysql到Hive导入

我试图通过使用blow sqoop查询将所有表从mysql架构导入到hive: - sqoop import-all-tables --connect jdbc:mysql:// ip-172-31-20-247:3306 / retail_db --username sqoopuser -P --hive -...

回答 1 投票 0

为什么我的sqoop导入不能使用hadoop加密密码方法?

根据某些要求,我使用了hadoop安全密码加密方法来加密密码并将其与sqoop import一起使用。以下是谈论加密方法的链接。 ...

回答 1 投票 0

Sqoop:--as-parquetfile不起作用

我想将sqoop文件直接保存为镶木地板文件到hdfs。我正在尝试低于命令这样做。但面对错误sqoop.Sqoop:运行Sqoop异常:java.lang.NullPointerException sqoop version -...

回答 2 投票 0

使用Spark读取Oracle数据库中的所有表

目标:从Spark中的oracle数据库中读取所有表。调查结果:我已经编写了读取单个表的代码。我可以多次重复使用它来读取多个表但是这将连接...

回答 1 投票 -1

是否可以导入带有sqoop的表并添加额外的时间戳列?

是否可以使用sqoop命令“import table”将表从oracle数据库导入到Hadoop集群,并添加一个包含当前时间戳的额外列(用于故障排除)? ...

回答 2 投票 0

带有查询子句的Sqoop

我需要将一些数据从Oracle移动到Hive,我发现Sqoop可能是一个有用的工具。问题是我需要处理查询并将结果插入目标数据库中的表中。 ...

回答 2 投票 1

sqoop导入中的错误

我正在使用sqoop 1.4.6。执行sqoop import命令时遇到错误:sqoop import --connect jdbc:mysql:// localhost / movielens --driver com.mysql.jdbc.Driver --table movies -m 1 ...

回答 1 投票 0

Hive增量导入数据 - 新列

如何使用Sqoop从sql server将表导入Hive并处理是否添加了任何newcolumns以及如何将新列数据加载到hive而不会丢失数据?

回答 2 投票 -1

无法卸载在ubuntu计算机上通过CDH5安装的sqoop

我从Cloudera Manager卸载了sqoop,但我仍然看到通过终端的sqoop版本:chaithu @ localhost:〜$ sqoop version警告:/opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/bin /../ LIB / ...

回答 1 投票 0

Sqoop从oracle动态创建hive分区表并导入数据

我在oracle中有一个表(表名是TRCUS),其中包含客户的详细信息,根据年份和月份进行分区。 Oracle中的分区名称:PERIOD_JAN_13,PERIOD_FEB_13,PERIOD_JAN_14,PERIOD_FEB_14等...

回答 1 投票 1

Sqoop:ERROR manager.SqlManager:从数据库读取错误:java.sql.SQLException:

当我尝试使用Sqoop将数据从mysql导入HDFS并运行以下命令时sqoop import --connect jdbc:mysql:// IP地址/数据库名称--username root --password password -...

回答 3 投票 3

对于Bucketed Hive ORC表,sqoop导入失败

我使用下面的DDL在Hive中创建了ORC Bucketed表:创建表(EmpID)聚集的员工(EmpID STRING,EmpName STRING)到存储为orc TBLPROPERTIES('...的10个桶中

回答 1 投票 0

sqoop import未识别显示ClassNotFountException错误的mysql表

我有一个mysql表“customers”,并尝试使用sqoop import将数据从mysql导入到hdfs位置。以下是我在我的机器上安装的版本:sqoop版本:1.4.6 hive版本:2.3.0 ...

回答 1 投票 0

Sqoop:使用八进制值(\ 0)作为分隔符

由于我在其中一个字段中有特殊字符,因此我想使用较低的值作为分隔符。 Hive与分隔符(\ 0)一起工作正常但是sqoop因NoSuchElement异常而失败。看起来不是......

回答 2 投票 0

Sqoop导出HDFS到MySQL失败

我不知道我哪里出错了,但是每次从HDFS到MySQL的Sqoop导出命令都会失败。 sqoop export --connect“jdbc:mysql://quickstart.cloudera:3306 / streaming”--username root --...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.