sqoop 相关问题

自2012年3月以来,Sqoop是一个开源的顶级Apache项目.Sqoop是一个开源连接框架,有助于在多个关系数据库管理系统(RDBMS)和HDFS之间进行传输。 Sqoop使用MapReduce程序导入和导出数据;进口和出口是并行进行的。

数据库名称舀错误,虽然它的存在甚至不存在

我有3个节点,一个namenode1,datanode1和datanode2。瓢和mysql安装在namenode1。可以当C作为测试数据库的列表。 Hadoop的@ namenode1:在/ usr /本地/ sqoop / lib目录$ sqoop列表-...

回答 1 投票 -1

Sqoop从Presto数据库,[Teradata的] [JDBC](11975)不支持的事务隔离等级:2

我能够连接和使用CLI,星火等查询普雷斯托数据库但当我尝试从PrestoDB实例为S3 Sqoop进口,我得到这个事务隔离错误:26年8月2日03:03:...

回答 1 投票 0

导入数据的Avro失败,Sqoop 1.4.7和Hadoop 2.7.3

我处理的问题,我想从使用Apache Sqoop内部部署的PostgreSQL从属副本到谷歌云存储中的Avro格式导入数据的大量。与导入数据...

回答 1 投票 2

Amazon EMR群集上Sqoop安装的位置?

我启动了一个EMR群集以使用测试sqoop,但事实证明它似乎未安装在最新版本的EMR(5.19.0)上,因为我在目录/ usr / lib / sqoop中找不到它。我尝试过...

回答 2 投票 0

使用sqoop将值从Mysql提取到HDFS

我有一些要求,sqoop应该在查询中使用groupby从mysql表中提取数据。 sqoop有可能吗?任何帮助将不胜感激!

回答 1 投票 -1

在RDBMS中没有主键的Sqoop导入

我可以使用sqoop将RDBMS表数据(表没有主键)导入hive吗?如果是,那么请你给sqoop import命令。我试过用sqoop import general命令,但它...

回答 5 投票 7

仅在“-Dorg.apache.sqoop.splitter.allow_text_splitter = true”属性作为参数传递的情况下才允许为文本索引列生成拆分

我已经命令从sqlserver导入sql到hive,如下面sqoop import --connect'jdbc:sqlserver://10.0.2.11:1433; database = SP2010'--username pbddms -P --table daily_language --hive-import - 蜂巢-...

回答 1 投票 1

使用SQOOP将数据从MYSQL导入HIVE

我正在尝试使用SQOOP将数据从MySQL复制到HIVE。但是,即使我在bashrc文件中设置了HIVE_CONF_DIR变量,我也会收到以下错误。下面是我的代码:sqoop import --connect ...

回答 1 投票 0

Sqoop将数据导入hive和hdfs

我们可以将sqoop数据导入hdfs和hive吗?我用两个不同的用户(root和admin)尝试了下面root和admin之间的命令[root] sqoop import --connect jdbc:mysql://10.6.162 ....

回答 2 投票 1

使用--input-lines-terminated-by =“:”导出sqoop不起作用

我正在尝试从hdfs导出到mysql一个文件,其中“:”作为行终止符。我的sqoop命令只导出第一行。我的预期结果是用两列id和...编写表测试

回答 1 投票 0

Oozie shell动作 - 运行sqoop命令并需要记录详细信息

我正在与Oozie,shell动作和sqoop合作。我正在使用oozie来运行许多sqoop命令。我已经设置了一个shell动作,在那个shell中我放置了很多sqoop命令。现在,shell动作是......

回答 1 投票 2

将数据传输到HBase并与Hive集成会对性能产生影响

我们将oracle表平移到HBase并在Hive中创建了映射表,看起来我们在sqooping时,所有数据都会转到一个区域,因此当我在hive上查询只有一个map时...

回答 1 投票 0

与多个文件大小表的Sqoop导入相关的查询

我这里有一个Sqoop场景。请提供相关信息。在我的RDBMS中,我有n个表,其大小分别为1 GB,500 MB,50 MB,10 MB等。在这种情况下,如何一次性导入所有表格或...

回答 1 投票 -1

hive-drop-import-delims在Sqoop中使用HCatalog时不删除换行符

当与Oracle运行Apache Sqoop时,即使在命令中使用--hive-drop-import-delims选项后,与HCatalog导入一起使用的Sqoop也无法从列数据中删除新行(\ n)。 Sqoop ......

回答 3 投票 4

Sqoop Hive退出状态1

当我执行:sqoop import --connect jdbc:mysql:// localhost / testdb --table test --hive-table test --hive-import -m 1我收到以下错误消息:13/04/21 16:42 :50 ERROR tool.ImportTool:...

回答 4 投票 6

如何将Sqoop导入为JSON?

我知道Sqoop支持将数据导入为Avro,Parquet,Text等。有没有办法将数据导入为JSON?目前使用Spark不是我的选择。

回答 1 投票 0

Dataproc上的Sqoop无法将数据导出为Avro格式

我想使用Sqoop从Postgres数据库中提取数据,我使用Google Dataproc来执行Sqoop。但是,当我提交Sqoop作业时出现错误。我使用以下命令:创建集群...

回答 1 投票 3

执行sqoop eval命令时出错

我正在从home dir执行sqoop命令。这个sqoop命令连接sybase Sqoop list-tables命令工作正常。我能够看到表格列表sqoop list-tables \ --...

回答 1 投票 2

创建Sqoop Hive导入作业

我使用Sqoop成功地从oracle表导入Hive表。现在我想创建并保存一个Sqoop作业,其中包含我用于临时导入的确切参数。但如果我说:......

回答 3 投票 0

由于权限错误,HDP Sandbox SQOOP失败

以下是错误消息:无法将源hdfs://sandbox-hdp.hortonworks.com:8020 / user / maria_dev / DimDepartmentGroup / part-m-00000移动到目标hdfs://sandbox-hdp.hortonworks.com:8020 / ...

回答 2 投票 1

最新问题
© www.soinside.com 2019 - 2024. All rights reserved.