休息api vs sqoop

问题描述 投票:0回答:2

我试图将数据从mysql导入到hdfs。我能够用sqoop做到这一点,但这可以通过从api获取数据来完成。

我的问题是关于何时使用rest api来加载hdfs而不是sqoop中的数据?

请说明用例的一些区别!

rest hadoop hdfs sqoop
2个回答
0
投票

您可以使用Sqoop将数据从Mysql中提取到Hbase中,然后在Hbase上放置一个REST API(在Hadoop上)...与Mysql上的REST API没什么不同。

基本上,你要比较两种不同的东西。 Hadoop并不是要取代传统数据库或N层面向用户的应用程序,它只是一个存储大量数据的分布式,容错的地方。

而且您通常不会使用REST API与数据库通信,然后将这些值放入Hadoop,因为这不会分发,所有数据库结果都通过一个进程


0
投票

Sqoop(SQL <=> Hadoop)主要用于将数据从RDBMS加载到HDFS。

它是与数据库的直接连接,如果没有为从sqoop访问数据库的用户正确定义权限,则可以使用sqoop eval命令在表中附加/修改/删除数据

但是使用Rest web services api,我们可以从内部通过代码连接的各种数据库(可以是NoSQL或RDBMS)获取数据。

考虑使用curl命令调用getUsersData restful Web服务,该命令专门用于提供用户数据,不允许附加/修改/更新db的任何组件,而不管数据库(RDBMS / NoSQL)

© www.soinside.com 2019 - 2024. All rights reserved.