我们正面临数据迁移问题。我们有两个负载很重的表。我们曾经实时进行连接并从两个表中获取聚合数据。由于尺寸的增加，我们希望在mongodb中迁移它，并使用具有平坦db布局的重构来克服连接。我研究了很多，但我无法弄清楚确切的工具或框架。 Sqoop和flume将表从一个系统直接迁移到另一个系统但不重建。我无法弄清楚Spring XD或apache nifi是否按照我的需要进行转换。
伪步骤如下
第1步（从第一个系统获取）
1）var a =从年龄> 10的信息中选择id，姓名，年龄;
第2步（从第一个系统获取）
2）var b =选择地址，来自professional_detail的收入，其中id = a.id;
第3步（插入第二个系统）
3）插入到aggregate_table（id，年龄，名称，收入，地址）值（a.id，a，age，a.name，b.income，b.address）
哪个是最适合此的确切框架或工具？我们只想做sql查询，bash命令和java代码。没有其他语言
基于问题和评论，可以肯定地说您需要ETL解决方案。
当你提到一些工具时，你似乎正在关注Hadoop生态系统，在这个空间中，Spark似乎是最符合您要求的。