将大型机IMS数据导入Hadoop

Question

我正在尝试将IMS大型机数据导入Hadoop。想知道是否有可能通过以下任何一种方式a）Apache Spark或MapReduce作业。b）其他任何工具/技术。

主要目标是我们希望每天/每周获取将按计划运行的IMS大型机数据

Answer 1

由于IMS大型机具有JDBC连接器，因此，使用Sqoop可以使用https://www.ibm.com/support/knowledgecenter/en/SSEPH2_13.1.0/com.ibm.ims13.doc.apg/ims_odbjdbcintro.htm是一个很好的起点。 （绝对不是仅阅读文档的IMS专业人士）

来自sqoop，您将在hadoop hdfs上写入数据，然后可以在Spark数据集上使用它。 Sqoop允许您进行完全导入或增量导入。我的观点是，建议使用sqoop 1而不是版本2来建议。使用Cron作业来计划您的运行，您将按照需要进行计划。