从两个CSV文件聚合MongoDB中的文档

Question

我正在编写一个Java程序，将两个CSV文件插入到一个包含子文档的文档中，但我不知道该怎么做。我将解释：我有一个SNP文件包含字段rsid，chr，has_sig和LOCUS文件包含字段rsid，mrna_acc，gene，class，sap_id在LOCUS文件中，每个rsid可以对应更多mrna_acc因此我将有更多的行与rsid相同。

我想要一个Mongo文件：

{ _id: ObjectId("7264958211f41a0c647c47b1"),
  rsid: rs530,
  chr: 21,
  has_sig: false,
  locus: [
  { mrna_acc: NM_00125,
    gene: ETS2,
    class: utr_variant
  }, 
  { mrna_acc: NM_00126,
    gene: ETS2,
    class: utr_variant
  }, 
  ... ]
}

我尝试用buffereader读取两个CSV文件并将它们插入文档中，如下所示：

Document d = new Document();
Document d1 = new Document();

FileSnp fs = new FileSnp("/Users/valentinafratini/Documents/Progetto Tesi/FactoryMethodDb/snp.csv");
    fs.readFile();
    long startTime = System.currentTimeMillis();
    while (fs.line!=null) {
        fs.line = fs.reader.readLine();

        if (fs.line!=null && fs.line.length()>0) {
            fs.obj = fs.line.split("\\s+");
            fs.readSingleObj();

            d.append("rsid", fs.rsid);
            d.append("chr", fs.chr);
            d.append("has_sig", fs.has_sig);
        }
    }

FileLocus fl = new FileLocus("/Users/valentinafratini/Documents/Progetto Tesi/FactoryMethodDb/locus.csv");
    fl.readFile();
    while (fl.line!=null) {
        fl.line = fl.reader.readLine();

        if (fl.line!=null && fl.line.length()>0) {
            fl.obj = fl.line.split("\\s+");
            fl.readSingleObj();

            d1.append("mrna_acc", fl.mrna_acc);
            d1.append("gene", fl.gene);
            d1.append("class", fl.classe);
        }
    }

d.put("locus", d1);
list.add(d);
coll.insertMany(list);

但结果是插入了一行包含snp文件和locus文件的所有字段。

你能帮助我吗？我真的不知道该怎么做。非常感谢你。

Answer 1

在目标文档结构中，locus属性包含一个子文档数组......

locus: [
  { mrna_acc: NM_00125,
    gene: ETS2,
    class: utr_variant
  }, 
  { mrna_acc: NM_00126,
    gene: ETS2,
    class: utr_variant
  } 
]

这表明FileLocus读者应该为Document中的每一行生成一个locus.csv实例，并且每个文档都应该添加到外部文档中的集合中：d由FileSnp读者创建。

如果是这样，那么你应该用以下内容替换FileLocus块：

// this will contain the collection of documents, one for each line in `locus.csv`
List<Document> locusDocuments = new ArrayList<>();

FileLocus fl = new FileLocus("/Users/valentinafratini/Documents/Progetto Tesi/FactoryMethodDb/locus.csv");
fl.readFile();
while (fl.line!=null) {
    fl.line = fl.reader.readLine();

    if (fl.line!=null && fl.line.length()>0) {
        fl.obj = fl.line.split("\\s+");
        fl.readSingleObj();

        // create and populate a sub document for the current line
        Document locusDocument = new Document();
        locusDocument.append("mrna_acc", fl.mrna_acc);
        locusDocument.append("gene", fl.gene);
        locusDocument.append("class", fl.classe);

        // assign the current sub document to the collection of locus documents
        locusDocuments.add(locusDocument);
    }
}

// add the collection of locus documents to the outer document
d.append("locus", locusDocuments);