使用 mongoimport 导入超过 1 个 json 文件

Question

我是

mongodb

的新手，想了解如何将

json

文件从一台服务器导入到另一台服务器。我尝试了以下命令

mongoimport -d test -c bik check.json

，它对我来说效果很好。现在我想知道当有多个

json

文件时如何一次性导入所有这些文件。我找不到任何相关文档，其中写到这是不可能的。请帮助我这是否可能以及如何实现

Answer 1

我想出了一种更优雅的方式来自动导入所有集合：

ls -1 *.json | sed 's/.json$//' | while read col; do 
    mongoimport -d db_name -c $col < $col.json; 
done

我希望这对你有帮助。

Answer 2

您随时可以编写一些 shell 脚本。

colls=( mycoll1 mycoll2 mycoll5 )

for c in ${colls[@]}
do
  mongoimport -d mydb -c $c.json
done

Answer 3

Windows 批处理版本：

@echo off
for %%f in (*.json) do (
    "mongoimport.exe" --jsonArray --db databasename --collection collectioname --file %%~nf.json
)

Answer 4

你也可以这样做：

for filename in *; do mongoimport --db <Database> --collection <Collection Name> --file $filename; done

Answer 5

这在 MAC OS X 中对我有用

find . -regex '.*/[^/]*.json' | xargs -L 1 mongoimport --db DB_NAME -u USER_NAME -p PASSWORD --collection COLLECTION_NAME  --file

Answer 6

对于 windowsbat 文件。如果文件夹中有 json 文件列表，效果会更好。并且集合名称与文件中的名称匹配

@echo off
for %%f in (*.json) do (
    "mongoimport.exe" --db databasename --collection %%~nf --drop --file %%f
)
pause

Answer 7

不确定这是否是一个新功能，但是

mongoimport

现在实际上可以从标准输入中读取。因此，导入多个 JSON 文件就这么简单

cat *.json | mongoimport --uri "mongdb://user:password@host/db?option=value" --collection example

我正在使用 mongodb-tools v4.2.0 顺便说一句。

更新

mongodbimport

可能会消耗大量内存，这可能会导致程序被系统 OOM 杀死。我的机器有 32GB RAM，当我尝试导入存储在 RAM 磁盘中的 ~10GB 数据时，这种情况一直发生。

将相对较大的作业分成批次：

#!/usr/bin/env bash

declare -a json_files=()
for f in *.json; do
    json_files+="$f"
    if [[ "${#json_files[@]}" -ge 1000 ]]; then
        cat "${json_files[@]}" | mongoimport --uri="mongodb://user:pass@host/db" --collection=examples -j8 #--mode=upsert --upsertFields=id1
        json_files=()
    fi
done

Answer 8

另一种单行解决方案（假设您位于 json 文件所在的文件夹中）：

ls | sed 's/.json$//' | xargs -I{} mongoimport -d DATABASE_NAME -c {} {}.json

Answer 9

Linux：

> cat one.json two.json > three.json

> mongoimport --db foo --collection baz --file three.json"

或者，文件夹中的所有文件：

> cat *.json > big.json

> mongoimport --db foo --collection baz --file "big.json"

Answer 10

一条线解决方案：

for /F %i in ('dir /b c:\files\*.json') do mongoimport.exe /d db /c files /file c:\file\%i

Answer 11

我将展示如何仅使用 Linux 终端有效地导入许多集合（它也适用于 Mac）。

您必须将所有 json 文件放在同一文件夹中，并且文件名应该是将导入到数据库中的集合。

那么，让我们开始，打开包含 json 文件的文件夹。将

<DATABASE>

替换为您的数据库名称，然后执行以下行：

for collection in $(ls | cut -d'.' -f1); do mongoimport --db <DATABASE> --collection ${collection} --file ${collection}.json; done

但是那里发生了什么？

首先，你要记住，括号会先被执行。在这种情况下，它会创建所有文件的列表，仅获取每个文件的名称（删除其扩展名）。

其次，所有列表将被添加到一个名为集合的局部变量中的循环“for”中（该变量的名称可以是你想要的任何名称）

第三，“do”执行导入行(*)

最后“完成”，完成循环。

(*) 导入行由“mongoimport”组成，需要数据库名称“--db”、集合名称“--collection”和文件名“--file”。这些要求已由在“for”内容上创建的变量“$collection”满足

我希望能帮助别人！祝大家好运:)

Answer 12

我使用此处的解决方案将 shell 函数添加到我的 bash 配置文件中，以便快速完成此操作。

我的示例取决于 mongo 导出，将每个集合输出为带有集合名称和

.metadata.json

扩展名的文件。

function mimport() {
  for filename in *; do
    collection="${filename%.metadata.json}";
    mongoimport --db $1 --collection $collection --file $filename;
  done
}

在导出文件的路径中使用，将数据库名称传递给命令...

mimport my_db

将所有集合加载到本地主机的数据库中。

Answer 13

Python：

from pathlib import Path
import subprocess

jsons_folder = "./out/"
mongodb_host = "172.22.0.3"
mongodb_port = "27017"
mongodb_user = "root"
mongodb_password = "1234"

for f in Path(jsons_folder).glob("*.json"):
    cmd = [
        "mongoimport", "-h", mongodb_host, "-p", mongodb_port, "--authenticationDatabase", "admin",
        "-u", mongodb_user, "-p", mongodb_password,
        "--db", "callscoring", "--collection", "scoring_result_entry", str(f.absolute())
    ]
    subprocess.run(cmd)