我使用pandas将大型数据集(510,000行)导出为CSV和JSON以进行比较。两个文件都包含相同的数据集。
-rw-r--r-- 1 ****** staff 187584246 Jun 24 16:23 case_06-24-16_16-14.csv
-rw-r--r-- 1 ****** staff 14026640 Jun 24 16:24 case_06-24-16_16-14.csv.zip
-rw-r--r-- 1 ****** staff 159802082 Jun 24 16:23 case_06-24-16_16-14.json
-rw-r--r-- 1 ****** staff 13985789 Jun 24 16:23 case_06-24-16_16-14.json.zip
我的CSV如何大于我的JSON文件?
如果你展示一些csv和json行会更容易。我的猜测是,用于分隔值的字符在两个文件中是不同的,这就是为什么你看到文件大小的差异。
关于这个问题的唯一问题就是我希望json更大。
A;B;C
1;2;3
4;5;6
2x3 =用于分隔值的6个字符
A:[1,4],
B:[2,5],
C:[3,6]
5x2 + 4 =用于分隔值的14个字符
这就是为什么如果我们对文件的结构有所了解会更容易。
JSON它是一个人类可读的文件。它没有优化。
简而言之,JSON文件将使用更多的字符和元素来表示与csv中相同的数据。
Csv的想法经过优化,可以移动数据。
E.G:
A;B;C
1;2;3
4;5;6
2x3 = 6 characters used to separate the values
A:[1,4],
B:[2,5],
C:[3,6]
5x2 + 4 = 14 characters used to separate the values