为什么netCDF4文件大小与写入方式如此不同？

Question

我有几个文本文件，它们存储具有不同时间和不同组的2维数据（相同形状）。现在，我想将这些数据转换为带有几个netCDF组的一个netCDF文件。每个组的变量具有相同的尺寸，例如：dimensions:{time=62, lat=118, lon=104}。而且我以三种方式写入数据。代码是用python3.7和netCDF4包编写的。

from netCDF4 import Dataset, date2num, date2index
import numpy as np
import os
from datetime import datetime, timedelta


def initialize(fpath):
    rootgrp = Dataset(fpath, 'w')
    rootgrp.createDimension('time', 62)
    rootgrp.createDimension('lat', 118)
    rootgrp.createDimension('lon', 104)

    times = rootgrp.createVariable('time', 'f8', ('time', ))
    lats = rootgrp.createVariable('lat', 'f4', ('lat', ))
    lons = rootgrp.createVariable('lon', 'f4', ('lon', ))

    lats.units = 'degrees north'
    lons.units = 'degrees east'
    times.units = 'hours since 1900-01-01 00:00:00.0'
    times.calendar = 'gregorian'
    datetimes = [
        datetime(2020, 3, 1, 8) + n * timedelta(hours=12) for n in range(62)
    ]

    lats[:] = np.linspace(-40, 40, 118)
    lons[:] = np.linspace(80, 160, 104)
    times[:] = date2num(datetimes, times.units, times.calendar)
    return rootgrp


def write(fpath, data, **kwargs):
    if not os.path.exists(fpath):
        rootgrp = initialize(fpath)
    else:
        rootgrp = Dataset(fpath, 'r+')

    grppath = kwargs['grppath']
    varname = kwargs['varname']
    grp = rootgrp.createGroup(grppath)
    if varname in grp.variables:
        var = grp.variables[varname]
    else:
        var = grp.createVariable(varname,
                                 'f4', ('time', 'lat', 'lon'),
                                 zlib=True,
                                 least_significant_digit=1)

    times = rootgrp.variables['time']
    datetimes = kwargs.get('datetimes', None)
    if datetimes is None:
        time_index = slice(None)
    else:
        time_index = date2index(datetimes, times, calendar=times.calendar)

    print(var[time_index, :, :].shape)
    print(data.shape)
    var[time_index, :, :] = data
    rootgrp.close()


def get_data(groups, datetimes):
    shape = (118, 104)
    size = shape[0] * shape[1]
    all_group = {}
    for group in groups:
        data_list = []
        for time in datetimes:
            data = np.random.random(size).reshape(shape)
            data_list.append(data)
        all_group[group] = data_list
    return all_group


def way1(dateimes, grouped_data):
    for i, time in enumerate(datetimes):
        for group, data in grouped_data.items():
            write('way1.nc',
                  data[i],
                  grppath=group,
                  varname='random',
                  datetimes=time)


def way2(datetimes, grouped_data):
    for group in grouped_data:
        all_data = np.stack(grouped_data[group])
        write('way2.nc',
              all_data,
              grppath=group,
              varname='random',
              datetimes=datetimes)


def way3(datetimes, grouped_data):
    for group, data in grouped_data.items():
        for i, time in enumerate(datetimes):
            write('way3.nc',
                  data[i],
                  grppath=group,
                  varname='random',
                  datetimes=time)


groups = list('abcdefghijklmnopqrstuvwxyz')
datetimes = [
    datetime(2020, 3, 1, 8) + n * timedelta(hours=12) for n in range(62)
]
grouped_data = get_data(groups, datetimes)
way1(datetimes, grouped_data)
way2(datetimes, grouped_data)
way3(datetimes, grouped_data)

通过三种方式写入的文件都相同（变量的ChunkSizes =（62U，118U，104U）），除了文件大小。

方式1：495,324,392字节（磁盘的503.3 MB）

方式2：15,608,108字节（磁盘的16.7 MB）

方式3：15,608,108字节（磁盘的16.7 MB）

我想知道是否有人可以为我解释。谢谢！

Answer 1

不是一个完整的答案，但我现在必须去睡觉，想分享到目前为止我发现的情况。 h5ls输出的确显示所有数据集的大小和块都相同，所以这不是问题。

在程序中，您测试netCDF文件或变量是否存在，然后仅在尚不存在时创建它。但是，您无需测试组，而是始终创建它们。通过将grp = rootgrp.createGroup(grppath)更改为以下几行，way1.nc的大小减小到19 MB。

if grppath in rootgrp.groups:
    grp = rootgrp[grppath]
else:
    grp = rootgrp.createGroup(grppath)

当从HDF5文件中删除对象时，文件大小保持不变（请参阅5.5.2。从文件中删除数据集并回收HDF5 user guide的空间）。因此，我怀疑一次又一次创建具有相同名称的组会分配存储空间，但不会释放旧组的磁盘空间，从而造成内存泄漏。我不知道为什么这种情况只会在方式1中发生，而不会在方式3中发生。

而且我还不明白为什么way1.nc仍然比其他（15 MB）稍大（19 MB）。

最后，因为仅当netCDF文件不存在时才调用initialize函数，因此在启动程序之前，必须小心删除上一次运行的输出。您很容易忘记这一点，因此建议您修改代码，以便始终在程序启动时执行initialize。