Python C扩展 - 内存泄漏

Question

我是Python的新手，这是我第一次尝试编写C扩展。

背景在我的Python 3.X项目中，我需要加载和解析大型二进制文件（10-100MB）以提取数据以供进一步处理。二进制内容按帧组织：标题后跟可变数据量。由于Python的低性能，我决定使用C扩展来加速加载部分。

独立的C代码在20x-500x之间的性能优于Python，所以我对它非常满意。

问题：当我在同一个Python模块中多次从我的C-extension调用函数时，内存不断增长。

---

my_c_ext.c

#include <Python.h>
#include <numpy/arrayobject.h>
#include "my_c_ext.h"

static unsigned short *X, *Y;

static PyObject* c_load(PyObject* self, PyObject* args)
{
    char *filename;
    if(!PyArg_ParseTuple(args, "s", &filename))
        return NULL;

    PyObject *PyX, *PyY;

    __load(filename); 

    npy_intp dims[1] = {n_events};

    PyX = PyArray_SimpleNewFromData(1, dims, NPY_UINT16, X);
    PyArray_ENABLEFLAGS((PyArrayObject*)PyX, NPY_ARRAY_OWNDATA);

    PyY = PyArray_SimpleNewFromData(1, dims, NPY_UINT16, Y);
    PyArray_ENABLEFLAGS((PyArrayObject*)PyY, NPY_ARRAY_OWNDATA);

    PyObject *xy = Py_BuildValue("NN", PyX, PyY);


    return xy;
}

...

//More Python C-extension boilerplate (methods, etc..)

...

void __load(char *) {

    // open file, extract frame header and compute new_size
    X = realloc(X, new_size * sizeof(*X));
    Y = realloc(Y, new_size * sizeof(*Y));

    X[i] = ...
    Y[i] = ...

    return;
}

---

test.朋友

import my_c_ext as ce

binary_files = ['file1.bin',...,'fileN.bin']

for f in binary_files:
    x,y = ce.c_load(f)
    del x,y

---

这里我删除了返回的对象，希望降低内存使用率。

在阅读了几篇文章后（例如this，this和this），我仍然被困住了。

我试图添加/删除PyArray_ENABLEFLAGS设置NPY_ARRAY_OWNDATA标志没有经历任何差异。我还不清楚NPY_ARRAY_OWNDATA是否暗示C中的free(X)。如果我在C中明确释放数组，我试图在segfault中的for循环中加载第二个文件时遇到test.py。

我知道我做错了什么吗？

Answer 1

这看起来像是内存管理灾难。 NPY_ARRAY_OWNDATA应该让它在数据上调用free（或至少PyArray_free，这不一定是同一件事......）。

然而，一旦完成，你仍然有全局变量X和Y指向一个现在无效的内存区域。然后在那些无效指针上调用realloc。在这一点上，你很好地处理未定义的行为，所以任何事情都可能发生。

---

如果它是一个全局变量，那么内存需要全局管理，而不是Numpy。如果内存由Numpy阵列管理，那么除了通过Numpy阵列之外，您需要确保不存储任何其他方式来访问它。还有别的事情会给你带来麻烦。