如何在 Cython 中将大型 malloc 数组返回或保存为 Python 对象？

Question

我想使用 Cython 从模型创建大量模拟样本，稍后需要使用 Python 进行分析。我的模拟脚本一次运行的结果应该是一个 10000 x 10000 数组。

我使用

def

定义了一个函数，并尝试将我的数组声明为

cdef int my_array[10000][10000]

。

my_script.pyx

文件编译正确，但当我运行脚本时，出现“分段错误”错误（我在 Linux 上）。

在寻找解决方案时，我了解到这个问题是由于在堆栈而不是堆上分配内存引起的，因此我决定使用

PyMem_Malloc

来分配内存。这是我想做的事情的最低版本：

import cython
from cpython.mem cimport PyMem_Malloc
from libc.stdlib cimport rand, srand, RAND_MAX

srand(time(NULL))

def my_array_func(int a_param)
    cdef int i
    cdef int **my_array = <int **>PyMem_Malloc(sizeof(int *) * 10000)
    for i in range(10000):
        my_array[i] = <int *>PyMem_Malloc(sizeof(int) * 10000)
    
    cdef int j
    cdef int k
    for j in range(10000):
        for k in range(10000):
            my_array[j][k] = <float>rand()/RAND_MAX * a_param
    
    return my_array

当我尝试编译这个文件时，我收到一个错误

Cannot convert 'int **' to Python object

，这是有道理的，因为 my_array 不是一个正确的数组，所以我猜它不能作为 Python 对象返回（抱歉，我对 C 的了解真的很生疏）。

有没有办法让函数返回我的二维数组，以便它可以用作其他Python函数的输入？另一个更受欢迎的解决方案可能是将数组直接保存在一个文件中，稍后可以通过 Python 脚本导入该文件。

Answer 1

根据@DavidW的评论，当Cython中涉及矩阵计算时，建议使用numpy数组来拥有内存并生活在pythonland中。

在你的情况下，它看起来像这样：

import cython
cimport numpy as np
import numpy as np
from libc.stdlib cimport rand, srand, RAND_MAX
from libc.time cimport time

srand(time(NULL))

def my_array_func(int a_param):
    cdef int n_rows=10000, ncols=10000
    # Mem alloc + Python object owning memory
    cdef np.ndarray[dtype=int, ndim=2] my_array = np.empty((n_rows,ncols), dtype=int)

    # Memoryview: iterate over my_array at C speed
    cdef int[:,::1] my_array_view = my_array 

    # Fill array
    cdef int i, j
    for i in range(n_rows):
        for j in range(ncols):
            my_array_view[i,j] = <int> (rand()/RAND_MAX * a_param)
    
    return my_array

使用

.shape

在一行中获得定义大小的空内存块，确保它由 Python 对象拥有并具有所有好的数组属性（如

cdef np.ndarray[...

）。通过使用内存视图，无需 Python 交互即可完成此数组的循环。