我需要在内存中存储大量的数字。然后我需要检查会员资格。数组优于内存效率列表。集合优于成员资格检查列表。我需要两个!所以我的问题是:
1)数组的内存效率是多少? (相反,请参阅下面的结果)。 2)是否有数据结构在集合和数组之间取得更好的平衡?类似于带有符号整数类型的集合?还是一些numpy构造?
我用下面的脚本检查了会员时间差异。 (我知道timeit更好,但方差足够低,时间可以很好):
import array
import time
class TimerContext:
def __enter__(self):
self.t0 = time.time()
def __exit__(self, *args, **kwargs):
print(time.time()-self.t0)
SIZE = 1000000
l = list([i for i in range(SIZE)])
a = array.array('I', l)
s = set(l)
print(type(l))
print(type(a))
print(type(s))
with TimerContext():
x = 99999 in l
with TimerContext():
x = 99999 in a
with TimerContext():
x = 99999 in s
结果:
<class 'list'>
<class 'array.array'>
<class 'set'>
0.0012176036834716797
0.0024595260620117188
1.430511474609375e-06
因此,对于成员资格检查来说,集合更快(请注意科学记法)。因此,如果他们的内存占用与数组不同,我宁愿使用一组。但我不知道如何检查内存占用。
我还要补充一点,比较集合和列表有很多问题。但是我没有看到比较数组和集合的任何好的答案。
如果在您的情况下可能,bisect
性能接近set
进行成员资格检查(包括列表和数组)。见下面的结果
import array
from bisect import bisect
import sys
import time
class TimerContext:
def __enter__(self):
self.t0 = time.time()
def __exit__(self, *args, **kwargs):
print(time.time() - self.t0)
def get_size_in_megabytes(iterable):
return round(sys.getsizeof(iterable) / (1024 ** 2), 2)
SIZE = 1000000
l = list([i for i in range(SIZE)])
a = array.array("I", l)
s = set(l)
print(type(l), get_size_in_megabytes(l))
print(type(a), get_size_in_megabytes(a))
print(type(s), get_size_in_megabytes(s))
with TimerContext():
x = 99999 in l
with TimerContext():
x = 99999 in a
with TimerContext():
x = 99999 in s
print("list bisect")
with TimerContext():
bisect(l, 99999)
print("array bisect")
with TimerContext():
bisect(a, 99999)
结果:
<class 'list'> 8.58
<class 'array.array'> 3.81
<class 'set'> 32.0
0.0024390220642089844
0.0053005218505859375
3.814697265625e-06
list bisect
9.298324584960938e-06
array bisect
6.198883056640625e-06
sys.getsizeof
ussage致@CristiFati的积分。