面向对象,数据方向,缓存污染和缓存显而易见性

问题描述 投票:8回答:2

在常规的面向对象实践中,并不是罕见的对象具有多个不相关的成员属性。当物体被处理时,在不同的通道中进行处理并不罕见,这些通道针对其属性的不同部分。

在这方面,创建对象集合的典型方法似乎不是非常有效的方法。考虑到计算机访问内存的方式和缓存行的平均大小,很有可能缓存内存正在填充不需要的内容,但恰好相邻,所以最终浪费缓存容量并增加停顿和执行的延迟。

更糟糕的是使用多态和动态分配对象的做法,没有内存池和自定义分配器。在这种情况下,不仅缓存会被不需要的数据填充,而且由于动态内存分配使用的任意地址,预取程序也无法正常工作。

拯救是回到OOP之前的时间并选择数据导向,这似乎是开发性能关键应用程序,操作系统等的首选。但为什么不使用两者的混合版本呢?面向数据的对象编程?

在那么久的提议之后,让我们来看看手头的问题。我没有足够大的项目来测试这个概念的效率,所以社区的理论专业知识非常受欢迎。

如果不是存储自己的数据成员的对象,它们只存储对集合的引用,其数据成员按顺序存储在它们自己的容器中,并且它们的成员方法从这些容器返回数据,这样就不需要数据结束的几率应该减少在前往CPU的路上,并且增加近期“未来”所需的数据几率。逻辑假设是这种方法将提高预取器效率,缓存命中率和使用效率,并且还将减少自动和手动并行化中涉及的延迟。

你怎么看?

后期编辑:如果我们考虑结构和类填充,如果“模型”有一个char和一个int数据成员,那么应用“数据方向模式”可能会更有益,在OOP方式中它将被填充,这将是只能进一步污染缓存,但是面向数据的存储模式可以按顺序存储所有chars和所有ints,而根本不会浪费空间和缓存。

performance oop caching memory-efficient data-oriented-design
2个回答
0
投票

首先,漂亮的幻灯片演示。好吧,据我所知,你的问题与演示方法有很大的不同。变量随机存储在主存储器中,甚至是对象属性。如果你试图将内存分配给一个连续的数据结构,你的数据结构的大小将受到主存储器中最大的“气泡”的限制,否则它将不是纯粹的连续性。也许你认为这样的事情:

class MyClass
{
public:
    MyClass()
    {
        m_dataMembers = new GenericObject[DATA_MEMBERS_AMOUNT];

        //initialize array values...
    }

    int getMyVar()
    {
        return (int)m_dataMembers[MY_VAR_INDEX];
    }

    //others functions...

private:
    GenericObject* m_dataMembers;
}

这样,你就会遇到一些问题。首先,您需要一个通用对象类来存储任何类型的变量。然后,您需要知道每个变量在数据结构中的位置,然后您需要知道数据结构中每个变量的类型,以便在getter中正确转换。他在演示文稿中实际做的是减少他的类大小,使用引用,使其更适合缓存页面,并减少缓存中的使用,而不是在主内存中。我希望我没有误会你。


0
投票

我看到的方式是,如果你在非常精细的粒状对象(如抽象的IPixel界面)中使用它,那么对象级别的多态性本身就很昂贵。在这种情况下,围绕IPixel依赖关系的视频处理软件从效率的角度来看会非常紧张,因为它没有喘息的优化空间。除了每像素动态调度的成本之外,这里所需的虚拟指针也可能比整个像素本身更大,使用内存增加一倍或三倍。此外,我们不能再以超出单个像素的方式使用像素表示,并且,最可怕的是,图像中的相邻像素甚至可能在存储器中不连续地表示。

同时IImage可以提供足够的优化空间,因为图像模拟像素的集合/容器,并且仍然具有足够的灵活性(例如:针对每种像素格式的不同具体图像表示)。现在,每个图像的动态调度很便宜,并且虚拟指针的大小对于整个图像来说可以忽略不计。我们还可以探索如何以一种允许我们一次有效处理多个像素的方式将像素表示为我们内心的内容。所以我认为这与你类似,就像在适当的粗糙度上设计对象一样,这通常意味着事物的集合,以减少所有开销和优化带来的障碍。

如果不是存储自己的数据成员的对象,它们只存储对集合的引用,其数据成员按顺序存储在它们自己的容器中,并且它们的成员方法从这些容器返回数据,这样就不需要数据结束的几率应该减少在前往CPU的路上,并且增加近期“未来”所需的数据几率。

我喜欢这个想法,但如果你对多态上下文采取了太多的考虑,你可以按照自定义内存分配器和排序基本指针的方式工作。我经常发现这种设计的用途是提高使用单个元素的便利性,以便需要聚合以提高效率(一种情况是使用SoA表示进入容器,另一种情况我将在下面介绍)。

多态情况不一定受益太多,因为固有的问题在于一次一个地对粒状物质进行非均匀处理。为了恢复效率,我们必须恢复关键循环的同质性。

非齐次临界循环

举一个例子,Orc继承CreatureHuman继承CreatureElf继承Elves,但人类和兽人和精灵有不同的大小/领域,不同的对齐要求和不同的vtable。在这种情况下,当客户端代码想要处理非同类列表时,将多态基本指针存储到生物中,如下所示:

for each creature in creatures:
     creature.do_something();

......而不是牺牲多态性:

for each orc in orcs:
     orc.do_something();
for each human in humans:
     humans.do_something();
for each elf in elves:
     elves.do_something();

......每当我们介绍一种新型生物时,如果我们需要在很多地方这样做,这将是一个真正的PITA延伸......

...然后,如果我们想要保持多态解决方案,但仍然以非同类的方式一次一个地处理每个生物,我们仍然最终会失去时间和空间位置,无论每个生物是否只是存储一个后向指针到一个容器或不。我们失去了vtable上的时间局部性,因为我们可能在一次迭代中访问一个vtable,然后在下一次迭代时访问另一个vtable。这里的内存访问模式也可以是随机的和零星的,导致空间局部性的丢失,因此我们最终会遇到缓存未命中。

因此,在这种情况下,如果你想要继承和多态,我的解决方案是在容器级别抽象:Orcs继承CreaturesHumans继承CreaturesElves继承了Creatures。当它想表达要为特定生物执行的操作时,这会将一些额外的复杂性传递给客户端代码,但现在上面的顺序循环可以这样写:

for each creatures in creature_types:
     creatures.do_something();

在第一次迭代中,也许这对整个兽人列表(可能就像存储在数组中的一百万个兽人)做了一些事情。现在,该列表中的所有兽人都可以连续存储,我们将同类功能应用于该列表中的所有兽人。在不改变设计的情况下,我们有一大堆呼吸空间可以优化。

我们这里仍然有一个非均匀的循环利用多态性,但它现在是如此,便宜得多,因为我们只支付整个容器生物的开销,而不是每个单独的生物。处理各个生物的循环现在是同质的。这类似于使用抽象的IImage,比如说,照亮一堆图像(一堆像素容器),而不是一次一个地实现IPixel的抽象像素对象。

同构循环和表示

因此,这使得繁重的关键循环远离非均匀循环,从一个地方一次一个地处理各种不同的数据,并将它们移向均匀循环,处理连续存储的同类数据。

这是我看待界面设计的一般策略。如果它很容易以难以优化的方式产生热点,那么我认为固有的问题是界面设计得太精细了(Creature,而不是Creatures)。

如果希望利用OOP,那就是我看到解决这个问题的方式。我认为您的设计理念类型可能有用的是简化客户端代码必须表达仅适用于一个特定生物的操作的情况,此时它们可以通过某种代理对象工作,该代理对象指向容器和也许存储一个索引或指向特定条目的指针,以方便,如CreatureHandle引用其中一个抽象Creatures容器中的特定条目。

© www.soinside.com 2019 - 2024. All rights reserved.