我们通过 Openstack 运营私有云，目前仅使用 Intel Xeon CPU。
我们对最近发布的 AMD Epyc Zen 4th Genoa 产生了兴趣，在进行 POC 时，我们遇到了一些问题。
我们知道，AMD Epyc 与 Intel 不同，每个插槽没有集中配置，而是基于小芯片架构，其中 CPU 核心和 LLC 由芯片分开。
我们最初想像 Intel 一样作为单个 NUMA 运行，但 Openstack 无法区分 CCD，只能在部署 VM 时识别 NUMA 或线程。
我们认为使用相同 LLC 放置在 CCD 中时性能会更高，但为了确定 CCD 放置对性能的影响，我们进行了 CPU 基准测试 (sysbench) 和网络性能测试 (udp)。
令我们惊讶的是，在多个 CCD 上部署时的性能比在单个 CCD 上部署时的性能略高。
我们想知道在 AMD Epyc Genoa 基座上运行 Openstack 时，通过 CCD 分隔 NUMA 节点是否有任何好处？或者说，操作过程中可能会出现什么潜在的问题？
作为参考，我们通过 CCD 设置了 NUMA 分离，并使用 HWOL 配置。
通过在Nova Flavor Extra Spec中指定
hw:pci_numa_affinity_policy='socket'我进行了与 CCD 性能相关的额外测试。
结果如下：
当多个CCD分配给中断核心时，性能更高。
由于套接字缓冲区在高速缓存旁路模式下运行，因此没有 L2 或 L3 高速缓存存储器访问。
在UDP丢弃的情况下，在socket缓冲区创建期间将socket设置为null，这意味着ksoftirqd不执行socket验证过程。
此测试也是在没有内存访问的情况下执行的。
基于这些原因，推测将 IRQ Core 分配给多个 CCD 将提供更高的性能，因为在套接字缓冲区记录期间增加了 GMI 带宽。
当中断核心分配给单个CCD时，性能更高。
在进行UDP套接字测试时，推测由于需要找到目标套接字以创建套接字缓冲区，因此发生了L2和L3缓存查询。
从下面的测试结果可以看出，使用单个 CCD 时，SoftIRQ 处理速度更快，PPS 更高。
| CCD | 加载 | 原型 | PPS | 软中断CPU使用率 | CTX | 中断 | 下降（pps） | 软网数据包 |
|---|---|---|---|---|---|---|---|---|
| CCD 1 | 10M | UDP 套接字 | 10,000,000 | 1.28% | 50,500 | 59,100 | - | 20,000,000 |
| CCD 1 | 10M | UDP 丢弃 | 10,000,000 | 0.36% | 11,500 | 60,100 | - | 20,000,000 |
| CCD 1 | 11M | UDP 套接字 | 11,000,000 | 10.24% | 56,500 | 47,600 | - | 22,000,000 |
| CCD 1 | 11M | UDP 丢弃 | 11,000,000 | 26.22% | 30,800 | 23,200 | - | 22,000,000 |
| CCD 1 | 12M | UDP 套接字 | 11,900,000 | 51.17% | 57,300 | 38,000 | 64,400 | 23,800,000 |
| CCD 1 | 12M | UDP 丢弃 | 12,000,000 | 72.45% | 15,500 | 17,500 | - | 24,000,000 |
| CCD 2 | 10M | UDP 套接字 | 10,000,000 | 10.66% | 57,100 | 47,700 | - | 20,000,000 |
| CCD 2 | 10M | UDP 丢弃 | 10,000,000 | 0.36% | 11,200 | 59,400 | - | 20,000,000 |
| CCD 2 | 11M | UDP 套接字 | 10,900,000 | 61.38% | 53,900 | 35,700 | 76,100 | 21,800,000 |
| CCD 2 | 11M | UDP 丢弃 | 11,000,000 | 24.55% | 31,200 | 23,500 | - | 22,000,000 |
| CCD 2 | 12M | UDP 套接字 | 11,500,000 | 100.00% | 42,300 | 26,100 | 458,000 | 22,600,000 |
| CCD 2 | 12M | UDP 丢弃 | 12,000,000 | 80.91% | 14,100 | 13,900 | - | 24,000,000 |
| CCD 4 | 10M | UDP 套接字 | 9,950,000 | 37.73% | 62,300 | 40,200 | 49,900 | 19,800,000 |
| CCD 4 | 10M | UDP 丢弃 | 10,000,000 | 0.68% | 13,800 | 32,500 | - | 20,000,000 |
| CCD 4 | 11M | UDP 套接字 | 10,800,000 | 97.70% | 46,300 | 28,300 | 184,000 | 21,600,000 |
| CCD 4 | 11M | UDP 丢弃 | 11,000,000 | 26.11% | 30,000 | 23,700 | - | 22,000,000 |
| CCD 4 | 12M | UDP 套接字 | 10,900,000 | 100.00% | 45,800 | 27,800 | 1,150,000 | 21,600,000 |
| CCD 4 | 12M | UDP 丢弃 | 12,000,000 | 85.47% | 11,900 | 13,300 | - | 24,000,000 |
如果您有任何其他问题或需要更多信息，请告诉我。