golang 中带有切片的并发映射

Question

在该领域的一位开发人员几个月前离开后，我一直在尝试解决并发问题，但我找不到解决此问题的适当方法。

对于上下文，我们将客户数据加载到如下结构中：

[ Key ] -> { Value }

[customer-specific-hash] -> {Slice of data points/files}

示例 - 格式真的很糟糕抱歉：

[a60d849ad97bfb833e1096941] 
-> 
{ 
 { StartDate: '01-02-2022', EndDate: '28-02-2022', DataFrames: [1598,921578,12981,21749,192578...]},
 { StartDate: '01-03-2022', EndDate: '28-03-2022', DataFrames: [1234,1567,6781,126978...]},
}

以上是因为我们有 100,000 个客户，并且有一个每天晚上启动的流程，根据每个客户的哈希值（或实际上是一个存储桶）来整合数据。在处理数据帧之前，我们会遍历切片并将数据帧“合并”成一个大的数据帧，其中包含许多法律/会计规则。

这在 goroutine 中运行，以尽可能快地索引所有数据点。

所以实现本质上是一个

sync.Map[string, []DataFrame]

，但我注意到虽然地图操作受到保护，但附加到数据帧切片却没有。每晚每个哈希在该切片中可能有大约 20-30 个文件引用。

在过去的两年里，客户数据很可能被错误地合并，我的任务是修复它。在sync.map之前，他们再次使用了带有Map的RWMutex，但不是切片，它指向这篇文章作为指导。

首先，包含切片的 Map 的想法是合适的数据结构吗？

我尝试创建一个基于 RWMutex 的切片处理程序，但想知道 Map 是否可以有一个

chan DataFrame

来代替在索引客户文件时放入，然后一旦完成，第二步将其合并到数组中（如

 len(chanx)

）会被知道吗？

我主要来自Java，所以我可能对一些术语感到困惑，所以我很抱歉。

Answer 1

您有两个不同的问题：

1. 更新地图时的并发问题
2. 更新地图条目时出现并发问题

sync.Map

可以防止 1，但不能防止 2。

解决这个问题的一种方法是：

sync.Map[string, *DFrame]

哪里

type DFrame struct {
  sync.RWMutex 
  Data []DataFrame
}

一旦从地图中获取条目，您应该

Lock

或

RLock

它，然后使用数据。这不仅仅限于切片的附加。即使您只从数据帧中读取，您也必须

RLock

该结构。