圆月山庄资源网

golang中sync.Map并发创建、读取问题实战记录
脚本专栏 2024/11/15 佚名
3 2
圆月山庄资源网 Design By www.vgjia.com

背景：

我们有一个用go做的项目，其中用到了zmq4进行通信，一个简单的rpc过程，早期远端是使用一个map去做ip和具体socket的映射。

问题

大概是这样

struct SocketMap {
 sync.Mutex
 sockets map[string]*zmq4.Socket
}

然后调用的时候的代码大概就是这样的：

func (pushList *SocketMap) push(ip string, data []byte) {
 pushList.Lock()
 defer pushList.UnLock()
 socket := pushList.sockets[string]
 if socket == nil {
 socket := zmq4.NewSocket()
 //do some initial operation like connect
 pushList.sockets[ip] = socket
 }
 socket.Send(data)
}

相信大家都能看出问题：当push被并发访问的时候（事实上push会经常被并发访问），由于这把大锁的存在，同时只能有一个协程在临界区工作，效率是会被大大降低的。

解决方案：会带来crash的优化

所以我们决定使用sync.Map来替代这个设计，然后出了第一版代码，写的非常简单，只做了简单的替换：

struct SocketMap {
 sockets sync.Map
}

func (pushList *SocketMap) push(ip string, data []byte) {
 var socket *zmq4.Socket 
 socketInter, ok = pushList.sockets.Load(ip)
 if !ok {
 socket = zmq4.NewSocket()
 //do some initial operation like connect
 pushList.sockets.Store(ip, socket)
 } else {
 socket = socketInter.(*zmq4.Socket)
 }
 socket.Send(data)
}

乍一看似乎没什么问题？但是跑起来总是爆炸，然后一看log，提示有个非法地址。后来在github上才看到，zmq4.Socket不是线程安全的。上面的代码恰恰会造成多个线程同时拿到socket实例，然后就crash了。

解决方案2： 加一把锁也挡不住的冲突

然后怎么办呢？看来也只能加锁了，不过这次加锁不能加到整个map上，否则还会有性能问题，那就考虑减小锁的粒度吧，使用锁包装socket。这个时候我们的代码也就呼之欲出了：

struct SocketMutex{
 sync.Mutex
 socket *zmq4.Socket
}
struct SocketMap {
 sockets sync.Map
}

func (pushList *SocketMap) push(ip string, data []byte) {
 var socket *SocketMutex 
 socketInter, ok = pushList.sockets.Load(ip)
 if !ok {
 socket = &{
  socket: zmq4.NewSocket()
 }
 //do some initial operation like connect
 pushList.sockets.Store(ip, newSocket)
 } else {
 socket = socketInter.(*SocketMutex)
 }
 socket.Lock()
 defer socket.Unlock()
 socket.socket.Send(data)
}

但是这样还是有问题，相信经验比较丰富的老哥一眼就能看出来，问题处在socketInter, ok = pushList.sockets.Load(ip)这行代码上，如果map中没有这个值，且有多个协程同时访问到这行代码，显然这几个协程的ok都会置为false，然后都进入第一个if代码块，创建多个socket实例，并且争相覆盖原有值。

单纯解决这个问题也很简单，就是使用sync.Map.LoadOrStore(key interface{}, value interface{}) (v interface{}, loaded bool)这个api，来原子地去做读写。

然而这还没完，我们的写入新值的操作不光是调用一个api创建socket就完了，还要有一系列的初始化操作，我们必须保证在初始化完成之前，其他通过Load拿到这个实例的协程无法真正访问socket实例。

这时候显然sync.Map自带的机制已经无法解决这个问题了，那么我们必须寻求其他的手段，要么锁，要么就sync.WaitGroup或者whatever的其他什么东西。

解决方案3： 闭包带来的神奇体验

后来经大佬指点，我在encoder.go中看到了这么一段代码：

 func typeEncoder(t reflect.Type) encoderFunc {     
 if fi, ok := encoderCache.Load(t); ok {     
  return fi.(encoderFunc)      
 }          
          
 // To deal with recursive types, populate the map with an   
 // indirect func before we build it. This type waits on the  
 // real func (f) to be ready and then calls it. This indirect  
 // func is only used for recursive types.     
 var (         
  wg sync.WaitGroup       
  f encoderFunc        
 )          
 wg.Add(1)         
 fi, loaded := encoderCache.LoadOrStore(t, encoderFunc(func(e *encodeState, v reflect.Value, opts encOpts) {
  wg.Wait()        
  f(e, v, opts)        
 }))         
 if loaded {        
  return fi.(encoderFunc)      
 }          
           
 // Compute the real encoder and replace the indirect func with it.  
 f = newTypeEncoder(t, true)      
 wg.Done()         
 encoderCache.Store(t, f)       
 return f         
 }

豁然开朗，我们可以在sync.Map中存放一个闭包函数，然后在闭包函数中等待本地的sync.WaitGroup完成再返回实例。于是最终的代码也就成型了。

struct SocketMutex{
 sync.Mutex
 socket *zmq4.Socket
}
struct SocketMap {
 sockets sync.Map
}

func (pushList *SocketMap) push(ip string, data []byte) {
 type SocketFunc func()*SocketMutex
 var (
  socket *SocketMutex
  w sync.WaitGroup
 )
 socket = &SocketMutex {
  socket : zmq4.NewSocket()
 } 
 w.Add(1)
 socketf, ok = pushList.sockets.LoadOrStore(ip, SocketFunc(func()*SocketMutex) {
  w.Wait()
  return socket
 })
 if !ok {
  socket = &{
   socket: zmq4.NewSocket()
  }
  //do some initial operation like connect
  w.Done()
 } else {
  socket = socketInter.(*SockeFunc)()
 }
 socket.Lock()
 defer socket.Unlock()
 socket.socket.Send(data)
}

总结：

并发代码中的竞争问题，每一行代码的重入性都要深思熟虑啊。

总的来说要保持以下几个准则：

（1） 不可重入访问的系统资源，如socketfd, filefd，signalfd（事实上大多数这种系统资源都是不可重入的）等，在使用无锁结构的容器、读写锁封装的容器时，需要给每个资源单独加锁或者使用其他手段保证系统资源在临界区受到有效保护。

（2）如果有读取，如果为空则写入的逻辑，需要使用能提供原子性保证的LoadOrSave调用，或者没有的话，自己实现也要保证读取和写入过程整体的原子性；防止并发访问Load调用时，多个线程都返回否而创建多个实例，然后在Save的时候又互相覆盖。——这个原则不光对成员是系统资源的时候生效，如果存放的是其他东西也同样适用。

（3）如果资源创建完毕，还需要其他的初始化过程，则可以考虑在容器内放置闭包，初始化过程使用sync.WaitGroup保护，在闭包中调用Wait方法等待初始化完成再给其他线程返回初始化好的实例。而初始化过程完成后，可以置换闭包函数，不再调用Wait方法，来减少可能的开销。

好了，以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。

标签：
golang,sync.map,golang,sync.map,使用,golang,sync.map,遍历
圆月山庄资源网 Design By www.vgjia.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
圆月山庄资源网 Design By www.vgjia.com
www.vgjia.com 圆月山庄资源网
139,976互联网资源
144,792高清电影
21,817无损音乐
631,128技术资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接