最近在项目中出现golang内存溢出的问题,master刚开始运行时只有10多M,运行几天后,竟然达到了10多个G。而且到凌晨流量变少内存也没有明显降低,内存状态呈现一种很不健康的曲线。
像这种情况肯定是golang内存溢出了,为此我持续排查了两天,终于找到问题所在,特此记录下。
准备工作
- 一台较好的环境测试机,单台运行无污染。
- 压测工具,无论服务是http还是websocket服务,都必须准备好压测工具模拟最真实的用户场景。
- 将master引入net/http/pprof包,通过http访问获得goroutine、heap信息。
//引入pprof import _"net/http/pprof" //在main中加入 go func() { log.Println(http.ListenAndServe("localhost:9999", nil)) }()
浏览器访问: http://127.0.0.1:9999/debug/pprof/
获取goroutine信息 http://10.13.132.91:9999/debug/pprof/goroutine"text-align: left">获取heap信息
http://10.13.132.91:9999/debug/pprof/heap"text-align: left">使用golang tool进行统计分析,
go tool pprof -inuse_space http://127.0.0.1:9999/debug/pprof/heap
。输入top10可以看出前十占用内存情况,这里我是直接输入png导出图片来查看,以便以后比较。还有两个参数可以选择,-inuse_space顾名思义是正在使用的内存,-alloc_space是已经分配的内存,本次我是一直用-inuse_space进行分析。
开始进行分析
go是一门自己gc的语言,大概两分钟会gc一次。如果有内存泄漏,无非就是两种情况。
- 有goroutine泄漏,goroutine“飞”了,zombie goroutine没有结束,这个时候在这个goroutine上分配的内存对象将一直被这个僵尸goroutine引用着,进而导致gc无法回收这类对象,内存泄漏。
- 有一些全局(或者生命周期和程序本身运行周期一样长的)的数据结构意外的挂住了本该释放的对象,虽然goroutine已经退出了,但是这些对象并没有从这类数据结构中删除,导致对象一直被引用,无法被回收。
排除掉goroutine泄漏
首先,我利用压测工具对server进行100个websocket连接,模拟用户浏览行为,然后关闭连接。打开浏览器查看goroutine数量,发现新起的goroutine全部已经销毁,没有观察到有泄漏的goroutine,因此排除此情况。
确定是全局变量无回收
排除goroutine泄漏,只能是由全局状态变量引起的。再次用压测工具进行压测然后关闭,使用观察内存情况。使用go tool pprof -inuse_space http://127.0.0.1:9999/debug/pprof/heap
输入png
导出(在这种情况下,需要等程序gc完再导出,建议等10分钟左右。)
发现问题所在
每次都会遗留这么大概0.5M的内存空间出来,就奇怪,明明整个goroutine退出为什么还有会内存占用"text-align: center">
这里面有个项目的坑,上报日志的key不是根据这个len(map)
计算出,导致上报日志的时候以为删除了该key。
后记
为什么会花了两天时间,看起来上述流程并不复杂。
实际上你要完全排除掉goroutine泄漏需要花较长的时间去对比的,查看哪些goroutine是新起来没有关闭。
在使用-inuse_space或者-alloc_space分析,也是很纠结,这些看起来也并不完全与表现对应上。实际上用-inuse_space是较为直观的,可以展现出程序真正在使用的(RSS)。Go 管理内存的方式可能与你以前使用的方式不太一样。它会在一开始就保留一大块 VIRT,而 RSS 与实际内存用量接近。RSS 和 VIRT 之间有什么区别呢?VIRT 或者虚拟地址空间大小是程序映射并可以访问的内存数量。RSS 或者常驻大小是实际使用的内存数量。因此用-inuse_space导出在png图上的统计中,与top上的res值是大致相同。
还有就是每次做压测或者等待golang 完全gc都要耗费不少时间,这样也会排查增加难度。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
golang内存溢出
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。
更新日志
- 黄乙玲1988-无稳定的爱心肝乱糟糟[日本东芝1M版][WAV+CUE]
- 群星《我们的歌第六季 第3期》[320K/MP3][70.68MB]
- 群星《我们的歌第六季 第3期》[FLAC/分轨][369.48MB]
- 群星《燃!沙排少女 影视原声带》[320K/MP3][175.61MB]
- 乱斗海盗瞎6胜卡组推荐一览 深暗领域乱斗海盗瞎卡组分享
- 炉石传说乱斗6胜卡组分享一览 深暗领域乱斗6胜卡组代码推荐
- 炉石传说乱斗本周卡组合集 乱斗模式卡组最新推荐
- 佟妍.2015-七窍玲珑心【万马旦】【WAV+CUE】
- 叶振棠陈晓慧.1986-龙的心·俘虏你(2006复黑限量版)【永恒】【WAV+CUE】
- 陈慧琳.1998-爱我不爱(国)【福茂】【WAV+CUE】
- 咪咕快游豪礼放送,百元京东卡、海量欢乐豆就在咪咕咪粉节!
- 双11百吋大屏焕新“热”,海信AI画质电视成最大赢家
- 海信电视E8N Ultra:真正的百吋,不止是大!
- 曾庆瑜1990-曾庆瑜历年精选[派森][WAV+CUE]
- 叶玉卿1999-深情之选[飞图][WAV+CUE]