内存分配

Go>内存
531 词

分块

  • 目标：为对象在heap上分配内存
  • 提前将内存分块
    • 调用系统调用mmap()向OS申请一大块内存，例如4MB
    • 先将内存分成大块，例如8kb，称作mspan
    • 再将大块继续划分成特定大小的小块，用于对象分配
    • noscan mspan：分配不包含指针的对象–GC不需要扫描
    • scan mspan：分配包含指针的对象–GC需要扫描
  • 对象分配：根据对象的大小，选择合适的块返回

image.png

缓存

  • TCMalloc: thread caching
  • 每个p包含一个mcache用于快速分配，用于为绑定于p上的g分配对象
  • mcache管理一组mspan
  • 当mcache中的mspan分配完毕，向mcentral申请带有未分配块的mspan
  • 当mspan中没有分配的对象，mspan会被缓存在mcentral中，而不是立刻释放并归还给OS

image.png

内存管理优化

  • 对象分配是非常高频的操作：每秒分配GB级别的内存
  • 小对象占比较高
  • Go内存分配比较耗时
    • g -> m -> p -> mcache -> mspan -> memory block -> return pointer
    • pprof：对象分配的函数是最频繁调用的函数之一

字节跳动内部Go SDK优化方案：Balanced GC

  • 每个g都绑定一大块内存（1kb），称作goroutine allocation buffer（GAB）
  • GAB用于nosan类型的小对象分配：< 128 B
  • 使用三个指针维护GAB：base, end, top
  • Bump pointer（指针碰撞）风格对象分配
    • 无须和其他分配请求互斥
    • 分配动作简单高效

image.png

  • GAB对于Go内存管理来说是一个大对象
  • 本质：将多个小对象的分配合并成一次大对象的分配
  • 问题：GAB的对象分配方式会导致内存被延迟释放

image.png

  • 方案：移动GAB中存活的对象
    • 当GAB总大小超过一定阈值时，将GAB中存活的对象复制到另外分配的GAB中
    • 原先的GAB可以释放，避免内存泄露
    • 本质：用copying GC的算法管理小对象（根据对象的生命周期，使用不同的标记和清理策略）

image.png

留言