当前位置: 首页 > ds >正文

[每周一更]-(第140期):sync.Pool 使用详解:性能优化的利器

在这里插入图片描述

文章目录

      • 一、什么是 `sync.Pool`?
      • 二、`sync.Pool` 的基本作用
      • 三、`sync.Pool` 的主要方法
      • 四、`sync.Pool` 的内部工作原理
      • 五、`sync.Pool` 适用场景
      • 六、使用示例
        • 示例 1:基本使用
        • 输出示例:
        • 示例 2:并发使用
      • 七、一个基于 `sync.Pool` 的 **Benchmark**,对比使用 `sync.Pool` 和直接创建对象的性能差异。
        • Benchmark 测试代码
        • 如何运行 Benchmark?
        • 输出(示例)
        • 结果说明
      • 八、`sync.Pool` 的性能优化
      • 九、注意事项
      • 十、和其他复用方式比较
      • 最后

sync.Pool 是 Go 标准库 sync 包中的一个数据结构,主要用于实现临时对象的池化管理。它的目的是减少频繁的内存分配和垃圾回收,提高性能,尤其在高并发场景下,避免不必要的内存分配和 GC 压力。

在日常 Go 开发中,如果你遇到频繁创建和销毁某些对象的场景,或者你在写一个高并发服务,需要有效控制内存分配和 GC 压力,那么 sync.Pool 就是你值得深入了解的工具。

一、什么是 sync.Pool

sync.Pool 是 Go 标准库 sync 包中的一个对象池结构,主要用于临时对象的复用,避免频繁的内存分配和回收,从而减轻垃圾回收(GC)压力,提高程序性能。

从源码可以看到核心字段如下:

type Pool struct {New func() any// 其他内部字段不对外暴露
}

通过 New 函数定义如何创建新对象,调用 Get() 取对象,Put() 放回对象。

二、sync.Pool 的基本作用

sync.Pool 允许程序池化临时对象,并在需要时提供这些对象。池中的对象通常是短期使用的对象,它们在使用后可以被重新归还给池中,以便后续复用。这种对象池机制对于避免频繁的对象创建和销毁非常有用,特别是在并发访问大量临时对象的场景中。

三、sync.Pool 的主要方法

  1. Get()
    • 用于从池中获取一个对象。如果池中有对象,Get() 返回一个对象。如果池中没有对象,会调用提供的 New 函数来创建一个新对象(如果定义了 New)。
  2. Put()
    • 用于将一个对象放回池中,供后续复用。需要注意的是,不是所有的对象都适合放回池中,特别是那些有副作用的对象应该避免复用。
  3. New
    • sync.PoolNew 字段是一个函数类型,可以传入一个用来生成新对象的函数。当池中没有对象时,Get() 方法会调用 New 来生成一个对象。如果不需要此功能,则可以设置 Newnil

四、sync.Pool 的内部工作原理

  • sync.Pool 内部实现通常是基于一个链表,它维护了一个池中对象的集合,支持高效的插入和删除。
  • 该池使用了 无锁机制,即使在并发环境下,也能保证对象池的高效访问。
  • 池中的对象在被 Put() 放回池中后,可以在任何时刻被重新获取,除非垃圾回收器清理了池中不再使用的对象。
  • Go 的垃圾回收机制会自动回收池中未使用的对象,因此 sync.Pool 中的对象并不会长时间持有内存,避免了内存泄漏的风险。

五、sync.Pool 适用场景

sync.Pool 主要适用于以下几种场景:

  1. 临时对象复用(临时对象生命周期短,但创建开销大):
    • 在高并发场景中,尤其是需要频繁创建和销毁对象的地方,可以使用对象池来复用临时对象,减少内存分配的开销。
  2. 减少垃圾回收压力(手动管理对象回收较复杂,不适合主动释放内存):
    • 使用 sync.Pool 可以有效减少内存分配和垃圾回收(GC)的压力。因为池中的对象可以被重复利用,而不是频繁地创建和销毁。
  3. 提高性能(高并发服务中频繁创建、销毁对象(如 []byte、结构体等)):
    • 在高并发环境下,使用池化对象可以避免频繁的内存分配和垃圾回收,提高程序的性能。

不适合

  • 对象生命周期较长
  • 需要确定性回收资源(如文件句柄、数据库连接)

六、使用示例

sync.Pool 的变量复用体现:通过 Put() 放回对象,再用 Get() 获取时重用旧对象,避免了重复创建内存结构。

package mainimport ("fmt""sync"
)// 假设我们有一个临时对象类型
type MyObject struct {ID int
}func main() {// 创建一个 sync.Pool,New函数用来生成一个新的对象var pool = &sync.Pool{New: func() interface{} {// 创建一个新的 MyObject 对象return &MyObject{}},}// 从池中获取一个对象obj := pool.Get().(*MyObject)obj.ID = 42 // 使用对象// 打印对象的 IDfmt.Println("Object ID:", obj.ID)// 将对象放回池中pool.Put(obj)// 从池中获取另一个对象anotherObj := pool.Get().(*MyObject)fmt.Println("Another Object ID:", anotherObj.ID) // 此时 ID 会是0,因为是新创建的对象
}

下面以一个简单的对象池示例来演示基本用法:

示例 1:基本使用
package mainimport ("fmt""sync"
)type Buffer struct {Data []byte
}var bufferPool = sync.Pool{New: func() any {fmt.Println("New Buffer created")return &Buffer{Data: make([]byte, 0, 1024)}},
}func main() {// 从池中获取对象buf1 := bufferPool.Get().(*Buffer)buf1.Data = append(buf1.Data, []byte("Hello")...)fmt.Println("buf1:", string(buf1.Data))// 使用完后放回池中buf1.Data = buf1.Data[:0] // 重置内容bufferPool.Put(buf1)// 再次获取,复用之前的对象buf2 := bufferPool.Get().(*Buffer)fmt.Println("buf2:", string(buf2.Data))
}
输出示例:
New Buffer created
buf1: Hello
buf2:

可见第二次 Get() 没有再次创建新对象,而是复用了上一次的。


示例 2:并发使用
var intSlicePool = sync.Pool{New: func() any {return make([]int, 0, 100)},
}func worker(wg *sync.WaitGroup, id int) {defer wg.Done()s := intSlicePool.Get().([]int)s = append(s, id)fmt.Printf("Worker %d, slice: %v\n", id, s)s = s[:0] // 重置intSlicePool.Put(s)
}func main() {var wg sync.WaitGroupfor i := 0; i < 10; i++ {wg.Add(1)go worker(&wg, i)}wg.Wait()
}

该例子模拟了并发下的对象复用场景,可以有效减少 slice 分配。

七、一个基于 sync.PoolBenchmark,对比使用 sync.Pool 和直接创建对象的性能差异。

Benchmark 测试代码
package mainimport ("bytes""sync""testing"
)type Buffer struct {Data *bytes.Buffer
}var bufferPool = sync.Pool{New: func() any {return &Buffer{Data: new(bytes.Buffer)}},
}// 不使用 sync.Pool,直接创建
func BenchmarkWithoutPool(b *testing.B) {for i := 0; i < b.N; i++ {buf := &Buffer{Data: new(bytes.Buffer)}buf.Data.WriteString("Hello World")_ = buf.Data.String()}
}// 使用 sync.Pool 重复利用
func BenchmarkWithPool(b *testing.B) {for i := 0; i < b.N; i++ {buf := bufferPool.Get().(*Buffer)buf.Data.Reset()buf.Data.WriteString("Hello World")_ = buf.Data.String()bufferPool.Put(buf)}
}

如何运行 Benchmark?

创建一个 _test.go 文件,例如 buffer_pool_test.go,然后运行:

go test -bench=. -benchmem

输出(示例)
BenchmarkWithoutPool-10   	  500000	      2400 ns/op	   320 B/op	      4 allocs/op
BenchmarkWithPool-10      	1000000	      1200 ns/op	     0 B/op	      0 allocs/op

结果说明
  • ns/op:每次操作耗时,越低越好
  • B/op:每次操作分配的内存字节数
  • allocs/op:每次操作的内存分配次数

从示例结果可见,使用 sync.Pool 明显减少了内存分配次数和内存开销,同时也提升了执行效率。

八、sync.Pool 的性能优化

  1. 减少对象创建和销毁的开销
    • 在高并发环境下,频繁创建对象会导致内存分配的开销和垃圾回收压力。通过对象池化,可以减少创建和销毁对象的次数,提升性能。
  2. 适合临时对象的复用
    • sync.Pool 更适合存储那些生命周期较短、频繁创建和销毁的对象,避免了过多的内存分配和垃圾回收操作。
  3. 避免对象泄漏
    • 如果池中对象不再被使用(例如被 GC 清理),它们将被自动删除,避免了内存泄漏的问题。

九、注意事项

  1. 避免放入重负载的对象
    • 一些资源密集型的对象,如数据库连接或文件句柄,应该避免放入 sync.Pool,因为它们通常不适合复用,并且会导致不可预见的副作用。
  2. 不应对同一对象进行多次 Put()
    • Put() 应该用于将一个对象放回池中以供后续复用。如果将同一对象多次放入池中,可能会导致不可预料的行为。
  3. GC 清理
    • 在 Go 的垃圾回收机制中,池中的对象有时会被 GC 回收。如果池中的对象不再使用,sync.Pool 会自动清理它们。
  4. 适合临时对象复用
    • 比如用于解码、缓冲处理、临时排序等。
  5. 不要指望 Pool 实现跨协程稳定复用
    • sync.Pool 更像是对当前 goroutine 或 CPU 本地缓存的一种优化,跨核心复用的能力有限。

十、和其他复用方式比较

方法优点缺点
sync.Pool简单、线程安全、自动 GC 清理控制不精确、不可预测回收
自定义对象池(channel)更可控,可限制最大数量实现复杂、需要额外锁
手动复用(重用结构体)内存利用最大化需要明确回收点,编码难度高

最后

sync.Pool 是一个非常有用的工具,特别适用于高并发场景中对象的复用,减少内存分配和垃圾回收的开销。它通过对象池化机制,使得临时对象能够被高效地复用,进而提高程序的性能。在使用时,应避免将那些不适合复用或者资源密集型的对象放入池中。

临时对象复用优先用 sync.Pool,长生命周期或资源敏感场景慎用。

http://www.xdnf.cn/news/400.html

相关文章:

  • 【漫话机器学习系列】211.驻点(Stationary Points)
  • opencv--图像处理
  • [密码学基础]GMT 0029-2014签名验签服务器技术规范深度解析
  • 性能比拼: Elixir vs Go(第二轮)
  • [密码学基础]密码学发展简史:从古典艺术到量子安全的演进
  • 免费多平台运行器,手机畅玩经典主机大作
  • 【数据结构】励志大厂版·初阶(复习+刷题)单链表
  • 简单线段树的讲解(一点点的心得体会)
  • 开发基于python的商品推荐系统,前端框架和后端框架的选择比较
  • 碰一碰发视频系统源码搭建全解析:定制化开发
  • php多种方法实现xss过滤
  • linux oracle 19c 静默安装
  • 5G 毫米波滤波器的最优选择是什么?
  • Java核心技术卷第三章
  • [特殊字符] Kotlin与C的类型别名终极对决:typealias vs typedef,如何让代码脱胎换骨?
  • linux之文件系统
  • JavaWeb 课堂笔记 —— 14 Mybatis
  • 在VMware Workstation 17 Pro上实现Windows与UOS虚拟机之间复制粘贴文本及文件
  • PHP怎样判断浏览器类型和浏览器语言?
  • ESB —— 企业集成架构的基石:功能、架构与应用全解析
  • MOPSO实现无人机多目标路径规划(Matlab完整源码和数据)
  • Android 应用wifi direct连接通信实现
  • P3916 图的遍历
  • C语言学习之预处理指令
  • 【C++ Qt】信号和槽(内配思维导图 图文并茂 通俗易懂)
  • Java 动态代理教程(JDK 动态代理)(以RPC 过程为例)
  • 突破速率瓶颈:毫米波技术如何推动 5G 网络迈向极限?
  • Flink介绍——实时计算核心论文之Kafka论文总结
  • 用 R 语言打造交互式叙事地图:讲述黄河源区生态变化的故事
  • 毕业论文超清pdf带标签导出