当前位置： 首页 > news >正文

【Go-补充】ioReader + ioWriter + bufio

news 2025/6/4 19:09:20

一、io.Reader 和 io.Writer 接口介绍

在 Go 语言中，io 包定义了两个最基础和最重要的接口：io.Reader 和 io.Writer。它们是 Go 语言中进行输入/输出操作的核心抽象，实现了极大的灵活性和可组合性。

io.Reader 接口

io.Reader 接口定义了一个 Read 方法：

type Reader interface {Read(p []byte) (n int, err error)
}
  • Read(p []byte) (n int, err error)：
    • 该方法尝试将数据读取到字节切片 p 中。
    • n 是实际读取的字节数。
    • err 是读取过程中可能发生的错误。
      • 当数据流结束时，Read 通常返回 n > 0 且 err == io.EOF，或者在后续调用中返回 n == 0 且 err == io.EOF。
      • 当 Read 返回 n < len(p) 但没有错误时，表示部分读取，即数据源没有足够的数据填充 p。
      • 如果 Read 返回 n == 0 且 err == nil，表示目前没有数据可用，但这不是错误，调用者应再次尝试读取。

io.Reader 的作用：

  • 统一读取行为：任何实现了 Read 方法的类型都可以被视为一个数据源。这包括文件 (*os.File)、网络连接 (net.Conn)、内存中的字节切片 (bytes.Reader)、字符串 (strings.Reader)，甚至加密解密流、压缩解压缩流等。
  • 可组合性：由于所有这些类型都实现了相同的 Reader 接口，它们可以无缝地相互连接和传递。例如，你可以用 bufio.NewReader 封装一个 *os.File，也可以封装一个 bytes.Reader。
  • 流式处理：Read 方法的参数是一个字节切片，它鼓励分块读取和处理数据流，而不是一次性加载所有数据到内存，这对于处理大文件或无限数据流非常高效。

常见实现者：*os.File, *net.TCPConn, *bytes.Buffer, *bytes.Reader, *strings.Reader, *bufio.Reader 等。

io.Writer 接口

io.Writer 接口定义了一个 Write 方法：

type Writer interface {Write(p []byte) (n int, err error)
}
  • Write(p []byte) (n int, err error)：
    • 该方法尝试将字节切片 p 中的数据写入到输出目标。
    • n 是实际写入的字节数。
    • err 是写入过程中可能发生的错误。
      • 如果 Write 返回 n < len(p) 但 err == nil，通常表示部分写入，即目标无法一次性接受所有数据。
      • 如果 Write 返回 n > 0 但 err != nil，表示在写入部分数据后发生了错误。

io.Writer 的作用：

  • 统一写入行为：任何实现了 Write 方法的类型都可以被视为一个数据目标。这包括文件 (*os.File)、网络连接 (net.Conn)、内存中的字节缓冲区 (bytes.Buffer)、os.Stdout 等。
  • 可组合性：同样，所有实现了 Writer 接口的类型都可以互换使用。你可以将数据写入到 *os.File，也可以通过 bufio.NewWriter 写入到 *os.File。
  • 流式处理：与 Reader 类似，Writer 也支持分块写入，适用于处理大数据。

常见实现者：*os.File, *net.TCPConn, *bytes.Buffer, os.Stdout, os.Stderr, *bufio.Writer 等。

io.Reader 和 io.Writer 是 Go 语言 I/O 设计的基石，它们通过简单的接口定义实现了强大的抽象和可组合性，使得 Go 语言的 I/O 操作既高效又灵活。bufio 包正是基于这两个接口之上构建的，通过引入缓冲区进一步优化了性能。

二、bufio

在 Go 语言中，bufio 包提供了缓冲 I/O 操作的功能。它封装了 io.Reader 或 io.Writer 对象，创建了另一个同样实现这些接口但提供了缓冲以及一些文本 I/O 辅助功能的 Reader 或 Writer 对象。

为什么需要缓冲 I/O？

直接对底层 I/O 对象（例如文件或网络连接）进行每次读写操作可能会非常低效。每次系统调用都会产生开销。通过使用缓冲，bufio 包可以在内存中积累数据，然后一次性进行更大块的读写操作，从而减少系统调用的次数，提高 I/O 性能。

bufio 包的主要类型和功能：

  1. bufio.Reader：

    • 作用：为 io.Reader 提供缓冲读取功能。
    • 创建：
      • bufio.NewReader(rd io.Reader)：创建一个带有默认缓冲区大小（通常为 4096 字节）的 Reader。
      • bufio.NewReaderSize(rd io.Reader, size int)：创建一个指定缓冲区大小的 Reader。
    • 常用方法：
      • Read(p []byte) (n int, err error)：从输入中读取最多 len(p) 字节到 p 中。
      • ReadByte() (byte, error)：读取并返回下一个字节。
      • ReadRune() (r rune, size int, err error)：读取并返回下一个 UTF-8 编码的 Unicode 字符（rune）。
      • ReadLine() (line []byte, isPrefix bool, err error)：读取一行数据，直到遇到换行符。如果一行太长，isPrefix 会为 true。
      • ReadString(delim byte) (string, error)：读取直到遇到指定的分隔符，并返回读取到的字符串（包含分隔符）。
      • ReadBytes(delim byte) ([]byte, error)：与 ReadString 类似，但返回字节切片。
      • Peek(n int) ([]byte, error)：查看接下来的 n 字节，但不会消耗它们（下一次读取仍然会读到这些字节）。
      • Buffered() int：返回当前缓冲区中可读取的字节数。
      • Size() int：返回底层缓冲区的大小。

  2. bufio.Writer：

    • 作用：为 io.Writer 提供缓冲写入功能。
    • 创建：
      • bufio.NewWriter(wr io.Writer)：创建一个带有默认缓冲区大小的 Writer。
      • bufio.NewWriterSize(wr io.Writer, size int)：创建一个指定缓冲区大小的 Writer。
    • 常用方法：
      • Write(p []byte) (n int, err error)：将 p 中的数据写入缓冲区。
      • WriteByte(c byte) error：写入一个字节到缓冲区。
      • WriteRune(r rune) (size int, err error)：写入一个 Unicode 字符到缓冲区。
      • WriteString(s string) (n int, err error)：写入一个字符串到缓冲区。
      • Flush() error：将缓冲区中的所有数据写入到底层 io.Writer。这是非常重要的方法，如果忘记调用，数据可能不会被写入！
      • Available() int：返回缓冲区中可用的字节空间。
      • Buffered() int：返回缓冲区中已填充的字节数。
      • Size() int：返回底层缓冲区的大小。

  3. bufio.Scanner：

    • 作用：提供方便的逐行（或其他自定义分隔符）扫描输入的功能。它适用于处理文本文件，特别是当你不确定行长度时。
    • 创建：
      • bufio.NewScanner(r io.Reader)：创建一个新的 Scanner。
    • 常用方法：
      • Scan() bool：推进扫描器到下一个 token（默认是下一行），成功返回 true，遇到文件末尾或错误返回 false。
      • Text() string：返回当前 token 的文本内容。
      • Bytes() []byte：返回当前 token 的字节切片内容。
      • Err() error：返回 Scan 过程中遇到的任何非 EOF 错误。
      • Split(splitFunc SplitFunc)：设置扫描器的分割函数。bufio 包提供了几个预定义的分割函数：
        • bufio.ScanLines：按行分割（默认）。
        • bufio.ScanWords：按单词分割。
        • bufio.ScanBytes：按字节分割。
        • bufio.ScanRunes：按 UTF-8 字符分割。
        • 你也可以自定义 SplitFunc 来实现更复杂的分割逻辑。

示例：

使用 bufio.Reader 读取文件：

package mainimport ("bufio""fmt""io""os"
)func main() {file, err := os.Open("example.txt")if err != nil {fmt.Println("Error opening file:", err)return}defer file.Close()reader := bufio.NewReader(file)// 逐行读取for {line, err := reader.ReadString('\n')if err != nil {if err == io.EOF {fmt.Print(line) // 打印最后一行（可能没有换行符）break}fmt.Println("Error reading file:", err)return}fmt.Print(line)}fmt.Println("\n--- 读取特定字节 ---")// 重新打开文件或Seek到开头进行第二次读取file.Seek(0, io.SeekStart)reader.Reset(file) // 重置Reader，使用新的底层io.Readerb, err := reader.ReadByte()if err != nil {fmt.Println("Error reading byte:", err)return}fmt.Printf("第一个字节: %c\n", b)// PeekpeekedBytes, err := reader.Peek(5)if err != nil {fmt.Println("Error peeking:", err)return}fmt.Printf("Peeked 5 bytes: %s\n", string(peekedBytes))// 再次读取一个字节，会是Peeked之后第一个字节b2, err := reader.ReadByte()if err != nil {fmt.Println("Error reading byte:", err)return}fmt.Printf("第二个字节: %c\n", b2) // 会是Peeked之后第一个字节
}

使用 bufio.Writer 写入文件：

package mainimport ("bufio""fmt""os"
)func main() {file, err := os.Create("output.txt")if err != nil {fmt.Println("Error creating file:", err)return}defer file.Close()writer := bufio.NewWriter(file)_, err = writer.WriteString("Hello, Go bufio!\n")if err != nil {fmt.Println("Error writing string:", err)return}_, err = writer.WriteString("This is another line.\n")if err != nil {fmt.Println("Error writing string:", err)return}fmt.Println("Buffer size:", writer.Size())fmt.Println("Buffered bytes:", writer.Buffered())fmt.Println("Available bytes in buffer:", writer.Available())// ！！！非常重要：调用 Flush() 将缓冲区中的数据写入文件err = writer.Flush()if err != nil {fmt.Println("Error flushing writer:", err)return}fmt.Println("数据已写入 output.txt")
}

使用 bufio.Scanner 逐行读取文件：

package mainimport ("bufio""fmt""os""strings"
)func main() {content := `Line 1: Hello world
Line 2: Go programming
Line 3: bufio package`// 从字符串读取（也可以从文件读取）reader := strings.NewReader(content)scanner := bufio.NewScanner(reader)lineNum := 1for scanner.Scan() { // 每次调用 Scan() 都会读取下一行line := scanner.Text() // 获取当前行的文本fmt.Printf("Line %d: %s\n", lineNum, line)lineNum++}if err := scanner.Err(); err != nil {fmt.Println("Error scanning:", err)}fmt.Println("\n--- 单词扫描 ---")wordContent := "This is a sentence with several words."wordReader := strings.NewReader(wordContent)wordScanner := bufio.NewScanner(wordReader)wordScanner.Split(bufio.ScanWords) // 设置为按单词分割wordNum := 1for wordScanner.Scan() {word := wordScanner.Text()fmt.Printf("Word %d: %s\n", wordNum, word)wordNum++}if err := wordScanner.Err(); err != nil {fmt.Println("Error scanning words:", err)}
}

总结：

bufio 包是 Go 语言中进行高效 I/O 操作的重要组成部分。

  • 使用 bufio.Reader 可以提高读取效率，并提供方便的文本读取方法（如 ReadString、ReadLine）。
  • 使用 bufio.Writer 可以提高写入效率，减少系统调用。切记在使用 Writer 后调用 Flush() 将缓冲区内容强制写入底层。
  • bufio.Scanner 提供了一种非常方便且高效的方式来逐行、逐词或按自定义规则处理输入流，特别适合处理文本数据。
http://www.xdnf.cn/news/771373.html

相关文章：

  • Charles青花瓷抓取外网数据包
  • 【笔记】Windows 部署 Suna 开源项目完整流程记录
  • 格密码-LWE问题
  • Python基础：人生重开模拟器（小游戏）
  • 编译原理实验 之 TINY 之 语义分析（第二次作业）
  • PHP舆情监控分析系统（9个平台）
  • 机器学习：支持向量机（SVM）原理解析及垃圾邮件过滤实战
  • Qt信号与槽机制深度解析
  • 【Godot】如何导出 Release 版本的安卓项目
  • 【笔记】Windows 下载并安装 ChromeDriver
  • IO模型IO模型
  • ISO18436-2 CATII级振动分析师能力矩阵
  • 振动分析师（ISO18436-2）四级能力矩阵 - 简介
  • ROS机器人和NPU的往事和新知-250602
  • python打卡训练营打卡记录day43
  • 阿里云服务器-解决宝塔登录不成功
  • DAY 41 简单CNN
  • 审计 - 风险应对 - 控制测试
  • springboot04
  • 2025年十大AI幻灯片工具深度评测与推荐
  • C++.cstring string
  • 线段树刷题记录
  • 数据治理的演变与AI趋势
  • 零基础开始的网工之路第十七天------计算机网络知识
  • 机器学习——集成学习
  • STM32入门教程——GPIO输入
  • 使用Mathematica观察多形式根的分布随参数的变化
  • mysql数据库实现分库分表，读写分离中间件sharding-sphere
  • 数据库MySQL集群MGR
  • NiceGUI 是一个基于 Python 的现代 Web 应用框架