学习 Protobuf：序列化、反序列化及与 JSON 的对比
一、Protobuf 简介
在构建高性能的分布式系统时，数据的序列化和反序列化是一个关键环节。
Protocol Buffers 是由 Google 开发的一种语言中立、平台中立、可扩展的序列化结构数据的方式， 它是一种高效的二进制序列化格式，适用于通信协议、数据存储等场合。它允许你定义结构化的数据，并生成多种语言的代码来读写这些数据。
二、项目准备
1. 定义 .proto 文件
首先，我们需要定义一个 .proto 文件来描述我们的数据结构和服务接口。以下是一个简单的 helloworld.proto 文件示例：
syntax = "proto3";option go_package = "/proto1;proto1"; // 指定生成的 Go 包路径
//option go_package = ".;proto"; //这个可以生成在当前目录下message HelloRequest {string name = 1; // 字段编号从1开始
}2. 使用 protoc 编译器生成 Go 代码
接下来，使用 protoc 编译器生成 Go 语言的源码：
protoc --go_out=. --go-grpc_out=. helloworld.proto这条命令会根据 helloworld.proto 文件生成相应的 Go 代码，这些代码会被放置在指定的包目录中。
附录：项目结构
三、序列化与反序列化实践
下面我们将展示如何使用生成的 Go 代码进行序列化和反序列化操作。
✅ 示例代码
package mainimport ("awesomeProject1/rpc3/proto/proto1" // 使用生成的 proto1 包，其中包含 HelloRequest"fmt""google.golang.org/protobuf/proto" // 标准库，用于 Marshal/Unmarshal
)func main() {// 创建一个新的请求实例req := &proto1.HelloRequest{Name: "Bob",}// 序列化：将结构体转换为二进制数据data, err := proto.Marshal(req)if err != nil {panic(err)}fmt.Println("Serialized data:", data)// 反序列化：将二进制数据解析回结构体newReq := &proto1.HelloRequest{}err = proto.Unmarshal(data, newReq)if err != nil {panic(err)}fmt.Println("Deserialized name:", newReq.GetName())
}代码解释
| 代码片段 | 解释 |
|---|---|
req := &proto1.HelloRequest{...} | 创建一个 HelloRequest 实例并初始化字段 |
data, err := proto.Marshal(req) | 将结构体序列化为二进制数据 |
fmt.Println("Serialized data:", data) | 打印序列化后的数据（注意：这是二进制形式，不可读） |
newReq := &proto1.HelloRequest{} | 创建一个新的空结构体实例用于存储反序列化的结果 |
proto.Unmarshal(data, newReq) | 将二进制数据反序列化回结构体 |
四、 对比 Protobuf 和 JSON
为了更好地理解 Protobuf 的优势，我们将其与常见的 JSON 格式做对比。
1. 压缩比
- Protobuf：由于采用二进制编码，数据更加紧凑。
- JSON：基于文本的格式，数据体积相对较大。
2. 可读性
- Protobuf：序列化后的数据是二进制格式，不适合人类直接阅读。
- JSON：以文本形式存在，易于阅读和调试。
3. 性能
- Protobuf：因为使用了二进制格式，序列化和反序列化速度更快。
- JSON：需要额外的时间来进行字符串解析。
示例对比
假设我们有如下 JSON 数据：
{"name": "Bob"
}对应的 Protobuf 序列化后的数据可能看起来像这样（实际输出取决于具体实现）：
Serialized data: [10 3 66 111 98]虽然 Protobuf 的输出不如 JSON 直观，但它占用的空间更小，处理速度也更快，非常适合用于网络传输或持久化存储。
五、Protobuf 的优点
- 高效：相比 JSON，Protobuf 更加紧凑，减少了带宽消耗。
- 跨语言支持：支持多种编程语言，便于不同语言环境下的系统集成。
- 向前兼容性和向后兼容性：可以方便地更新消息格式而不会破坏现有服务。
- 自动代码生成：通过
protoc工具自动生成代码，简化开发流程。
学习建议
如果你刚开始接触 Protobuf，建议按照以下步骤学习：
-
编写
.proto文件
学习如何定义消息类型和服务接口。 -
安装
protoc编译器
确保你已经正确安装并配置了protoc，以便能够生成目标语言的代码。 -
尝试序列化和反序列化
使用生成的代码进行简单的序列化和反序列化练习。 -
探索更多功能
探索 Protobuf 支持的其他特性，如枚举、嵌套消息等。 -
结合 gRPC 使用
在微服务架构中使用 Protobuf 结合 gRPC，体验其强大之处。
六、总结
通过这篇博客，我们了解了如何使用 Protobuf 进行数据的序列化和反序列化，并与传统的 JSON 格式进行了比较。同时也了解到 Protobuf 是一种强大且灵活的数据序列化工具，特别适用于需要高效数据传输的场景。尽管 Protobuf 的数据不可读，但它的高效率和紧凑性使其成为构建分布式系统时的理想选择。
希望这篇文章能帮助你更好地掌握 Protobuf 的基本用法，Protobuf在rpc中的使用非常多，很多大公司都会选择开发自己的Protobuf，通过完善更多的功能，来应对更多的场景。
golang/protobuf: Go support for Google's protocol buffers
这是里面有Protobuf的源码，大家有能力之后，可以根据这个源码，写一套自己的插件。