存储系统03——数据缓冲evBuffer

数据缓冲evBuffer

evbuffer 是 Libevent 提供的一个高效内存缓冲区管理工具，用于存储和操作数据。它类似于一个动态增长的字节缓冲区，支持多种操作，如添加、移除、读取和写入数据；在多线程环境中，evbuffer 的操作是线程安全的。

分段存储

evbuffer 内部使用链表结构存储数据，可以根据需要动态扩展和收缩内存空间；这使得它能够高效地处理不同大小的文件，而无需预先分配固定大小的缓冲区。

避免了直接使用套接字传输时，需要的手动管理缓冲区、大文件手动分段

零拷贝

evbuffer 提供了零拷贝操作，如evbuffer_add_file()，可以直接将文件内容添加到缓冲区，而无需先将文件内容读取到内存中，这样可以显著减少内存占用和拷贝操作，提高传输效率。

避免了直接使用套接字传输时，需要将文件内容先读取到内存缓冲区中，再写入套接字；这会增加不必要的内存拷贝操作，降低传输效率。

线程安全

evbuffer 的操作是线程安全的。

evbuffer 实例——存储系统事件触发

用户在浏览器中触发了某些功能后，事件触发并调用回调函数GenHandler()，根据读取到的不同URL请求，回调函数执行对应的业务；
以Download为例：

static void GenHandler(struct evhttp_request *req, void *arg)
{std::string path = evhttp_uri_get_path(evhttp_request_get_evhttp_uri(req));path = UrlDecode(path);// 根据请求中的内容判断是什么请求// 这里是下载请求if (path.find("/download/") != std::string::npos){Download(req, arg);}else{evhttp_send_reply(req, HTTP_NOTFOUND, "Not Found", NULL);}
}

当读取到的业务为Download时，evbuffer 被用于处理 HTTP 文件下载请求；
下载代码逻辑为：

1. 从 HTTP 请求中提取资源路径，并进行 URL 解码

// 1. 获取客户端请求的资源路径path   req.path
std::string resource_path = evhttp_uri_get_path(evhttp_request_get_evhttp_uri(req)); // 从请求的 URI 中提取路径部分           
resource_path = UrlDecode(resource_path); // 对路径进行 URL 解码

2. 根据资源路径查询文件的存储信息

// 2. 根据资源路径，获取StorageInfo
StorageInfo info;
data_->GetOneByURL(resource_path, &info); // 根据资源路径获取文件的存储信息std::string download_path = info.storage_path_; // 获取文件的实际存储路径

3. 将文件内容添加到 HTTP 响应中

// 3. 读取文件数据，放入 rsp.body 中
evbuffer *outbuf = evhttp_request_get_output_buffer(req); // 获取 HTTP 请求的输出缓冲区 evbuffer
int fd = open(download_path.c_str(), O_RDONLY);
// 使用零拷贝机制将文件放入输出缓冲区
evbuffer_add_file(outbuf, fd, 0, fu.FileSize()) // 将文件内容添加到输出缓冲区 outbuf

4. 设置相应的 HTTP 头部字段，回传文件

// 4. 设置响应头部字段： ETag， Accept-Ranges: bytes
evhttp_add_header(req->output_headers, "Accept-Ranges", "bytes");
evhttp_add_header(req->output_headers, "ETag", GetETag(info).c_str());
evhttp_add_header(req->output_headers, "Content-Type", "application/octet-stream");evhttp_send_reply(req, HTTP_OK, "Success", NULL);