Python 库 petrel_client.client 浅入浅出
petrel_client.client 是用于访问和操作 Petrel 对象存储服务的 Python 客户端库。Petrel 是由阿里云推出的高性能分布式对象存储系统，支持海量数据存储和高并发访问。该库提供了简洁的 API，用于文件的上传、下载、删除、元数据查询等操作，适用于数据处理、机器学习、分布式计算等场景。
基本功能
- 初始化客户端：通过配置访问凭证和 endpoint 连接到 Petrel 服务。
- 文件操作：支持上传、下载、删除、检查文件是否存在等。
- 目录操作：支持创建、列出目录内容等。
- 元数据管理：获取和设置文件元数据。
- 批量操作：支持批量上传或下载文件。
安装
pip install petrel_client
使用示例
下面是 petrel_client.client 的一些常见用法示例：
from petrel_client.client import Client# 初始化客户端（方式一：配置文件）
# 配置文件路径默认为 ~/.petreloss.conf，也可通过环境变量 PETREL_CONFIG_PATH 指定
client = Client()# 初始化客户端（方式二：直接传入配置）
client = Client(conf={'fs.petrel.access.key.id': 'your_access_key_id','fs.petrel.access.key.secret': 'your_access_key_secret','fs.petrel.endpoint': 'petrel_endpoint',
})# 检查客户端是否初始化成功
if not client.initialized():print("客户端初始化失败")exit(1)# 上传文件
local_path = 'local_file.txt'
petrel_path = 'oss://your-bucket/path/to/remote_file.txt'
client.put(local_path, petrel_path)
print(f"文件 {local_path} 已上传至 {petrel_path}")# 下载文件
download_path = 'downloaded_file.txt'
client.get(petrel_path, download_path)
print(f"文件 {petrel_path} 已下载至 {download_path}")# 检查文件是否存在
exists = client.exists(petrel_path)
print(f"文件 {petrel_path} 是否存在: {exists}")# 获取文件元数据
metadata = client.head(petrel_path)
print(f"文件 {petrel_path} 的元数据: {metadata}")# 列出目录内容
directory = 'oss://your-bucket/path/to/directory/'
objects = client.list(directory)
print(f"目录 {directory} 中的内容:")
for obj in objects:print(f"- {obj}")# 删除文件
client.delete(petrel_path)
print(f"文件 {petrel_path} 已删除")# 批量上传多个文件
file_mapping = {'local_file1.txt': 'oss://your-bucket/path/to/file1.txt','local_file2.txt': 'oss://your-bucket/path/to/file2.txt',
}
client.put_multiple(file_mapping)
print("批量上传完成")# 批量下载多个文件
download_mapping = {'oss://your-bucket/path/to/file1.txt': 'downloaded1.txt','oss://your-bucket/path/to/file2.txt': 'downloaded2.txt',
}
client.get_multiple(download_mapping)
print("批量下载完成")
配置文件示例
如果你选择使用配置文件方式初始化客户端，~/.petreloss.conf 文件的示例内容如下：
[default]
fs.petrel.access.key.id = your_access_key_id
fs.petrel.access.key.secret = your_access_key_secret
fs.petrel.endpoint = petrel_endpoint
注意事项
- Petrel 路径格式为
oss://bucket-name/path/to/object。 - 对于大规模数据处理，建议使用批量操作以提高效率。