Linux yq 命令使用详解
简介
yq 是一个轻量级、可移植的命令行 YAML 处理器，它允许使用类似于 jq 的语法读取、写入、更新、合并和过滤 YAML 数据。
主要有两个版本：
-
基于
Python的并包装jq，依赖jq语法 -
用
Go写的（mikefarah/yq），目前最流行的版本，独立实现，功能更丰富，支持原地修改文件
安装
Debian/Ubuntu
apt-get install yq
CentOS
yum install yq或dnf install yq
macOS
brew install yq
- 从二进制构建安装
wget https://github.com/mikefarah/yq/releases/latest/download/yq_linux_amd64 -O /usr/local/bin/yq
chmod +x /usr/local/bin/yq
基础语法
yq [command] [flags] [expression] file.yaml
常用选项
-
-i：直接修改原文件（类似sed -i） -
-o：输出格式（yaml、json、props、xml） -
-P：指定输入格式，保留YAML格式（如注释、锚点） -
-j：输入为JSON格式（自动转换） -
--prettyPrint：美化输出（默认启用） -
--colors：启用颜色高亮 -
--xml-attr-prefix：处理XML属性前缀（XML格式专用） -
-d <索引>：处理多文档时的文档索引（默认 0） -
-s：指定脚本 -
-r, --raw-output: 输出原始字符串，而不是YAML/JSON编码的字符串 -
-N, --no-colors: 禁用彩色输出 -
-I, --indent <N>: 设置输出缩进（默认 2 个空格） -
-v, --verbose: 显示详细日志 -
-c, --compact-output: 输出紧凑格式（单行JSON/YAML）
基本表达式
yq 使用类似 jq 的语法（. 表示根节点，. 后接字段名访问数据）
-
.: 表示整个输入YAML。 -
.key: 访问对象的字段（例如.name）。 -
[]: 访问数组元素（例如.items[0]）。 -
. | select(condition): 过滤数据（例如.users[] | select(.age > 30)）。 -
. | map(transform): 对数组元素应用转换（例如map(.price * 2)）。 -
. | del(path): 删除指定路径的字段（例如del(.users[0])）。 -
. | has("key"): 检查字段是否存在。 -
. | length: 获取数组或字符串长度。 -
. | sort_by(field): 按字段排序。 -
. | with_entries(...): 将对象转换为键值对数组。 -
. | += / =: 更新或赋值字段（例如.version |= "2.0"）。 -
. | env: 访问环境变量（例如.env.DB_HOST）。
基本操作
示例文件：example.yaml
person:name: Aliceage: 30hobbies:- reading- cycling
读取 YAML
- 获取一个字段
yq '.person.name' example.yaml
# Output: Alice
- 获取数组项目
yq '.person.hobbies[0]' example.yaml
# Output: reading
更新 YAML
- 变更一个值
yq '.person.age = 31' example.yaml
- 保存到源文件
yq -i '.person.age = 31' example.yaml
- 添加新的字段/键
yq '.person.job = "Engineer"' example.yamlyq '.person += {"job": "Engineer"}' example.yaml
- 删除字段
yq 'del(.person.age)' example.yaml
- 数组操作
yq '.person.hobbies += gaming' example.yaml
合并 YAML 文件
yq eval-all 'select(fileIndex == 0) * select(fileIndex == 1)' base.yaml override.yaml
在 YAML 和 JSON 之间转换
- YAML → JSON
yq -o=json '.' example.yaml
- JSON → YAML
cat file.json | yq -P
通过 select()
yq '.people[] | select(.age > 30)' people.yaml
指定文档索引
yq -d1 'b.c' multi-doc.yaml # 处理第二个文档（索引从0开始）
示例用法
示例文件：
server:host: "0.0.0.0"port: 8080
database:- name: "db1"type: "mysql"- name: "db2"type: "postgres"
复杂查询
# 遍历数组并提取字段
yq '.database[].name' config.yaml
# 输出：db1 db2
条件逻辑
yq '.database[] | select(.type == "mysql" or .name == "db2")' config.yaml
数学运算
yq '.server.port * 2' config.yaml
# 输出：16160（假设原值为 8080）
变量传递
yq --arg new_port 9000 '.server.port = $new_port' config.yaml
多文件操作
yq eval-all '.common * .env' common.yaml env.yaml > merged.yaml
处理标准输入
echo '{"name": "Alice"}' | yq -P
# 输出：
# name: Alice
提取 Kubernetes 资源信息
kubectl get pod my-pod -o yaml | yq '.metadata.labels'
批量修改 CI/CD 配置
yq -i '.jobs.build.steps += {"name": "test", "run": "make test"}' .github/workflows/ci.yaml
验证 YAML 语法
yq 'tag == "!!map"' file.yaml # 检查是否为合法的 YAML 对象
生成动态配置
yq -n '.env = "prod" | .replicas = 3' > deployment.yaml
通配符匹配
yq '.bob.*.cats' data.yaml # 提取所有子项的 `cats` 字段
环境变量注入
动态替换值
NAME=John yq -i '.user.name = strenv(NAME)' profile.yaml
脚本批量修改
使用脚本文件批量更新（update_script.yaml）
.user.addresses[0].city: "Paris"
.log.level: "info"
执行脚本：
yq -s update_script.yaml config.yaml
复杂路径处理
- 键含特殊字符（如
.或-）
yq '.["key.with.dots"]' data.yaml # 引用特殊键名
计算数组长度
yq '.user.orders | length' user.yaml # 计算数组长度
日志分析与过滤
cat log.yaml | yq 'select(.level == "error") | {time: .timestamp, msg: .message}'
自动化脚本集成
# 生成随机端口并写入配置
PORT=$((RANDOM%1000+3000)) yq -i '.service.port = env(PORT)' service.yaml
修改嵌套数组元素
yq -i '(.servers[] | select(.name=="db") | .ip) = "192.168.1.100"' infra.yam
使用正则匹配
yq '.[] | select(.email | test("@example.com$"))' contacts.yaml
数学运算
yq '.metrics.traffic | map(.value * 1024)' stats.yaml
条件判断
yq 'if .enabled then .config else {} end' settings.yaml
配置文件修改
修改 Kubernetes Deployment 的镜像版本
yq -i '(.spec.template.spec.containers[] | select(.name=="app").image) = "nginx:1.25"' deployment.yaml
数据清洗与转换
提取 CSV 中的特定列并转为 JSON
yq -i -o=json '.[] | {"name": .Name, "age": .Age}' data.csv
自动化运维脚本
批量禁用失效服务配置
for file in *.yaml; doyq -i '(.services[] | select(.status=="inactive")).enabled = false' "$file"
done
处理多文档 YAML
示例文件
---
name: Doc1
value: 1
---
name: Doc2
value: 2
提取所有文档的 name
yq '.. | .name?' multi.yaml
输出：
Doc1
Doc2
使用环境变量
export MY_VERSION=2.0
yq '.version = env.MY_VERSION' data.yaml
合并多个 YAML 文件
file1.yaml 和 file2.yaml 会被合并，字段冲突以最后一个文件为准
yq '.[0] * .[1]' file1.yaml file2.yaml
创建新 YAML
yq -n '{"new_field": "value", "numbers": [1, 2, 3]}'
输出：
new_field: value
numbers:- 1- 2- 3
递归查找
yq '.. | .name?'