当前位置：首页 > news >正文

Hadoop 的代理用户（Proxy User）功能解释

news 2025/5/13 5:27:46

在$HADOOP_HOME/etc/hadoop下的core-site.xml 配置里，可以新增hadoop集群的代理用户。在集成配置中，会经常用到。它属于 Hadoop 安全机制的一部分。

以下是对该配置效果的详细说明及示例：

配置效果

<!-- 允许用户 hadoop 从主机 hadoop01 代理用户 alice 和 bob -->
<property><name>hadoop.proxyuser.hadoop.hosts</name><value>hadoop01</value>
</property>
<property><name>hadoop.proxyuser.hadoop.users</name><value>alice,bob</value>
</property>

此配置允许 用户 hadoop 从 主机 hadoop01 发起请求，并模拟 用户 alice 或 bob 执行 Hadoop 集群操作（如读写 HDFS、提交 MapReduce/YARN 作业）。

实际场景示例

场景 1：HiveServer2 代理用户访问 HDFS

背景：
- HiveServer2 服务以 hadoop 用户运行在 hadoop01 主机上。
- 用户 alice 通过 HiveServer2 提交查询，需要访问 HDFS 路径 /user/alice/data。
配置生效后的行为：
- HiveServer2 以 hadoop 用户的身份，模拟 alice 用户 访问 HDFS。
- HDFS 会认为请求来自 alice，并检查 alice 的权限（而非 hadoop 的权限）。
权限验证：
- 若 /user/alice/data 的权限为 drwxr-x--- alice supergroup：
  - alice 用户有读写权限。
  - hadoop 用户无权限，但通过代理机制可模拟 alice 成功访问。

场景 2：用户 `bob` 提交 YARN 作业

背景：
- 用户 bob 通过客户端工具（如 beeline）连接到 HiveServer2，提交一个 Hive 查询，触发 MapReduce 作业。
配置生效后的行为：
- HiveServer2 以 hadoop 用户身份，模拟 bob 用户 向 YARN 提交作业。
- YARN 会记录作业的提交者为 bob（而非 hadoop），并基于 bob 的权限分配资源。

权限控制关键点

操作系统用户：
- alice 和 bob 必须在 Hadoop 集群的所有节点上存在（通过 id alice 验证）。
- 若用户不存在，HDFS 会拒绝访问。
HDFS 目录权限：
- 假设 alice 需要访问 /user/alice/data，需确保该目录权限为：
```
hdfs dfs -ls /user/alice
# 输出：drwxr-xr-x   - alice supergroup 0 2023-10-01 /user/alice/data
```
- 若权限为 drwx------，则只有 alice 可访问（代理机制仍有效）。
YARN 队列权限：
- 若 YARN 队列配置了 acl_submit_applications=alice,bob，则只有这些用户可以提交作业。
- 通过代理机制，hadoop 用户模拟 bob 提交作业时，YARN 会允许。

安全风险与限制

最小化主机范围：
- 若 hosts=*，任何主机上的 hadoop 用户均可代理，存在安全风险。
- 生产环境应指定具体主机（如 hadoop01）。
最小化用户范围：
- 若 users=*，hadoop 可模拟任意用户，权限过大。
- 应仅授权必要用户（如 alice,bob）。

代理用户与实际服务用户一致：

若 HiveServer2 以 hive 用户运行，配置应改为：

<property><name>hadoop.proxyuser.hive.hosts</name><value>hadoop01</value>
</property>
<property><name>hadoop.proxyuser.hive.users</name><value>alice,bob</value>
</property>