# 大数据平台（Hadoop/Hive/HBase）测评 > 大数据平台三级等保现场测评取证命令单：Hadoop（HDFS/YARN）按核心配置核查身份鉴别（hadoop.security.authentication 默认 simple、authorization 默认 false 属高频高风险项）、Kerberos 开启与 keytab 管理、HTTP 控制台认证（hadoop.http.authentication.type 默认 simple）、NameNode Web UI 与端口暴露面（9870/8088）、Ranger/审计日志与 6 个月留存、HiveServer2 与 HBase REST/Thrift 认证、Kafka/ZooKeeper/HBase/Hive 组件边界分工表与【不适用】话术，附判定要点、示例输出与命令核验说明。 --- LLMS index: [llms.txt](/wikis/llms.txt) --- > 定位：大数据平台（Hadoop 生态：HDFS/YARN + Hive + HBase 为测评主体，Kafka/ZooKeeper 转关联篇）三级等保现场测评**取证命令单**，按 GB/T 22239-2019 安全计算环境控制点分节组织。 > 适用范围：Apache Hadoop 3.x 与主流发行版（CDH/HDP/星环/华为 MRS 等界面项名称以发行版控制台为准）；云计算/大数据扩展要求按被测定级报告勾选项联动。 > 配套文章：[Apache Kafka 消息中间件测评](../中间件与容器/kafka/)、[Apache ZooKeeper 协调服务测评](../中间件与容器/zookeeper/)、[22、高风险判定指引与加固对照表](../../../reinforce/其他系统或设备/22高风险判定指引与加固对照表/)。 > > 使用说明： > > - 本文所有命令均为**只读取证**命令（配置文件 grep、Web UI 访问、`kinit/klist` 票据查看、组件状态查询），严禁变更类命令；确需变更由被测单位运维方在授权下实施。 > - 每个控制点小节按「对应控制点 → 判定要点 → 取证要求 → 核查命令 → 备注 → 预期证据」编排；命令回显与界面截图本身即证据。 > - **组件边界表**（见第一节）：同一集群内多组件重复核查是高频低效点——Kafka、ZooKeeper 分别转专属测评篇，本篇聚焦 Hadoop/Hive/HBase。 > - 命令不存在或输出差异较大时，先确认发行版（Apache/CDP/MRS 等）与部署形态（完全分布式/K8s 化），再换用等效命令，**不得据命令缺失直接判不符合**。 > - 示例中的主机、库表、路径均为演示值（192.168.10.5、demo_db），现场替换并脱敏。 ## 一、组件边界与部署形态 > **对应控制点**：非独立控制点（测评对象确认）；冗余佐证 8.1.2.1 网络架构 e) > > **判定要点**：集群清单（角色节点数）、组件边界认定、高可用（NameNode ZKFC/JournalNode、RegionServer 数）与资产台账一致 → 符合；拓扑无法确认 → 部分符合。 > > **取证要求**：组件清单（cm/Ambari/MRS 控制台页或配置文件）、HDFS/YARN HA 状态截图、节点数截图。 **组件分工表（避免重复计分）**： | 组件 | 本篇 | 转关联篇 | | --- | --- | --- | | HDFS（NameNode/DataNode） | ✓ | — | | YARN（ResourceManager/NodeManager） | ✓ | — | | Hive（Metastore/HiveServer2） | ✓ | — | | HBase（Master/RegionServer/REST/Thrift） | ✓ | — | | Kafka | — | [Apache Kafka 消息中间件测评](../中间件与容器/kafka/) | | ZooKeeper | — | [Apache ZooKeeper 协调服务测评](../中间件与容器/zookeeper/) | | Flume/Sqoop/Spark/Flink | 按现场实际组件参照本篇口径扩展 | — | **核查命令**： ```bash hdfs haadmin -getAllServiceState # 只读：NameNode HA 状态 yarn node -list -all 2>/dev/null | head -n 6 # 只读：NodeManager 清单 jps | grep -E "NameNode|ResourceManager|HRegionServer|HMaster|HiveServer2" | head -n 10 ss -lntp | grep -E "8020|9870|8088|10000|16010|16000|9083" | head -n 12 ``` - 备注：默认端口（NameNode RPC 8020/NN Web 9870/RM Web 8088/HiveServer2 10000/HBase Master 16000·Web 16010/Hive Metastore 9083）为 Apache 社区默认，发行版可能变更，以现场 `ss` 实测为准。 - 预期证据：组件清单截图、HA 状态截图、端口清单截图。 ## 二、身份鉴别 > **对应控制点**：GB/T 22239-2019 8.1.4.1 a)~d)（组件管理面与数据通道鉴别） > > **判定要点**：Hadoop 安全认证已开启 Kerberos（`hadoop.security.authentication=kerberos`，**官方默认 simple 属未启用状态**）、HiveServer2/HBase 开启相应认证、Web 控制台启用认证（`hadoop.http.authentication.type` 官方默认 simple）、管理口令策略由主机/统一认证承载 → 符合；部分组件开启部分未开 → 部分符合；全集群 simple 且端口可达非可信网段 → 不符合（高风险）。 > > **取证要求**：core-site.xml 关键参数 grep 截图、KDC 对接证据（krb5.conf 存在、`klist` 票据样例）、各 Web UI 认证跳转实测、统一认证/主机账户联动说明。 **核查命令**： ```bash grep -A2 "hadoop.security.authentication" /etc/hadoop/conf/core-site.xml 2>/dev/null || \ find / -maxdepth 5 -name core-site.xml -path "*hadoop*" 2>/dev/null -exec grep -l security.authentication {} \; | head -n 3 klist | head -n 6 ls -l /etc/security/keytabs/ 2>/dev/null | head -n 6 curl -s -o /dev/null -w "%{http_code}\n" http://192.168.10.5:9870/ # NN Web 未认证时 200 直进，认证开启应跳 SPNEGO/拒绝 ``` - 备注：`klist` 只读查看当前票据；keytab 文件权限核查（应 400/600 属主对应服务账户）；发行版配置路径不同（CDP 常见 /etc/hadoop/conf、原生 /usr/local/hadoop/etc/hadoop），找不到时先 `find` 定位，不据路径缺失判不符合。 - 预期证据：参数回显、票据截图、Web 跳转实测截图。
示例输出（节选）
$ grep -A2 "hadoop.security.authentication" /etc/hadoop/conf/core-site.xml
<name>hadoop.security.authentication</name><value>kerberos</value>
$ curl -s -o /dev/null -w "%{http_code}\n" http://192.168.10.5:9870/
401          # HTTP 认证已启用（kerberos SPNEGO）
$ ls -l /etc/security/keytabs/
-r-------- 1 hdfs hadoop  333 nn.keytab    # 权限收敛
## 三、访问控制 > **对应控制点**：8.1.4.2 a)~f)（授权模型与最小权限） > > **判定要点**：HDFS 权限与 POSIX 模型启用（`hadoop.security.authorization=true`，**官方默认 false**）、Ranger/Sentry 细粒度授权与三权分立对齐（管理员不代审）、Hive 库表级授权（DBS/表级 GRANT 台账）、HBase 命名空间/表级权限（开启 secure 授权）、匿名/超级账户滥用核查 → 符合；有 Kerberos 无授权体系 → 部分符合。 > > **取证要求**：Ranger Policies 页截图、Hive/HBase 授权清单（beeline `SHOW GRANT` 类只读语句按版本核验后引用，不确定走控制台）、默认超级用户处置记录。 **核查方法**： ```bash grep -A2 "hadoop.security.authorization" /etc/hadoop/conf/core-site.xml hdfs dfs -ls / | head -n 6 hdfs dfs -getfacl /demo-path 2>/dev/null | head -n 8 curl -s -o /dev/null -w "%{http_code}\n" "http://192.168.10.5:6080/ranger/" # Ranger Admin（端口以现场为准） ``` - 备注：Ranger Admin 未授权可访判不符合；HDFS ACL/POSIX 与 Ranger 双轨并存的集群，授权台账以其中一套为准并说明关系；`hdfs dfs -ls/-getfacl` 为只读查看。 - 预期证据：授权参数截图、Ranger 策略页、getfacl 回显。 ## 四、安全审计 > **对应控制点**：8.1.4.3 a)~d)、8.1.5.4 d) 集中管控（审计集中） > > **判定要点**：审计覆盖操作面（Ranger Audit/HDFS AuditLogger/Hive/HBase 审计、组件日志），字段含用户/时间/对象/结果；留存不少于 6 个月（《网络安全法》第 21 条）；审计数据外送 SIEM/日志审计系统（复用 [日志审计系统测评](../安全设备/日志审计系统测评/) 的 rsyslog/TLS 6514 口径）；时间同步 NTP（集群各节点时钟一致，`chronyc tracking` 抽查）。 > > **取证要求**：Ranger Audit 页样例、最早审计时间戳截图、SIEM 检索样例（脱敏）、NTP 抽查回显。 **核查命令**： ```bash ls -l /var/log/hadoop-hdfs/ 2>/dev/null | head -n 8 journalctl --since "6 months ago" -u ntpa? 2>/dev/null | head -n 2; chronyc tracking | head -n 5 ``` - 备注：审计路径随发行版变化（/var/log/hadoop*、/var/log/ranger）；以现场组件 `log4j` 配置定位为准，不虚构具体文件名；大集群审计量巨大时核查保留策略与冷存储归档证据。 - 预期证据：审计样例截图、留存策略截图。 ## 五、入侵防范 > **对应控制点**：8.1.4.4 a)~f)、8.1.4.5 恶意代码防范（大数据场景多为不适用+补偿） > > **判定要点**：版本与 EOL（Apache/Hadoop 发行版支持政策）、漏洞与补丁台账（历史高危如未授权访问类漏洞以厂商公告为准，不逐条列 CVE）、端口暴露面（9870/8088/10000/16010 等管理端口不对公网/办公网开放）、组件最小安装与未用服务停用（HTTPFS/HttpServer/ZooKeeper 4lw 四字命令等）、主机层防恶意代码联动（转主机测评篇）。 > > **取证要求**：版本截图、暴露面核查、补丁/升级记录、4lw 白名单配置。 **核查命令**： ```bash hadoop version | head -n 2 ss -lntp | grep -E "9870|8088|10000|16010|16000|2181" echo srvr | timeout 3 bash -c 'exec 3<>/dev/tcp/192.168.10.5/2181; echo srvr >&3; cat <&3' # ZK 四字命令可达性（白名单核查，转 ZooKeeper 篇口径） ``` - 预期证据：版本、端口清单与边界策略、ZK 探测截图。 ## 六、数据完整性与数据保密性 > **对应控制点**：8.1.4.7 a)b)、8.1.4.8 a)b)、8.1.1.2 通信传输 > > **判定要点**：RPC 通道启用 Kerberos 后具备完整性与防重放（`hadoop.security.auth_to_local` 映射正确）；数据传输加密（`hadoop.rpc.protection=privacy`，默认 authentication，未启用加密判部分符合并说明内网分段补偿；**该参数默认值以 core-default.xml 现场 grep 为准**）；Web UI 启用 HTTPS（NN/RM/Ranger 的 https 端口 9871/8089/6182 以现场为准）；静态加密（HDFS Encryption Zones 创建证据、 Ranger 脱敏）；Hive/HBase 传输加密（SSL 配置核查）。 > > **取证要求**：rpc.protection 回显、HTTPS 实测（`curl -k https://…:9870/` 应握手成功）、EncryptionZone 清单（`hdfs ls -ezone` 类只读命令按版本核验后使用，不确定走 NN Web/CM 页截图）。 **核查命令**： ```bash grep -A2 "hadoop.rpc.protection" /etc/hadoop/conf/hdfs-site.xml openssl s_client -connect 192.168.10.5:9871 -tls1_2 /dev/null | grep -E "Protocol|Cipher" | head -n 2 ``` - 预期证据：参数截图、协议握手截图。 ## 七、备份恢复 > **对应控制点**：8.1.4.9 a)~c) > > **判定要点**：元数据容灾（NameNode Edits/FsImage 多副本+JournalNode 高可用+外部备份：`hdfs fsck /` 只读健康核查、FsImage 定期外拷）、Hive Metastore DB 备份（转对应数据库测评篇）、HBase 快照（`snapshot` 属变更类不现场执行，核查已有快照列表与恢复演练记录）、Kerberos KDC 数据库备份。 > > **取证要求**：备份策略与外拷记录、KDC 主从/备份证据、演练记录。 **核查命令**： ```bash hdfs fsck /demo-path -files -length 2>/dev/null | tail -n 4 ls -l /backup/hadoop/ 2>/dev/null | tail -n 5 ``` - 预期证据：fsck 输出、备份清单。 ## 八、剩余信息保护与个人信息保护 > **对应控制点**：8.1.4.10、8.1.4.11 - 剩余信息：临时表/失败作业中间目录、已回收队列残留、退役节点 decommission 后磁盘处置记录（转主机介质销毁证据）。 - 个人信息：数据湖/仓库中的个人信息表——访问控制（Ranger 脱敏策略）、导出审批、留存清理三件套核查；无个人信息承载时按数据流说明判定【不适用】（依据 GB/T 28448-2019 按实际处理范围判定）。 - 取证要求：decommission 记录、Ranger Masking 策略页、数据分类清单。 ## 参考依据 - GB/T 22239-2019《信息安全技术 网络安全等级保护基本要求》（8.1.4 安全计算环境；云计算/大数据扩展要求按定级勾选联动）：[http://openstd.samr.gov.cn/bzgk/gb/newGbInfo?hcno=BAFB47E8874764186BDB7865E8344DAF](http://openstd.samr.gov.cn/bzgk/gb/newGbInfo?hcno=BAFB47E8874764186BDB7865E8344DAF) - GB/T 28448-2019《信息安全技术 网络安全等级保护测评要求》（组件边界认定）：[http://openstd.samr.gov.cn/bzgk/gb/newGbInfo?hcno=7E736CDF4502B6FF1258DD250AA3EC8C](http://openstd.samr.gov.cn/bzgk/gb/newGbInfo?hcno=7E736CDF4502B6FF1258DD250AA3EC8C) - Apache Hadoop 官方安全模式文档（`hadoop.security.authentication`、`hadoop.security.authorization`、`hadoop.http.authentication.type` 条目措辞）：[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SecureMode.html](https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SecureMode.html) - Apache Hadoop core-default.xml（**2026-09 逐值核验**：`hadoop.security.authentication` 默认 `simple`、`hadoop.security.authorization` 默认 `false`、`hadoop.http.authentication.type` 默认 `simple`）：[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml](https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml) - Apache Ranger 官方站（Policy/Audit 功能入口）：[https://ranger.apache.org/](https://ranger.apache.org/) - 《网络安全法》第二十一条第（三）项（日志留存≥6 个月）：[https://www.cac.gov.cn/2016-11/07/c_1119867116_2.htm](https://www.cac.gov.cn/2016-11/07/c_1119867116_2.htm) - 命令核验说明：本篇参数名与默认值已于 2026-09 对照 Apache Hadoop 官方 core-default.xml 与 SecureMode.html 逐字核验（三个关键默认值：simple/false/simple 全部命中）；`hdfs haadmin/fsck/dfs -ls/getfacl`、`jps`、`klist`、`ss/openssl/curl/chronyc` 为官方文档或社区手册通用只读用法；三处须留意：① 默认端口（9870/8088/10000/16010 等）以现场 `ss -lntp` 实测为准，发行版普遍改端口，不得据端口缺失直接判不符合；② 未逐字核验的参数（如 `hadoop.rpc.protection` 默认值、Hive/HBase 各版本 beeline/REST 授权语句）在正文以"以现场配置/官方文档为准"口径表述，现场先核版本再取证；③ Kafka/ZooKeeper 不重复核查（转关联篇），Ranger 覆盖的授权与审计能力与"组件原生能力"二选一作为判定主体并在报告说明。 ## 关联文章 - 组件关联：[Apache Kafka 消息中间件测评](../中间件与容器/kafka/)、[Apache ZooKeeper 协调服务测评](../中间件与容器/zookeeper/)、[Elasticsearch 搜索与分析平台测评](../中间件与容器/elasticsearch/)（日志侧数据湖常见） - 数据库侧：[数据库测评命令](../数据库测评命令/)（Hive Metastore 常用 MySQL/PostgreSQL 承载时转分册核查） - 主机侧：[16、Linux操作系统测评命令](../../服务器/16linux操作系统测评命令/)、[Linux(RHEL/CentOS)-三级现场测评命令单](../../服务器/linuxrhel_centos-三级等保现场测评命令单/)（节点操作系统层联动） - 板块目录：[系统管理软件·平台](../) - 配套加固：[17、加固方案总纲](../../../reinforce/其他系统或设备/17网络设备安全设备服务器数据库和应用系统的加固方案/) - 取证记录：[16、安全评估加固记录表3.0](../../../reinforce/其他系统或设备/16安全评估加固记录表3.0/) - 高风险口径：[22、高风险判定指引与加固对照表](../../../reinforce/其他系统或设备/22高风险判定指引与加固对照表/)