大数据平台（Hadoop/Hive/HBase）测评

大数据平台三级等保现场测评取证命令单：Hadoop（HDFS/YARN）按核心配置核查身份鉴别（hadoop.security.authentication 默认 simple、authorization 默认 false 属高频高风险项）、Kerberos 开启与 keytab 管理、HTTP 控制台认证（hadoop.http.authentication.type 默认 simple）、NameNode Web UI 与端口暴露面（9870/8088）、Ranger/审计日志与 6 个月留存、HiveServer2 与 HBase REST/Thrift 认证、Kafka/ZooKeeper/HBase/Hive 组件边界分工表与【不适用】话术，附判定要点、示例输出与命令核验说明。
Categories:

  4 分钟阅读  

定位：大数据平台（Hadoop 生态：HDFS/YARN + Hive + HBase 为测评主体，Kafka/ZooKeeper 转关联篇）三级等保现场测评取证命令单，按 GB/T 22239-2019 安全计算环境控制点分节组织。 适用范围：Apache Hadoop 3.x 与主流发行版（CDH/HDP/星环/华为 MRS 等界面项名称以发行版控制台为准）；云计算/大数据扩展要求按被测定级报告勾选项联动。 配套文章：Apache Kafka 消息中间件测评、Apache ZooKeeper 协调服务测评、22、高风险判定指引与加固对照表。

使用说明：

  • 本文所有命令均为只读取证命令（配置文件 grep、Web UI 访问、kinit/klist 票据查看、组件状态查询），严禁变更类命令；确需变更由被测单位运维方在授权下实施。
  • 每个控制点小节按「对应控制点 → 判定要点 → 取证要求 → 核查命令 → 备注 → 预期证据」编排；命令回显与界面截图本身即证据。
  • 组件边界表（见第一节）：同一集群内多组件重复核查是高频低效点——Kafka、ZooKeeper 分别转专属测评篇，本篇聚焦 Hadoop/Hive/HBase。
  • 命令不存在或输出差异较大时，先确认发行版（Apache/CDP/MRS 等）与部署形态（完全分布式/K8s 化），再换用等效命令，不得据命令缺失直接判不符合。
  • 示例中的主机、库表、路径均为演示值（192.168.10.5、demo_db），现场替换并脱敏。

一、组件边界与部署形态

对应控制点：非独立控制点（测评对象确认）；冗余佐证 8.1.2.1 网络架构 e)

判定要点：集群清单（角色节点数）、组件边界认定、高可用（NameNode ZKFC/JournalNode、RegionServer 数）与资产台账一致 → 符合；拓扑无法确认 → 部分符合。

取证要求：组件清单（cm/Ambari/MRS 控制台页或配置文件）、HDFS/YARN HA 状态截图、节点数截图。

组件分工表（避免重复计分）：

组件本篇转关联篇
HDFS（NameNode/DataNode）✓—
YARN（ResourceManager/NodeManager）✓—
Hive（Metastore/HiveServer2）✓—
HBase（Master/RegionServer/REST/Thrift）✓—
Kafka—Apache Kafka 消息中间件测评
ZooKeeper—Apache ZooKeeper 协调服务测评
Flume/Sqoop/Spark/Flink按现场实际组件参照本篇口径扩展—

核查命令：

hdfs haadmin -getAllServiceState            # 只读：NameNode HA 状态
yarn node -list -all 2>/dev/null | head -n 6   # 只读：NodeManager 清单
jps | grep -E "NameNode|ResourceManager|HRegionServer|HMaster|HiveServer2" | head -n 10
ss -lntp | grep -E "8020|9870|8088|10000|16010|16000|9083" | head -n 12
  • 备注：默认端口（NameNode RPC 8020/NN Web 9870/RM Web 8088/HiveServer2 10000/HBase Master 16000·Web 16010/Hive Metastore 9083）为 Apache 社区默认，发行版可能变更，以现场 ss 实测为准。
  • 预期证据：组件清单截图、HA 状态截图、端口清单截图。

二、身份鉴别

对应控制点：GB/T 22239-2019 8.1.4.1 a)~d)（组件管理面与数据通道鉴别）

判定要点：Hadoop 安全认证已开启 Kerberos（hadoop.security.authentication=kerberos，官方默认 simple 属未启用状态）、HiveServer2/HBase 开启相应认证、Web 控制台启用认证（hadoop.http.authentication.type 官方默认 simple）、管理口令策略由主机/统一认证承载 → 符合；部分组件开启部分未开 → 部分符合；全集群 simple 且端口可达非可信网段 → 不符合（高风险）。

取证要求：core-site.xml 关键参数 grep 截图、KDC 对接证据（krb5.conf 存在、klist 票据样例）、各 Web UI 认证跳转实测、统一认证/主机账户联动说明。

核查命令：

grep -A2 "hadoop.security.authentication" /etc/hadoop/conf/core-site.xml 2>/dev/null || \
  find / -maxdepth 5 -name core-site.xml -path "*hadoop*" 2>/dev/null -exec grep -l security.authentication {} \; | head -n 3
klist | head -n 6
ls -l /etc/security/keytabs/ 2>/dev/null | head -n 6
curl -s -o /dev/null -w "%{http_code}\n" http://192.168.10.5:9870/    # NN Web 未认证时 200 直进，认证开启应跳 SPNEGO/拒绝
  • 备注：klist 只读查看当前票据；keytab 文件权限核查（应 400/600 属主对应服务账户）；发行版配置路径不同（CDP 常见 /etc/hadoop/conf、原生 /usr/local/hadoop/etc/hadoop），找不到时先 find 定位，不据路径缺失判不符合。
  • 预期证据：参数回显、票据截图、Web 跳转实测截图。
示例输出（节选）
$ grep -A2 "hadoop.security.authentication" /etc/hadoop/conf/core-site.xml
<name>hadoop.security.authentication</name><value>kerberos</value>
$ curl -s -o /dev/null -w "%{http_code}\n" http://192.168.10.5:9870/
401          # HTTP 认证已启用（kerberos SPNEGO）
$ ls -l /etc/security/keytabs/
-r-------- 1 hdfs hadoop  333 nn.keytab    # 权限收敛

三、访问控制

对应控制点：8.1.4.2 a)~f)（授权模型与最小权限）

判定要点：HDFS 权限与 POSIX 模型启用（hadoop.security.authorization=true，官方默认 false）、Ranger/Sentry 细粒度授权与三权分立对齐（管理员不代审）、Hive 库表级授权（DBS/表级 GRANT 台账）、HBase 命名空间/表级权限（开启 secure 授权）、匿名/超级账户滥用核查 → 符合；有 Kerberos 无授权体系 → 部分符合。

取证要求：Ranger Policies 页截图、Hive/HBase 授权清单（beeline SHOW GRANT 类只读语句按版本核验后引用，不确定走控制台）、默认超级用户处置记录。

核查方法：

grep -A2 "hadoop.security.authorization" /etc/hadoop/conf/core-site.xml
hdfs dfs -ls / | head -n 6
hdfs dfs -getfacl /demo-path 2>/dev/null | head -n 8
curl -s -o /dev/null -w "%{http_code}\n" "http://192.168.10.5:6080/ranger/"   # Ranger Admin（端口以现场为准）
  • 备注：Ranger Admin 未授权可访判不符合；HDFS ACL/POSIX 与 Ranger 双轨并存的集群，授权台账以其中一套为准并说明关系；hdfs dfs -ls/-getfacl 为只读查看。
  • 预期证据：授权参数截图、Ranger 策略页、getfacl 回显。

四、安全审计

对应控制点：8.1.4.3 a)~d)、8.1.5.4 d) 集中管控（审计集中）

判定要点：审计覆盖操作面（Ranger Audit/HDFS AuditLogger/Hive/HBase 审计、组件日志），字段含用户/时间/对象/结果；留存不少于 6 个月（《网络安全法》第 21 条）；审计数据外送 SIEM/日志审计系统（复用 日志审计系统测评 的 rsyslog/TLS 6514 口径）；时间同步 NTP（集群各节点时钟一致，chronyc tracking 抽查）。

取证要求：Ranger Audit 页样例、最早审计时间戳截图、SIEM 检索样例（脱敏）、NTP 抽查回显。

核查命令：

ls -l /var/log/hadoop-hdfs/ 2>/dev/null | head -n 8
journalctl --since "6 months ago" -u ntpa? 2>/dev/null | head -n 2; chronyc tracking | head -n 5
  • 备注：审计路径随发行版变化（/var/log/hadoop*、/var/log/ranger）；以现场组件 log4j 配置定位为准，不虚构具体文件名；大集群审计量巨大时核查保留策略与冷存储归档证据。
  • 预期证据：审计样例截图、留存策略截图。

五、入侵防范

对应控制点：8.1.4.4 a)~f)、8.1.4.5 恶意代码防范（大数据场景多为不适用+补偿）

判定要点：版本与 EOL（Apache/Hadoop 发行版支持政策）、漏洞与补丁台账（历史高危如未授权访问类漏洞以厂商公告为准，不逐条列 CVE）、端口暴露面（9870/8088/10000/16010 等管理端口不对公网/办公网开放）、组件最小安装与未用服务停用（HTTPFS/HttpServer/ZooKeeper 4lw 四字命令等）、主机层防恶意代码联动（转主机测评篇）。

取证要求：版本截图、暴露面核查、补丁/升级记录、4lw 白名单配置。

核查命令：

hadoop version | head -n 2
ss -lntp | grep -E "9870|8088|10000|16010|16000|2181"
echo srvr | timeout 3 bash -c 'exec 3<>/dev/tcp/192.168.10.5/2181; echo srvr >&3; cat <&3'   # ZK 四字命令可达性（白名单核查，转 ZooKeeper 篇口径）
  • 预期证据：版本、端口清单与边界策略、ZK 探测截图。

六、数据完整性与数据保密性

对应控制点：8.1.4.7 a)b)、8.1.4.8 a)b)、8.1.1.2 通信传输

判定要点：RPC 通道启用 Kerberos 后具备完整性与防重放（hadoop.security.auth_to_local 映射正确）；数据传输加密（hadoop.rpc.protection=privacy，默认 authentication，未启用加密判部分符合并说明内网分段补偿；该参数默认值以 core-default.xml 现场 grep 为准）；Web UI 启用 HTTPS（NN/RM/Ranger 的 https 端口 9871/8089/6182 以现场为准）；静态加密（HDFS Encryption Zones 创建证据、 Ranger 脱敏）；Hive/HBase 传输加密（SSL 配置核查）。

取证要求：rpc.protection 回显、HTTPS 实测（curl -k https://…:9870/ 应握手成功）、EncryptionZone 清单（hdfs ls -ezone 类只读命令按版本核验后使用，不确定走 NN Web/CM 页截图）。

核查命令：

grep -A2 "hadoop.rpc.protection" /etc/hadoop/conf/hdfs-site.xml
openssl s_client -connect 192.168.10.5:9871 -tls1_2 </dev/null 2>/dev/null | grep -E "Protocol|Cipher" | head -n 2
  • 预期证据：参数截图、协议握手截图。

七、备份恢复

对应控制点：8.1.4.9 a)~c)

判定要点：元数据容灾（NameNode Edits/FsImage 多副本+JournalNode 高可用+外部备份：hdfs fsck / 只读健康核查、FsImage 定期外拷）、Hive Metastore DB 备份（转对应数据库测评篇）、HBase 快照（snapshot 属变更类不现场执行，核查已有快照列表与恢复演练记录）、Kerberos KDC 数据库备份。

取证要求：备份策略与外拷记录、KDC 主从/备份证据、演练记录。

核查命令：

hdfs fsck /demo-path -files -length 2>/dev/null | tail -n 4
ls -l /backup/hadoop/ 2>/dev/null | tail -n 5
  • 预期证据：fsck 输出、备份清单。

八、剩余信息保护与个人信息保护

对应控制点：8.1.4.10、8.1.4.11

  • 剩余信息：临时表/失败作业中间目录、已回收队列残留、退役节点 decommission 后磁盘处置记录（转主机介质销毁证据）。
  • 个人信息：数据湖/仓库中的个人信息表——访问控制（Ranger 脱敏策略）、导出审批、留存清理三件套核查；无个人信息承载时按数据流说明判定【不适用】（依据 GB/T 28448-2019 按实际处理范围判定）。
  • 取证要求：decommission 记录、Ranger Masking 策略页、数据分类清单。

参考依据

关联文章