T/ISEAA 006-2024 大模型系统安全测评要求
Categories:
10 分钟阅读
来源与版权：本页为本地转换稿（源文件
T_ISEAA 006-2024 大模型系统安全测评要求.pdf，共 38 页），版权归标准发布机构所有，仅供学习与测评工作参考，正式引用请核对官方发布版本。详见 版权声明。
ICS 35.040
CCS L 80
团体标准
T/ISEAA 006—2024
大模型系统安全测评要求
Security evaluation requirements for large model system
2024-04-30 发布 2024-06-01 实施
中关村信息安全测评联盟 发 布
中国标准出版社 出 版
中国标准出版社
目 次
前言 ···············································································Ⅲ
引言 ···············································································Ⅳ
1 范围 ············································································1
2 规范性引用文件 ·······························································1
3 术语和定义 ·····································································1
4 概述 ·············································································1
4.1 大模型系统架构 ·····························································1
4.2 安全测评方法 ································································2
5 通用安全测评要求 ·····························································3
5.1 物理环境 ······································································3
5.2 网络架构 ······································································3
5.3 边界防护 ······································································4
5.4 身份鉴别 ······································································5
5.5 访问控制 ······································································6
5.6 安全审计 ······································································7
5.7 入侵防范 ······································································9
5.8 恶意代码防范 ·······························································10
5.9 集中管控 ·····································································10
5.10 供应链管理 ································································11
5.11 个人信息保护 ·····························································12
5.12 数据安全保护 ······························································14
5.13 备份恢复 ···································································15
5.14 数据源 ······································································15
6 设计开发安全测评要求 ·······················································16
6.1 数据处理 ·····································································16
6.2 模型保护 ·····································································19
6.3 内容安全 ·····································································21
7 测试安全测评要求 ·····························································23
7.1 模型评估 ·····································································23
7.2 模型更新 ·····································································24
8 部署与运行安全测评要求 ·····················································25
8.1 模型部署 ·····································································25
8.2 攻击检测 ·····································································26
8.3 运行监测 ·····································································27
8.4 系统管理 ·····································································28
8.5 变更管理 ·····································································28
8.6 安全事件处置 ································································29
8.7 应急预案管理 ································································29
9 退役安全测评要求 ·····························································30
9.1 模型退役 ·····································································30
9.2 数据删除 ·····································································31
10 测评结论判定 ·································································31
10.1 分类测评结果 ·······························································31
10.2 风险分析和评价 ····························································31
10.3 测评结论判定 ·······························································31
参考文献 ···········································································32
前 言
本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起草。
本文件由中关村信息安全测评联盟提出并归口。
本文件起草单位：公安部第三研究所、北京百度网讯科技有限公司、蚂蚁科技集团股份有限公司、浙江大学、北京天融信网络安全技术有限公司、启明星辰信息技术集团股份有限公司、快手科技有限公司、上海商汤智能科技有限公司、北京远鉴信息技术有限公司、深圳市网安计算机安全检测技术有限公司、山东新潮信息技术有限公司、金盾检测技术股份有限公司、上海市信息安全测评认证中心、杭州中尔网络科技有限公司、华为技术有限公司、阿里云计算有限公司、深信服科技股份有限公司、科大讯飞股份有限公司、北京百川智能科技有限公司、北京小桔科技有限公司、优刻得科技股份有限公司、浙江君同智能科技有限责任公司。
本文件主要起草人：袁静、刘金鑫、刘楠、张国鹏、文煜乾、陆臻、陈广勇、苏艳芳、刘继顺、郭建领、唐佳伟、李荣昌、杨剑、蒋发群、谷晨、徐浩、郑榕、牛建红、刘智广、高亚敏、朱熹铭、王余、王冀、邵英杰、孙钰娆、张瑶、严敏瑞、孙勇、叶润国、吴晓杰、李建民、樊玉杰、冯明、韩蒙、林昶廷。
引 言
为规范大模型系统安全测评工作的开展，本文件对大模型系统进行安全测评的技术活动提出要求，为评价大模型系统是否符合 T/ISEAA 005—2024《大模型系统安全保护要求》提供了获取证据的途径和方法，用以指导测评人员对大模型系统进行测试评估。
大模型系统安全测评要求
1 范围
本文件规定了大模型系统是否符合 T/ISEAA 005—2024 所进行的测试评估活动的要求。
本文件适用于指导网络安全测评服务机构、大模型开发者、大模型系统运营者对大模型及大模型系统安全保护状况进行安全测试评估，大模型安全监管职能部门依法开展大模型安全保护监督检查参考使用。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。
GB/T 22239—2019 信息安全技术 网络安全等级保护基本要求
GB/T 25069 信息安全技术 术语
T/ISEAA 005—2024 大模型系统安全保护要求
3 术语和定义
GB/T 22239、GB/T 25069 界定的以及下列术语和定义适用于本文件。
3.1
大模型 large model
基于大量数据集训练得到的，具备大参数量、复杂结构的机器学习模型。
[来源：T/ISEAA 005—2024,3.1]
3.2
大模型服务 large model service
基于数据、算法、模型、规则，能够根据使用者提示生成文本、图片、音频、视频等内容的人工智能服务。
注：大模型服务根据行业应用可分为通用大模型服务和行业大模型服务。
[来源：T/ISEAA 005—2024,3.2]
3.3
大模型系统 large model system
由计算机或者其他信息终端及相关设备组成的按照一定的规则和程序，基于大模型进行数据处理或提供大模型服务的系统或平台。
[来源：T/ISEAA 005—2024,3.3]
4 概述
4.1 大模型系统架构
大模型系统可抽象为基础设施层、平台层、模型层和应用层，如图1所示。
| 应用层 | 应用服务 | ||
|---|---|---|---|
| 应用层 | 应用数据 | ||
| 模型层 | 模型库 | 基础大模型 | 行业大模型 |
| 模型层 | 模型库 | 专属大模型 | …… |
| 模型层 | 模型管理 | 版本维护 | 模型部署 |
| 模型层 | 模型管理 | 权限控制 | …… |
| 平台层 | 平台服务 | 模型调优 | 模型交付 |
| 平台层 | 平台服务 | 服务运营 | …… |
| 平台层 | 数据服务 | 公开数据集 | 私有数据集 |
| 平台层 | 数据服务 | 数据工程 | …… |
| 基础设施层 | 计算 | 网络 | 存储 |
图 1 大模型系统参考架构
基础设施层为大模型系统提供算力支持，可直接提供灵活调取的智能算力服务，降低模型落地的算力门槛，一般包括计算、网络、存储等资源。
平台层为模型定制提供全套的工具链及全流程管理功能，包括平台服务和数据服务两部分。平台服务包括但不限于模型调优、模型交付、服务运营等；数据服务包括但不限于提供数据集、数据工程等。平台层可搭载基础设施以公有服务方式直接对用户提供服务，也可以私有化方式部署，供内部员工定制场景专属模型。
模型层为用户提供可直接调取的模型服务，该层具备丰富的模型库并提供模型管理功能。模型库包括通用的基础大模型、行业大模型、多模态大模型以及经过平台层精调后的专属大模型等；模型管理包括对模型的基本维护、部署、权限控制等。
应用层作为框架的最顶层，为用户提供面向细分场景的垂类应用及大模型应用的定制开发，可通过 Agent、RAG、GPTs、API 等模式对外提供服务。用户可直接使用某场景下的智能应用，也可基于模型服务打造自己的智能体应用。
4.2 安全测评方法
安全测评实施的基本方法是针对特定的测评对象，采用相关的测评手段，遵从一定的测评规程，获取需要的证据数据，给出大模型安全保护状况的评判。
本文件中针对每一个控制点的测评构成一个测评单元。每个测评单元的测评指标来自 T/ISEAA 005—2024，测评实施针对某个控制点下包含的所有具体要求项分别展开。测评实施的内容完全覆盖了T/ISEAA 005—2024中所有要求项的测评要求。
在对每一要求项进行测评时，可能用到访谈、核查和测试三种测评方法，也可能用到其中一种或两种。访谈是测评人员通过引导大模型系统保护对象相关人员进行有目的的（有针对性的）交流以帮助测评人员理解、澄清或取得证据的过程；核查是测评人员通过对测评对象（如制度文档、各类设备及相关安全配置等）进行观察、查验和分析，以帮助测评人员理解、澄清或取得证据的过程；测试是测评人员使用预定的方法/工具使测评对象（各类设备或安全配置）产生特定的结果，将运行结果与预期的结果进行比对的过程，预定的方法/工具可能包括大模型数据基准集、渗透测试数据集、漏洞扫描工具、渗透测试工具等。
5 通用安全测评要求
5.1 物理环境
5.1.1 测评指标
本单元的测评指标包括：
a） 应设置机房防盗报警系统或设置有专人值守的视频监控系统；
b） 应设置冗余或并行的电力电缆线路为计算机系统供电；
c） 大模型系统基础设施宜位于中国境内。
5.1.2 测评实施
本单元的测评实施包括以下内容。
a） 核查大模型系统所在机房的防盗和防破坏措施的情况，包括：
1） 核查机房内是否配置防盗报警系统或专人值守的视频监控系统；
2） 核查防盗报警系统或视频监控系统是否启用。
b） 核查大模型系统所在机房是否设置了冗余或并行的电力电缆线路为计算机系统供电，电力电缆是否来自不同的变电站。
c） 访谈并核查大模型系统及相关基础设施的部署情况，包括：
1） 访谈运维管理员，了解大模型系统所涉及的服务器、存储设备、网络设备、服务平台等运行业务和承载数据的软硬件是否均位于中国境内；
2） 核查大模型系统建设方案，核查大模型系统涉及服务器、存储设备、网络设备、服务平台等运行业务和承载数据的软硬件是否均位于中国境内。
5.1.3 结果判定
如果5.1.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.2 网络架构
5.2.1 测评指标
本单元的测评指标包括：
a） 应保证网络设备的业务处理能力满足业务高峰期需要；
b） 应保证网络各个部分的带宽满足业务高峰期需要；
c） 应划分不同的网络区域，并按照方便管理和控制的原则为各网络区域分配地址；
d） 应避免将重要网络区域部署在边界处，重要网络区域与其他网络区域之间应采取可靠的技术隔离手段；
e） 应提供通信线路、关键网络设备和关键计算设备的硬件冗余，保证系统的可用性，满足大模型应用场景下的高算力需求。
5.2.2 测评实施
本单元的测评实施包括以下内容。
a） 核查并测试大模型系统的网络设备性能的情况，包括：
1） 核查业务高峰时期一段时间内主要网络设备的 CPU 利用率和内存使用情况是否满足业务需求；
2） 核查网络设备是否从未出现过因设备性能问题导致的宕机情况；
3） 测试验证设备是否满足业务高峰期需求。
b） 核查并测试大模型系统的业务带宽的情况，包括：
1） 核查综合网管系统各通信链路带宽是否满足高峰时段的业务流量需要；
2） 测试验证网络带宽是否满足业务高峰期需求。
c） 核查大模型系统的网络区域划分管理的情况，包括：
1） 核查是否依据重要性、部门等因素划分不同的网络区域；
2） 核查相关网络设备配置信息，验证划分的网络区域是否与划分原则一致。
d） 核查大模型系统的网络区域边界部署的情况，包括：
1） 核查网络拓扑图是否与实际网络运行环境一致；
2） 核查重要网络区域是否未部署在网络边界处；
3） 核查重要网络区域与其他网络区域之间是否采取可靠的技术隔离手段，如网闸、防火墙和设备访问控制列表（ACL）等。
e） 核查是否有关键网络设备、安全设备和关键计算设备的硬件冗余（主备或双活等）和通信线路冗余。
5.2.3 结果判定
如果5.2.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.3 边界防护
5.3.1 测评指标
本单元的测评指标包括：
a） 应保证跨越边界的访问和数据流通过边界设备提供的受控接口进行通信；
b） 应能够对非授权设备私自联到内部网络的行为进行检查或限制；
c） 应能够对内部用户非授权联到外部网络的行为进行检查或限制。
5.3.2 测评实施
本单元的测评实施包括以下内容。
a） 核查大模型系统跨边界防护的情况，包括：
1） 核查在网络边界处是否部署访问控制设备；
2） 核查设备配置信息是否指定端口进行跨越边界的网络通信，指定端口是否配置并启用了安全策略；
3） 应采用其他技术手段（如非法无线网络设备定位、核查设备配置信息等）核查或测试验证是否不存在其他未受控端口进行跨越边界的网络通信。
b） 核查非授权设备接入的情况，包括：
1） 核查是否采用技术措施防止非授权设备接入内部网络；
2） 核查所有路由器和交换机等相关设备闲置端口是否均已关闭。
c） 核查是否采用技术措施防止内部用户存在非法外联行为。
5.3.3 结果判定
如果5.3.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.4 身份鉴别
5.4.1 测评指标
本单元的测评指标包括：
a） 应对登录的用户进行身份标识和鉴别，身份标识具有唯一性，身份鉴别信息具有复杂度要求并定期更换；
b） 应具有登录失败处理功能，应配置并启用结束会话、限制非法登录次数和当登录连接超时自动退出等相关措施；
c） 当进行远程管理时，应采取必要措施防止鉴别信息在网络传输过程中被窃听；
d） 提供大模型服务的主体应在服务过程中利用密码技术验证模型服务请求主体的身份；
e） 提供大模型服务的主体应对模型训练人员、应用开发人员、运维人员等重要岗位人员进行基于口令、密码技术、生物技术等两种或两种以上组合的身份鉴别，且其中一种鉴别技术至少应使用密码技术来实现。
5.4.2 测评实施
本单元的测评实施包括以下内容。
a） 核查网络设备、安全设备、终端和服务器等的操作系统、数据库管理系统、系统管理软件和业务应用系统等对象的登录用户身份鉴别情况，包括：
1） 核查用户在登录时是否采用了身份鉴别措施；
2） 核查用户列表确认用户身份标识是否具有唯一性；
3） 核查用户配置信息或测试验证是否不存在空口令用户；
4） 核查用户鉴别信息是否具有复杂度要求并定期更换。
b） 核查网络设备、安全设备、终端和服务器等的操作系统、数据库管理系统、系统管理软件和业务应用系统等对象的登录用户登录失败处理的情况，包括：
1） 核查是否配置并启用了登录失败处理功能；
2） 核查是否配置并启用了限制非法登录功能，非法登录达到一定次数后采取特定动作，如账户锁定等；
3） 核查是否配置并启用了登录连接超时及自动退出功能。
c） 核查是否采用加密等安全方式对网络设备、安全设备、终端和服务器等的操作系统、数据库管理系统、系统管理软件和业务应用系统等对象进行远程管理，防止鉴别信息在网络传输过程中被窃听。
d） 核查并测试大模型系统对服务请求主体进行鉴别的情况，包括：
1） 核查大模型服务主体在服务过程中是否对其服务请求主体的身份进行验证；
2） 测试验证大模型系统对其服务请求主体的身份验证机制是否有效；
3） 核查上述鉴别机制是否使用密码技术来实现。
e） 核查并测试网络设备、安全设备、终端和服务器等的操作系统、数据库管理系统、系统管理软件和业务应用系统等对象对重要岗位人员进行身份鉴别情况，包括：
1） 核查模型训练人员、应用开发人员、运维人员等重要岗位人员的登录账号是否采用口令、动态口令、数字证书、生物技术或设备指纹等两种或两种以上组合的鉴别技术对相关人员身份进行鉴别；
2） 核查其中一种鉴别技术是否使用密码技术来实现；
3） 测试验证对上述登录账号的鉴别机制是否有效。
5.4.3 结果判定
如果5.4.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.5 访问控制
5.5.1 测评指标
本单元的测评指标包括：
a） 应在网络边界或区域之间根据访问控制策略设置访问控制规则，默认情况下除允许通信外受控接口拒绝所有通信；
b） 应删除多余或无效的访问控制规则，优化访问控制列表，并保证访问控制规则数量最小化；
c） 应对源地址、目的地址、源端口、目的端口和协议等进行检查，以允许/拒绝数据包进出；
d） 应能根据会话状态信息为进出数据流提供明确的允许/拒绝访问的能力；
e） 应对进出网络的数据流实现基于应用协议和应用内容的访问控制；
f） 应重命名或删除默认账户，修改默认账户的默认口令；
g） 应及时删除或停用多余的、过期的账户，避免共享账户的存在；
h） 应授予业务用户和管理用户所需的最小权限，实现管理用户的权限分离，并定期审计用户权限，删除不必要的权限；
i） 应支持对访问大模型的用户和实体实施分级别的访问控制策略；
j） 应对访问大模型的外部 API 和插件等实施白名单管理，不在白名单中的一律禁止访问；
k） 应通过白名单机制设置大模型可以调用的外部 API 和插件等；
l） 应遵循最小权限原则，将大模型对平台层服务资源的访问权限实施控制，限制为其预期操作所需的最低访问级别。
5.5.2 测评实施
本单元的测评实施包括以下内容。
a） 核查网络设备和安全设备的边界防护策略情况，包括：
1） 核查在网络边界或区域之间是否部署访问控制设备并启用访问控制策略；
2） 核查设备的最后一条访问控制策略是否为禁止所有网络通信。
b） 核查网络设备和安全设备的安全策略优化情况，包括：
1） 核查是否不存在多余或无效的访问控制策略；
2） 核查不同的访问控制策略之间的逻辑关系及前后排列顺序是否合理。
c） 核查并测试网络设备和安全设备的策略设定内容情况，包括：
1） 核查设备的访问控制策略中是否设定了源 IP 地址、目的 IP 地址、源端口、目的端口和协议等相关配置参数；
2） 测试验证访问控制策略中设定的相关配置参数是否有效。
d） 核查并测试网络设备和安全设备的允许/拒绝访问能力情况，包括：
1） 核查是否采用会话认证等机制为进出数据流提供明确的允许/拒绝访问的能力；
2） 测试验证是否为进出数据流提供明确的允许/拒绝访问的能力。
e） 核查并测试提供应用层访问控制功能的设备或组件的策略控制粒度情况，包括：
1） 核查是否部署访问控制设备并启用访问控制策略；
2） 测试验证设备访问控制策略是否能够对进出网络的数据流实现基于应用协议和应用内容的访问控制。
f） 核查网络设备、安全设备、终端和服务器等的操作系统、数据库管理系统、系统管理软件和业务应用系统等对象的默认用户的情况，包括：
1） 核查是否已经重命名默认用户名或默认用户已删除；
2） 核查是否已修改默认用户口令。
g） 核查并测试网络设备、安全设备、终端和服务器等的操作系统、数据库管理系统、系统管理软件和业务应用系统等对象的账户设置情况，包括：
1） 核查是否不存在多余或过期账户，管理员用户与账户之间是否一一对应；
2） 测试验证多余的、过期的账户是否被删除或停用。
h） 核查网络设备、安全设备、服务器等的操作系统、数据库管理系统、系统管理软件和业务应用系统等对象的用户权限管理情况，包括：
1） 核查是否进行管理角色划分，例如系统管理员、安全管理员和审计管理员；
2） 核查是否为业务用户划分权限，各类业务用户是否为其业务工作所需的最小权限；
3） 核查管理用户的权限是否已进行分离，是否为其工作任务所需的最小权限；
4） 核查是否定期审计管理用户和业务用户权限，是否根据审计情况及时删除不必要的权限。
i） 核查并测试大模型系统用户、实体、模型文件的访问控制策略的情况，包括：
1） 核查大模型系统是否能够对访问大模型的用户、实体、模型文件实施分级别的访问控制策略；
2） 测试验证上述访问控制策略的有效性。
j） 核查并测试外部 API 和插件访问大模型的白名单管理情况，包括：
1） 核查大模型系统是否对访问大模型的外部 API 和插件实现白名单管理；
2） 测试验证白名单策略的有效性。
k） 核查大模型系统是否对大模型调用的外部 API 和插件实现白名单管理。
l） 核查并测试平台层服务资源对大模型的访问控制策略设置情况，包括：
1） 核查平台层服务是否针对大模型设置访问控制策略；
2） 核查访问控制策略是否根据实际业务需求设置为最低访问级别；
3） 测试验证访问控制策略的有效性。
5.5.3 结果判定
如果5.5.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.6 安全审计
5.6.1 测评指标
本单元的测评指标包括：
a） 应在网络边界、重要网络节点、计算节点进行安全审计，审计覆盖到每个管理用户，对重要的用户行为和重要安全事件进行审计；
b） 应对模型训练人员、应用开发人员、运维人员等重要岗位的重要操作行为进行安全审计；
c） 应对数据收集、标注、处理过程以及模型训练、服务活动进行安全审计；
d） 审计记录应包括事件的日期和时间、用户、事件类型、事件是否成功及其他与审计相关的信息；
e） 模型训练和推理中，应对涉及到敏感数据的行为进行安全审计，审计内容包括数据敏感程度、数据使用情况、训练模型、生成结果以及使用具体目的等；
f） 应对审计记录进行保护，定期备份，留存相关日志数据不少于 6 个月，避免受到未预期的删除、修改或覆盖等。
5.6.2 测评实施
本单元的测评实施包括以下内容。
a） 核查大模型系统边界的审计情况，包括：
1） 核查网络设备、安全设备、终端和服务器等的操作系统、数据库管理系统、系统管理软件和业务应用系统等是否开启了安全审计功能；
2） 是否部署了综合安全审计系统或类似功能的系统平台，对审计日志进行汇总收集；
3） 核查安全审计范围是否覆盖到每个管理用户；
4） 核查是否对重要的用户行为和重要安全事件进行了审计。
b） 核查网络设备、安全设备、终端和服务器等的操作系统、数据库管理系统、系统管理软件和业务应用系统等对象对重要岗位人员行为的审计情况，包括：
1） 核查审计功能是否能覆盖到每个用户，至少包括模型训练人员、应用开发人员、运维人员等；
2） 核查审计内容是否包含重要岗位人员的操作行为，如模型训练人员对模型参数的调整和优化、开发人员对应用程序的代码变更、运维人员维护系统配置参数等操作。
c） 核查大模型系统对各类活动的审计情况，包括：
1） 核查审计内容是否包含数据收集活动内容，例如收集主体、数据来源、数据类型、数据规模和收集时间等；
2） 核查审计内容是否包含数据标注活动内容，例如标注任务描述、标注数据来源、标注人员的操作、标注工具的使用等；
3） 核查审计内容是否包含数据处理活动内容，例如处理主体、处理对象、操作、操作时间、操作结果等；
4） 核查审计内容是否包含模型训练活动内容，例如训练数据、训练参数、训练时长、训练结果等；
5） 核查审计内容是否包含模型服务活动内容，例如服务内容、服务对象、服务方式等。
d） 核查网络设备、安全设备、终端和服务器等的操作系统、数据库管理系统、系统管理软件和业务应用系统等对象的审计日志的内容是否包含事件的日期和时间、用户、事件类型、事件是否成功及其他与审计相关的信息。
e） 核查大模型系统在模型训练和推理阶段的审计情况，包括：
1） 核查审计功能是否覆盖模型训练和推理过程，是否能够对涉及敏感数据的行为进行审计；
2） 核查审计记录是否包含数据敏感程度、数据使用情况、训练模型、生成结果以及使用具体目的等内容。
f） 核查网络设备、安全设备、终端和服务器等的操作系统、数据库管理系统、系统管理软件和业务应用系统等对象的审计记录保护情况，包括：
1） 核查是否采取了技术措施对审计记录进行保护；
2） 核查是否采取技术措施对审计记录进行定期备份，相关备份日志数据是否至少保存 6 个月。
5.6.3 结果判定
如果5.6.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.7 入侵防范
5.7.1 测评指标
本单元的测评指标包括：
a） 应检测、防止或限制从外部发起的对计算节点、存储节点、网络设备和安全设备的网络攻击行为；
b） 应检测、防止或限制从内部发起的对计算节点、存储节点、网络设备和安全设备的网络攻击行为；
c） 应采取技术措施对网络行为进行分析，实现对网络攻击特别是新型网络攻击行为的分析；
d） 当检测到攻击行为时，记录攻击源 IP 地址、端口、攻击类型、攻击目标、攻击时间，在发生严重入侵事件时应提供报警；
e） 操作系统和数据库应遵循最小安装的原则，仅安装需要的组件或应用程序；
f） 网络设备、安全设备、操作系统和数据库应关闭不需要的系统服务、默认共享或高危端口；
g） 应通过设定终端接入方式或网络地址范围对通过网络进行管理的管理终端进行限制；
h） 应能发现可能存在的漏洞，并在经过充分测试评估后，及时修补漏洞。
5.7.2 测评实施
本单元的测评实施包括以下内容。
a） 核查并测试大模型系统防御外部攻击情况，包括：
1） 核查是否部署网络回溯系统、威胁情报检测系统、抗 DDoS 攻击系统和入侵保护系统或相关组件；
2） 核查相关系统或组件是否能够检测从外部发起的网络攻击行为；
3） 核查相关系统或组件的规则库版本或威胁情报库是否已经更新到最新版本；
4） 核查相关系统或组件的配置信息或安全策略是否能够覆盖网络所有关键节点；
5） 测试验证相关系统或组件的配置信息或安全策略是否有效。
b） 核查并测试大模型系统防御内部攻击情况，包括：
1） 核查是否部署网络回溯系统、威胁情报检测系统、抗 DDoS 攻击系统和入侵保护系统或相关组件；
2） 核查相关系统或组件是否能够检测到从内部发起的网络攻击行为；
3） 核查相关系统或组件的规则库或威胁情报库是否已更新到最新版本；
4） 核查相关系统或组件的配置信息或安全策略是否能够覆盖网络所有关键节点；
5） 测试验证相关系统或组件的配置信息或安全策略是否有效。
c） 核查并测试大模型系统对新型网络攻击的检测和分析情况，包括：
1） 核查是否部署相关安全检测系统对新型网络攻击进行检测和分析；
2） 测试验证是否对网络行为进行分析，实现对网络攻击特别是未知的新型网络攻击的检测和分析。
d） 核查并测试大模型系统安全日志记录和报警情况，包括：
1） 核查相关系统或组件的记录是否包括攻击源 IP 地址、端口、攻击类型、攻击目标、攻击时间等相关内容；
2） 测试验证相关系统或组件的报警策略是否有效。
e） 核查终端和服务器等的操作系统、数据库及其管理软件等对象安装的组件和程序情况，包括：
1） 核查是否遵循最小安装原则；
2） 核查是否未安装非必要的组件和应用程序。
f） 核查网络设备、安全设备、终端和服务器等的操作系统、数据库及其管理软件等对象启用的服务、共享、端口情况，包括：
1） 核查是否关闭了非必要的系统服务和默认共享；
2） 核查是否不存在非必要的高危端口。
g） 核查网络设备、安全设备、终端和服务器等的操作系统、系统管理软件和业务应用系统等对象的配置文件或参数是否对终端接入范围进行限制。
h） 核查大模型系统漏洞发现和修补情况，包括：
1） 通过漏洞扫描、渗透测试等方式核查是否不存在高风险漏洞；
2） 核查是否在经过充分测试评估后及时修补漏洞。
5.7.3 结果判定
如果5.7.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.8 恶意代码防范
5.8.1 测评指标
本单元的测评指标为：应采用免受恶意代码攻击的技术措施及时识别主机入侵和病毒行为，并将其有效阻断。
5.8.2 测评实施
本单元的测评实施包括：
a） 核查是否安装了防恶意代码软件或相应功能的软件，定期进行升级和更新防恶意代码库；
b） 核查当识别人侵和病毒行为时是否将其有效阻断。
5.8.3 结果判定
如果5.8.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.9 集中管控
5.9.1 测评指标
本单元的测评指标包括：
a） 应划分出特定的管理区域，对分布在网络中的安全设备或安全组件进行管控；
b） 应能够建立一条安全的信息传输路径，对网络中的安全设备或安全组件进行管理；
c） 应对网络链路、安全设备、网络设备和服务器等的运行状况进行集中监测；
d） 应对安全策略、恶意代码、补丁升级等安全相关事项进行集中管理；
e） 应能对网络中发生的各类安全事件进行识别、报警和分析。
5.9.2 测评实施
本单元的测评实施包括以下内容。
a） 核查大模型系统的安全区域划分和设备部署情况，包括：
1） 核查是否划分出单独的网络区域，部署用于管控安全设备或安全组件的系统或组件；
2） 核查是否在单独的网络区域内对各个安全设备或安全组件进行集中管理。
b） 核查是否采用安全方式（如 SSH、HTTPS、IPSec VPN 等）对安全设备或安全组件进行管理，或使用独立的带外管理网络对安全设备或安全组件进行管理。
c） 核查并测试提供运行状态监测功能的系统的网络集中监测情况，包括：
1） 核查是否部署了具备运行状态监测功能的系统或设备，能够对网络链路、安全设备、网络设备和服务器等的运行状况进行集中监测；
2） 测试验证运行状态监测系统是否根据网络链路、安全设备、网络设备和服务器等的工作状态、依据设定的阈值（或默认阈值）实时报警。
d） 核查大模型系统安全事项集中管理情况，包括：
1） 核查是否能够对安全策略（如防火墙访问控制策略、入侵保护系统访问策略、WAF 安全防护策略等）进行集中管理；
2） 核查是否实现对操作系统防恶意代码系统及网络恶意代码防护设备的集中管理，实现对防恶意代码病毒规则库的升级进行集中管理；
3） 核查是否实现对各个系统或设备的补丁升级进行集中管理。
e） 核查大模型系统安全事件集中识别、报警和分析情况，包括：
1） 核查是否部署了相关系统平台能够对各类安全事件进行分析并通过声光等方式实时报警；
2） 核查监测范围是否能够覆盖网络所有关键路径。
5.9.3 结果判定
如果5.9.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.10 供应链管理
5.10.1 测评指标
本单元的测评指标包括：
a） 应确保模型和服务供应商的选择符合国家有关规定；
b） 应建立针对第三方组件和基础模型的使用审批机制，并对开源代码进行安全评价，保障来源可靠、安全风险可消除或控制；
c） 采购第三方模型和服务时，应明确提供者的安全责任和义务，要求提供者做出必要安全承诺，声明不非法获取用户数据、控制和操纵用户系统和设备，或利用用户对产品的依赖性谋取不正当利益或者迫使用户更新换代；
d） 应采取必要的措施识别大模型系统第三方组件、模型和服务安全漏洞和隐患，对发现的安全漏洞和隐患进行评估后，及时进行修补或采取其他措施进行风险控制；
e） 应对大模型系统第三方组件、模型和服务供应商的重要变更进行安全风险评估，采取有关措施对风险进行控制，并将重要变更及时传达到客户；
f） 在采购第三方模型时，应采用密码技术保证重要的数据或模型文件在传输过程中的保密性；
g） 大模型服务应用于关键信息基础设施及重要场景时，应根据风险与场景采取相应保护措施；
h） 向境外提供服务或使用境外服务的大模型系统，训练数据应遵循国家数据出境相关规定。
5.10.2 测评实施
本单元的测评实施包括以下内容。
a） 核查模型和服务供应商的选择是否符合国家的有关规定，如使用经主管部门大模型备案的第三方基础模型。
b） 核查第三方组件和基础模型的使用审批机制建立情况，包括：
1） 核查第三方组件、基础模型的使用情况是否明确建立审批程序；
2） 核查是否具有开源代码安全评价记录；
3） 核查是否具有审批记录，审批记录内容是否与制度相符。
c） 核查与第三方模型和服务协议签订情况，协议内容是否明确提供者的安全责任和义务，要求提供者做出必要安全承诺，声明不非法获取用户数据、控制和操纵用户系统和设备，或利用用户对产品的依赖性谋取不正当利益或者迫使用户更新换代。
d） 核查针对大模型系统第三方组件、模型和服务安全漏洞和隐患识别和修补情况，包括：
1） 核查是否有识别大模型系统第三方组件、模型和服务安全漏洞和隐患的安全报告或记录；
2） 核查相关记录是否对发现的漏洞及时进行修补或评估可能的影响后进行修补。
e） 核查大模型系统第三方组件、模型和服务供应商重要变更通知和评估情况，包括：
1） 核查是否对第三方组件、模型和服务供应商的重要变更建立安全风险评估机制；
2） 核查是否对安全风险评估过程中发现的风险采取控制措施；
3） 核查是否通过电子邮件、即时通信或公告等方式告知客户。
f） 核查并测试采购第三方模型时的传输保密性情况，包括：
1） 核查是否采用密码技术保证重要的数据或模型文件在传输过程中的保密性；
2） 测试验证在传输过程中是否采用密码技术对重要的数据或模型文件进行加密。
g） 核查并测试关键信息基础设施及自动控制、医疗信息服务、心理咨询、金融信息服务等重要场景中的大模型采取的保护措施情况，包括：
1） 核查是否分析关键信息基础设施应用大模型时可能带来的安全风险，是否结合安全风险采取相应的安全保护措施；
2） 核查是否分析不同重要场景应用大模型时可能产生的安全风险和业务风险，是否结合安全风险和业务风险采取相应的安全保护措施；
3） 测试验证相应安全保护措施的有效性。
h） 核查大模型系统向境外提供服务或使用境外服务的情况，包括：
1） 应核查大模型系统是否向境外提供服务或使用境外服务；
2） 若向境外提供服务，核查是否遵循国家数据出境相关规定；
3） 若使用境外服务（如使用算力服务、存储服务等），核查是否遵循国家数据出境相关规定。
5.10.3 结果判定
如果5.10.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.11 个人信息保护
5.11.1 测评指标
本单元的测评指标包括：
a） 应建立个人信息管理制度，包括但不限于个人信息处理规则、使用规范、安全保护措施、处理个人信息主体询问的渠道和机制、个人信息处理人员的行为要求等；
b） 应支持训练数据集中个人信息的识别，针对识别出的个人信息，应遵循最小必要原则，并在获取个人信息主体的授权同意后使用，有其他法律法规或合同约定的除外，若无法取得个人信息主体的授权同意，应匿名化后使用；
注：训练数据集包括预训练数据集、优化训练数据集。
c） 训练数据中包含个人生物识别、医疗健康、金融账户、行踪轨迹等敏感个人信息的，应取得个人单独授权同意，并保留个人信息主体授权文件；
注：个人生物识别信息包括个人基因、指纹、声纹、掌纹、耳廓、虹膜、面部识别特征等。
d） 当使用用户输入信息作为训练数据时，应在显著位置告知用户并获得用户的授权同意，并提供用户拒绝或撤回同意的渠道；
e） 应采用密码技术对敏感个人信息进行加密传输和存储；
f） 应支持输出内容中个人信息的识别，并选择适宜的输出处理方式，如直接输出、去标识化处理后输出或拒绝回答等；
g） 应建立个人信息保护投诉、举报机制，提供投诉、举报渠道，及时受理、处理和反馈处理结果；
h） 应与个人信息处理岗位人员签署个人信息安全保护责任书。
5.11.2 测评实施
本单元的测评实施包括以下内容。
a） 核查个人信息管理制度制定情况，包括：
1） 核查是否制定有个人信息管理制度；
2） 核查个人信息管理制度是否覆盖个人信息处理规则、使用规范、安全保护措施、处理个人信息主体询问的渠道和机制、个人信息处理人员的行为要求等内容。
b） 核查对训练数据集中个人信息识别以及获得个人信息主体授权同意的情况，包括：
1） 核查大模型系统是否能够对预训练数据集、优化训练数据集等各类训练数据集中的个人信息进行识别；
2） 核查训练数据集中识别出的个人信息内容，是否得到个人信息主体的授权，是否有明确的授权文件；
3） 当不满足 2）的要求时，核查是否符合其他法律法规或合同约定，是否在遵守相关法律法规或合同约定的前提下进行操作，个人信息的使用是否合法、合规；
4） 当不满足 2）和 3）的要求时，核查是否对相关个人信息进行匿名化处理，如删除直接标识符、替换间接标识符、数据泛化、数据扰动、限制发布等措施。
c） 核查训练数据中包含敏感个人信息时获得个人信息主体授权同意的情况，包括：
1） 训练数据中包含个人生物识别、医疗健康、金融账户、行踪轨迹等敏感个人信息的，核查是否取得个人单独授权同意；
2） 核查是否具有明确的个人信息主体授权文件。
d） 核查对用户授权拒绝或撤回同意的渠道建立情况，包括：
1） 使用用户输入信息作为训练数据时，核查是否得到个人信息主体的授权；
2） 核查大模型系统是否在显著位置告知用户将使用其输入信息作为训练数据，并获得用户的授权同意；
3） 核查大模型系统是否提供拒绝或撤回授权同意的渠道，允许用户拒绝或撤回个人信息使用的授权同意。
e） 核查并测试敏感个人信息保护的情况，包括：
1） 核查是否采用密码技术保证敏感个人信息在传输过程中的保密性；
2） 核查是否采用密码技术保证敏感个人信息在存储过程中的保密性；
3） 测试验证敏感个人信息保密性保护机制是否正确和有效。
f） 测试验证个人信息的识别与输出方式是否与个人信息管理制度一致。
g） 核查个人信息保护投诉和举报机制的情况，包括：
1） 核查是否建立个人信息保护投诉、举报机制，是否明确投诉和举报渠道；
2） 核查是否设立小组或团队来及时受理并处理相关投诉和举报；
3） 核查是否向用户提供详细的投诉或举报处理结果。
h） 核查涉及个人信息处理岗位人员的责任书签署情况，包括：
1） 核查是否明确个人信息处理岗位的人员和岗位职责；
2） 核查相关人员是否签署个人信息安全保护责任书。
5.11.3 结果判定
如果5.11.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.12 数据安全保护
5.12.1 测评指标
本单元的测评指标包括：
a） 应确保只有在用户授权下，大模型服务提供者才具有用户训练数据的使用和管理权限；
b） 应采取技术措施对用户训练数据进行保护，防止未授权访问、泄露和篡改；
c） 应通过数据安全沙箱、隐私计算等技术，保证敏感数据在与第三方机构共同处理时，始终以密文形态出现。
5.12.2 测评实施
本单元的测评实施包括以下内容。
a） 核查用户训练数据使用和管理情况，包括：
1） 核查用户训练数据使用和管理权限的授权流程、授权方式、授权内容；
2） 核查大模型服务提供者是否具有用户训练数据的管理权限，如果具有，核查是否有相关授权证明。
b） 核查并测试对用户训练数据的安全保护情况，包括：
1） 核查是否采用技术措施保护用户训练数据；
2） 测试验证是否能够防止用户训练数据被非授权访问；
3） 测试验证是否能够防止用户训练数据被泄露；
4） 测试验证是否能够防止用户训练数据被篡改。
c） 核查敏感数据与第三方机构共同处理时的安全保护情况，包括：
1） 核查是否存在敏感数据与第三方机构共同处理情况；
2） 若存在敏感数据与第三方机构共同处理情况时，测试验证是否采用数据安全沙箱、隐私计算等技术保证敏感数据始终以密文形态出现。
5.12.3 结果判定
如果5.12.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.13 备份恢复
5.13.1 测评指标
本单元的测评指标为：应提供数据、算法、模型、框架、工具等的备份和恢复功能，以支持在必要情况下对大模型系统进行恢复还原。
5.13.2 测评实施
本单元的测评实施包括：
a） 核查是否按照备份策略进行备份；
b） 核查备份范围是否覆盖数据、算法、模型、框架、工具等；
c） 核查是否建立大模型系统的恢复还原机制。
5.13.3 结果判定
如果5.13.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
5.14 数据溯源
5.14.1 测评指标
本单元的测评指标包括：
a） 应为每个训练数据集提供标识信息，包括数据集的唯一标识符、构建时间、数据集来源等，并对参与训练时间进行登记；
b） 应确保图像、音频和视频数据的采集、处理、使用、流动等过程可追溯，可采用密码、数据血缘分析或水印等技术；
c） 应对训练数据集进行版本控制。
5.14.2 测评实施
本单元的测评实施包括以下内容。
a） 核查训练数据集标识情况，包括：
1） 核查训练数据集是否含有标识信息；
2） 核查标识内容是否包括数据集的唯一标识符、构建时间、数据集来源等；
3） 核查是否对参与训练时间进行登记。
b） 核查并测试图像、音频和视频数据的可追溯情况，包括：
1） 核查是否采用密码、数据血缘分析或水印等技术实现图像、音频和视频数据的可追溯；
2） 测试验证是否能够回溯图像、音频和视频数据的采集、处理、使用、流动等过程。
c） 核查训练数据集版本控制情况，包括：
1） 核查是否建立训练数据集版本控制机制；
2） 核查是否存在训练数据集版本控制记录。
5.14.3 结果判定
如果5.14.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
6 设计开发安全测评要求
6.1 数据处理
6.1.1 数据收集
6.1.1.1 测评指标
本单元的测评指标为：
- a) 应明确大模型的目标任务和应用场景，确定并记录所需收集的数据来源、类型和规模，确保数据来源可追溯；
- b) 应建立数据源的合规性和安全性的审核机制，明确数据审核和过滤规则；
- c) 采购第三方数据时，应要求数据提供方对数据来源合法合规、质量、安全等方面作出承诺并提供相关证明材料；
- d) 应按照与数据源主体约定的协议进行数据收集；
- e) 在收集数据时，应采用密码技术保证重要的数据在传输过程中的完整性和保密性；
- f) 应对收集的数据进行安全性评估，检测恶意代码、违法不良信息等潜在的安全风险。
注：违法不良信息指《TC260-003生成式人工智能服务安全基本要求》中的违法不良信息。
6.1.1.2 测评实施
本单元的测评实施应包括以下内容。
a) 核查大模型设计类（合作协议类等）文档，包括：
- 核查设计类文档，是否定义大模型的具体任务，确保清晰地了解模型需要完成的主要任务，例如图像分类、自然语言处理、推荐系统等；
- 核查设计类文档，是否定义大模型的具体应用场景，确定模型将用于哪些实际应用场景，例如医疗诊断、智能交通、金融预测等。
- 核查是否了解训练数据的来源、质量和法律合规性，数据包括但不限于公共数据集、合作伙伴提供的数据、公司内部数据等，是否编制文档记录以上信息（包括数据的来源、采集方法、采集时间、采集地点等信息）；
- 核查数据采集类型，是否确定模型需要的数据类型（如文本、图像、语音等）和数据规模等。
b) 核查管理文档和审核记录，包括：
- 核查是否建立数据源的合规性和安全性的审核机制，包括但不限于检查数据源数据一致性、重复数据、来源可靠性等；
- 核查是否建立了标准化的数据审核和过滤规则；
- 核查审核记录，是否按照数据审核规则进行审核。
c) 核查第三方数据的采购情况，包括：
- 对于存在采购第三方数据的情形，核查是否保留有数据提供方的承诺及相关证明材料；
- 核查相关证明材料是否包含数据来源合法合规、质量、安全等方面内容。
d) 核查数据协议议定数据收集情况，包括：
- 对于采购第三方数据的情形，核查是否与数据源主体签署隐私协议或合作协议，明确数据收集范围，并核查数据收集实践是否与协议约定一致；
- 对于收集开源数据集的情形，核查数据收集实践是否与公开协议约定一致。
e) 核查收集数据时对重要的数据在传输过程中的完整性和保密性保护情况，包括：
- 核查是否采用密码技术保证重要的数据在传输过程中的完整性和保密性；
2）测试验证所采用密码技术的有效性。
f) 核查数据安全扫描计划和数据安全扫描结果，是否按照数据安全扫描计划对数据集中可能存在的恶意代码和违法不良信息等潜在的安全风险进行扫描。
6.1.1.3 结果判定
如果 6.1.1.2 均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
6.1.2 数据清洗
6.1.2.1 测评指标
本单元的测评指标为：
- a) 应制定数据清洗规则，包括但不限于去噪、标准化格式、处理缺失值、删除重复项等；
- b) 应对数据中包含的违法不良信息进行清洗和过滤；
- c) 应对数据中的主要知识产权侵权风险进行识别，对存在知识产权侵权等问题的数据进行清洗和过滤；
- d) 应采取措施保护敏感个人信息和重要的业务数据；
- e) 应对清洗后的数据进行验证，确保清洗后的数据集符合预期的要求和标准。
6.1.2.2 测评实施
本单元的测评实施应包括以下内容。
- a) 核查是否制定数据清洗规则制度，内容包括但不限于去噪、标准化格式、处理缺失值、删除重复项等。
- b) 核查并测试针对违法不良信息的数据清洗和过滤情况，包括：
- 核查是否制定明确的制度，确保数据的合法性，规则要符合《网络信息内容生态治理规定》的要求；
- 核查是否实施自动化工具或人工审核方式对数据进行内容审核；
- 测试验证是否依照制定的过滤规则对数据集中的违法不良信息进行清洗和过滤。
- c) 核查针对数据的知识产权风险识别和过滤情况，包括：
- 核查是否对数据集中的主要知识产权侵权风险进行识别；
- 核查是否对识别结果中存在知识产权侵权风险的数据进行清洗和过滤。
- d) 核查对敏感个人信息和重要的业务数据的保护措施，包括：
- 核查是否对数据进行分类，标记出敏感个人信息和重要的业务数据；
- 核查是否采用密码技术对存储在数据库、文件系统或传输中的敏感数据进行加密；
- 核查是否在非开发环境中对敏感个人信息和重要的业务数据进行数据脱敏或去标识化处理。
- e) 核查数据集及检测记录，包括：
- 核查是否对清洗和过滤之后的数据集进行了验证，并满足预设的目标任务和应用场景需求，如验证清洗后的数据中缺失值的处理是否合理、采用适当的填充、删除或插值操作，并确保这些操作不会引入新的问题，并保存相关的验证记录；
- 核查是否定期以及在数据集更新或扩展时进行数据集验证和校验，是否保存相关的验证和校验记录。
6.1.2.3 结果判定
如果 6.1.2.2 均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
6.1.3 数据标注
6.1.3.1 测评指标
本单元的测评指标为：
- a) 应建立数据标注管理制度，包括但不限于数据标注任务实施流程、数据标注评估核验、标注结果纠正补充等；
- b) 应围绕数据的主要业务功能和内容安全风险制定数据标注规则，包括但不限于标注对象、数据格式、标注方法、评估指标等内容；
- c) 应明确数据标注过程中的安全操作规范；
- d) 应定期检查标注工具或平台是否存在潜在的安全漏洞，对检查发现的安全漏洞进行及时修复；
- e) 应实施身份验证和授权机制，确保只有经过授权的标注人员可以使用标注工具；
- f) 应保存标注日志，确保标注过程和结果可追溯；
- g) 应建立数据标注质量检查机制，采用人工方式对功能性标注结果和每条安全性标注结果进行审核；
- h) 应对标注人员设置不同的角色，包括标注执行人员、标注监督人员、标注仲裁人员，同一标注任务下，标注执行人员与标注监督人员不能兼任；
- i) 应对标注人员定期进行相应的培训和考核，通过者给予标注资质，必要时可暂停或取消标注资质。
6.1.3.2 测评实施
本单元的测评实施应包括以下内容。
a) 核查是否制定数据标注管理制度，制度内容包括但不限于数据标注任务实施流程、数据标注评估核验、标注结果纠正补充等。
b) 核查数据标注规则和标注结果集，包括：
- 核查是否依据主要业务功能和内容安全风险制定了详细的标注规则，包括但不限于标注对象、数据格式、标注方法、评估指标等内容；
- 核查是否定期更新标注规则以应对新出现的数据业务功能和安全风险。
c) 核查是否制定了数据标注过程中的安全操作规范，包含但不限于访问控制和权限管理、风险管理和应急响应等相关安全操作规范。
d) 核查标注工具或平台的安全漏洞情况，包括：
- 核查是否采用漏洞扫描、渗透测试等方式对扫描标注工具或平台进行安全检测，检测潜在的安全漏洞；
- 核查相关记录是否对检测发现的漏洞及时进行修补或评估可能的影响后进行修补。
e) 核查并测试标注工具或平台的身份验证和授权控制情况，包括：
- 核查标注工具或平台是否建立身份验证机制和授权系统，为用户分配了账户和权限及相关设置情况；
- 核查是否已禁用或限制匿名、默认账户的访问权限；
- 测试验证是否只有经过验证和授权的标注人员，才能访问特定的数据和标注工具。
f) 核查是否保存了关键的步骤和操作的标注日志，包括标注人员、标注日期和时间、数据访问、标注动作、标注内容、审核和修订等信息。
g) 核查数据标注质量检查情况，包括：
- 核查是否建立数据标注质量检查机制，是否由人工对功能性标注结果进行抽查审核，是否通过人工方式对每条安全性标注结果进行审核；
2）核查是否记录标注结果审核过程中发现的问题，并对问题进行追踪；
3）核查是否对标注结果不准确的标注数据进行重新标注，是否废弃包含违法不良信息的标注数据；
4）核查是否提供标注反馈机制，允许标注人员提出疑问、报告问题。
h) 核查标注系统中对标注人员角色的设置情况，包括：
- 核查是否设置了标注执行人员角色，负责执行具体的标注任务，按照标注规范和指南完成标注工作，确保标注结果的准确性和一致性；
- 核查是否设置了标注监督人员角色，负责对标注执行人员的工作进行质量检查，确保标注结果符合预定的质量标准；
- 核查是否设置了标注仲裁人员角色，负责解释和说明标注规范，解决标注过程中的争议，做出最终决策，如标注结果不一致的情况；
- 核查在同一标注任务下，标注执行人员是否未同时承担标注监督职能。
i) 核查对标注人员的培训、考核管理情况，包括：
- 核查是否制定培训和考核相关管理文档，明确培训和考核的时间周期、方式、内容等；
- 核查是否制定了培训计划，培训内容包括但不限于数据标注规则、工具使用、质量控制、标注数据安全管理要求等；
- 核查是否建立考核标准和评价体系，包括但不限于标注质量、效率和规则遵守、标注规则理解能力、标注工具使用能力、安全风险判定能力、数据安全管理能力等；
- 核查培训和考核记录，是否按照计划定期开展培训和考核；
- 核查是否针对标注任务或技术的变化持续更新培训内容；
- 核查是否制定资质授予的条件和程序，是否明确资质暂停或取消的情况和流程。
6.1.3.3 结果判定
如果 6.1.3.2 均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
6.2 模型保护
6.2.1 测评指标
本单元的测评指标为：
- a) 应建立模型安全管理制度，包括但不限于模型机制机理审核、模型科技伦理审查、模型上线流程规范、模型退役和下线流程规范、模型变更（如模型更新、模型升级、模型回退等）流程规范等；
- b) 应定期对机器学习框架以及使用依赖的第三方库和预训练模型存在的风险进行安全检测，包括但不限于后门漏洞、拒绝服务漏洞、缓冲区溢出漏洞、恶意代码等，并针对发现的安全漏洞和风险及时修复和处置；
- c) 应对大型模型系统输入数据进行检测和过滤，防范指令注入型攻击、对抗性攻击、后门样本攻击等恶意攻击导致的敏感数据输出、远程代码执行、跨站脚本、恶意提权、拒绝服务、数据泄露等风险；
- d) 应保证模型在异常输入下具有稳定准确输出，异常输入包括但不限于包含自然噪声、系统噪声、随机、无意义或与算法应用场景无关等类型的数据输入；
- e) 应对模型进行加密保护或完整性校验，保障其静态存储和跨节点传输过程中的保密性、完整性；
- f) 应采用技术手段防止模型在服务过程中泄露模型参数信息，可采用差分隐私技术、访问控制或身份验证等技术手段；
- g) 应能够防范属性推断、成员推理等针对模型训练数据的攻击，可采用限制模型的反馈输出或限制模型的查询次数等方法；
- h) 应将模型训练环境与模型推理环境隔离，避免非授权访问，确保数据受控；
- i) 应采用技术措施对模型进行标识；
- j) 应定期对模型开发人员进行安全知识的培训与考核。
6.2.2 测评实施
本单元的测评实施应包括以下内容。
a) 核查是否制定了模型安全管理制度，包括但不限于模型机制机理审核、模型科技伦理审查、模型上线流程规范、模型退役和下线流程规范、模型变更（如模型更新、模型升级、模型回退等）流程规范等。
b) 核查对机器学习框架以及使用依赖的第三方库和预训练模型存在的风险进行安全检测的情况，包括：
- 核查是否定期或在重大变更后对机器学习框架以及使用依赖的第三方库和预训练模型进行风险识别与安全检测；
- 核查是否具有安全检测报告或记录，安全检测内容包括但不限于后门漏洞、拒绝服务漏洞、缓冲区溢出漏洞、恶意代码等，并针对发现的安全漏洞和风险进行及时修复和处置；
- 测试验证是否针对发现的安全漏洞和风险进行有效处置。
c) 核查对模型输入数据进行检测和过滤情况，包括：
- 核查模型系统是否对输入数据采取安全检测和过滤机制；
- 核查对模型输入数据进行检测和过滤的技术手段；
- 测试验证大模型系统是否有效检测和过滤注入攻击型指令，包括越狱攻击、目标劫持攻击以及提示词泄露攻击等；
- 测试验证大模型系统是否有效检测和过滤对抗攻击指令，包括对抗后缀攻击、同义词替换攻击、形近词替换攻击以及同音词替换攻击等；
- 测试验证大模型系统是否有效检测和过滤后门攻击指令。
d) 核查模型在异常输入下的输出情况，包括：
- 核查模型服务主体是否采取技术手段保证模型在异常输入下的输出稳定性和准确性，所采用的技术手段包括但不限于噪声滤除、模型对抗训练等；
- 测试验证模型是否在包含自然噪声、系统噪声、随机、无意义或与算法应用场景无关等类型的异常数据输入下能够稳定且准确输出。
e) 核查对模型进行加密保护及完整性校验情况，包括：
- 核查模型的设计文档，查看是否采用加密措施及完整性校验，保证其静态存储和跨节点传输过程中的保密性和完整性；
- 核查采取何种技术手段对模型进行加密保护及完整性校验；
- 测试验证模型在静态存储和传输过程中的加密措施和完整性校验是否有效。
f) 核查大模型设计类文档，是否采取技术手段防止参数信息泄露，例如差分隐私技术、访问控制和身份验证等。
g) 核查对属性推断、成员推理等针对模型训练数据攻击的防范情况，包括：
- 核查模型是否采取技术手段防范属性推断、成员推理等针对模型训练数据的攻击，可采用的方法包括但不限于限制模型的反馈输出、限制模型的查询次数等；
2）核查所采取的技术手段和具体配置信息等；
3）测试验证大模型系统是否能够有效防止模型训练数据的泄露。
h) 核查大模型的环境隔离情况，包括：
- 核查是否对大模型的训练环境和推理环境进行隔离；
- 核查是否采取隔离、访问控制等措施确保数据受控。
i) 核查模型标识情况，包括：
- 核查大模型的设计文档，查看大模型服务主体是否对模型进行标识；
- 核查采用何种技术措施对大模型系统进行标识；
- 测试验证模型标识是否有效。
j) 核查相关制度和培训记录，包括：
- 核查大模型服务主体是否制定对模型开发人员安全培训机制；
- 核查培训文档是否明确培训周期、培训方式、培训内容和考核；
- 核查培训记录是否定期对模型开发人员进行模型安全知识的培训；
- 核查安全责任和惩戒措施管理文档或培训文档是否包含具体的安全责任和惩戒措施。
6.2.3 结果判定
如果 6.2.2 均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
6.3 内容安全
6.3.1 测评指标
本单元的测评指标为：
- a) 应对大模型输入的文本、图片、音频、视频等内容中违法不良信息进行检测和过滤；
- b) 应建立输入内容合规合法的识别机制，拒绝回复包含违法不良信息或明显诱导生成违法不良信息的不合理输入，且进行有效正向引导，但对于其他输入应正常回答；
- c) 应对输出内容向使用者显示前进行安全检测，当检测到违法不良信息时，应能够阻止该内容的输出；
- d) 应提供用户反馈机制，允许用户报告不当或有害内容；
- e) 应在大模型生成内容的显示区域中或显示区域周边添加包含提示文字的显式标识，提示文字应至少包含“由人工智能生成”或“由 AI 生成”等信息；
- f) 应对大模型系统生成的图片和视频在画面中添加包含提示文字的显式标识，提示文字应至少包含“由人工智能生成”或“由 AI 生成”等信息；
- g) 宜对大模型系统生成的图片、音频和视频添加包含服务提供者名称或内容 ID 等信息的隐式提示标识；
- h) 当大模型系统生成的图片、音频和视频以文件形式输出时，应对文件元数据添加扩展字段标识，扩展字段内容应包含服务提供者名称、内容生成时间、内容 ID 等信息；
- i) 应与使用者签订协议，明确约定相关安全责任，并向使用者告知使用生成内容时可能存在的知识产权风险；
- j) 应建立常态化输出内容监测机制，对监测发现的安全问题及时处置并通过针对性的指令微调、强化学习等方式优化模型；
- k) 应建立内容安全持续优化更新机制，保证内容安全，提升内容的真实可信度。
6.3.2 测评实施
本单元的测评实施应包括以下内容。
a) 核查并测试大模型对输入的违法不良信息的检测和过滤情况，包括：
- 核查大模型系统设计文档，是否具备对用户输入的违法不良信息进行检测和过滤的机制；
- 核查大模型系统对输入的违法不良信息检测和过滤机制是否涵盖该系统支持的所有输入类型，如文本、图片、音频、视频等；
- 核查大模型系统对用户输入的违法不良信息进行检测和过滤的日志记录；
- 测试验证上述检测和过滤机制是否有效。
b) 核查并测试对大模型输入内容的识别和反馈情况，包括：
- 核查大模型系统设计文档，是否具备对输入内容合法合规情况的识别和反馈机制；
- 测试大模型系统是否能够对不合理输入采取拒绝回复、正向引导等措施，且对于其他输入正常回答。
c) 核查并测试大模型系统对输出内容的安全审核情况，包括：
- 核查大模型系统设计文档，是否要求在向用户显示前输出内容进行安全审核；
- 测试大模型系统是否可以在违法不良信息向用户显示前进行识别并阻止，可通过诱导式交互、查看模型输出日志记录等方式进行测试。
d) 核查并测试大模型系统的用户反馈机制，包括：
- 核查大模型系统是否提供了用户反馈途径，如交互窗口、电话、邮件等；
- 核查是否建立用户反馈处理机制，对处理用户反馈的责任部门、处理流程、处理方式、处理时效等进行规范；
- 测试验证反馈功能是否有效，大模型服务主体是否按照反馈处理机制及时处理用户反馈。
e) 核查并测试大模型系统对生成内容的标识情况，包括：
- 测试验证大模型系统是否在生成内容的显示区域中或显示区域周边添加显式文字提示标识；
- 核查添加的显式提示文字是否包含“由人工智能生成”或“由 AI 生成”等信息。
f) 核查并测试大模型系统对生成的图片和视频画面的标识情况，包括：
- 测试验证大模型系统是否对生成的图片和视频画面添加显式文字提示标识；
- 核查添加的显式提示文字是否包含“由人工智能生成”或“由 AI 生成”等信息。
g) 核查并测试大模型系统对生成的图片、音频和视频添加标识标识情况，包括：
- 测试验证大模型系统是否对生成的图片、音频和视频添加隐式提示标识；
- 核查添加的隐式提示标识是否包含服务提供者名称或内容 ID 等信息。
h) 核查并测试大模型系统对以文件形式输出的内容添加扩展字段标识情况，包括：
- 对于以文件形式输出的图片、音频和视频，测试验证是否对文件元数据添加扩展字段标识；
- 核查添加的扩展字段标识是否包含服务提供者名称、内容生成时间、内容 ID 等信息。
i) 核查是否与使用者签订协议，协议内容是否明确约定相关安全责任，并向使用者告知使用生成内容时可能存在的知识产权风险。
j) 核查大模型系统的常态化输出内容监测情况，包括：
- 核查是否建立输出内容监测机制，包括输出内容的记录、抽检及安全问题的发现、处置、追踪、分析等环节；
- 核查是否针对监测发现的安全问题，通过指令微调、强化学习等方式优化模型。
k) 核查内容安全持续优化更新机制，包括：
- 核查是否建立内容安全持续优化管理流程，包括对违法不良内容检测过滤能力和模型输出内容真实性的定期评估，及按照评估结果进行优化等；
- 核查是否根据定期评估结果，提升违法不良内容检测过滤能力；
3）核查是否根据定期评估结果，通过指令微调、强化学习等方式提升大模型输出内容的安全性和真实性。
6.3.3 结果判定
如果 6.3.2 均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
7 测试安全测评要求
7.1 模型评估
7.1.1 测评指标
本单元的测评指标为：
- a) 应定期对大模型系统进行安全性评估，包括模型对抗性测试、生成内容安全评估、系统稳定性评估等；
- b) 应针对大模型系统的风险进行识别和定义，并根据风险类型和危害程度对风险进行分类分级，风险包括但不限于违法不良信息、歧视性内容、商业违法违规内容、侵犯他人合法权益、特定服务类型下内容不准确、不可靠以及对抗性攻击等；
注：对抗性攻击指攻击者通过提示注入攻击、对抗性样本为主的攻击形式诱导模型生成违法不良信息。
- c) 应结合识别出的风险情况构建大模型系统安全评估体系，包括评估场景、评估维度、评估指标、评估数据集、评估人员、评估工具、评估环境、评估执行和评估结果反馈等；
- d) 应根据安全风险评估任务的需求，综合考虑合规性、全面性、代表性、非重复性、可用性以及及时性等方面构建评估数据集；
- e) 应采用密码技术保证评估数据集中重要的数据在传输和存储过程中的保密性，并对评估数据的访问进行严格控制；
- f) 在委托第三方机构进行模型评估时，评估前应与评估机构和人员签署委托书、保密协议、授权书等；
- g) 应对评估工具进行充分测试，并采取手段减小测试误差；
- h) 应对评估工具设置完善的身份鉴别和访问控制机制；
- i) 在采用人工评估方式时，应采用两名以上的评估人员对模型的输出结果进行独立核验，确保评估的公平性和一致性。
7.1.2 测评实施
本单元的测评实施应包括以下内容。
a) 核查大模型系统安全评估记录，是否定期开展，评估内容是否包括模型对抗性测试、生成内容安全评估和系统稳定性评估等。
b) 核查大模型系统的风险识别和定义情况，包括：
- 核查大模型系统的安全风险清单，是否对大模型系统面临的明确风险进行识别和定义，是否根据风险类型和危害程度对安全风险进行分类分级；
- 核查安全风险清单是否包括违法不良信息、歧视性内容、商业违法违规内容、侵犯他人合法权益、特定服务类型下内容不准确、不可靠以及对抗性攻击等主要安全风险。
c) 核查大模型系统安全评估体系的构建情况，包括：
- 核查大模型系统安全评估说明类文档或相关系统，是否结合识别出的不同类型风险构建安全评估体系；
2）核查大模型系统安全评估说明等文档，是否对评估场景、评估维度、评估指标、评估数据集、评估人员、评估工具、评估环境、评估执行和评估结果反馈等进行说明。
d) 核查评估数据集的构建情况，包括：
- 核查评估数据集构建策略或大模型评估报告，评估数据集是否符合合规性要求，包括合规的数据处理活动、敏感个人信息的单独授权同意以及涉及知识产权相关数据的备案机制；
- 核查评估数据集构建策略或大模型安全评估报告，评估数据集是否符合全面性要求，评估数据集的总体规模是否能够覆盖所有的安全风险评估内容；
- 核查评估数据集构建策略或大模型评估报告，评估数据集是否符合代表性要求，在通用类大模型系统场景，每一种安全风险是否具备适当数量的评估题目，在特定服务类型的大模型系统场景，每一种行业特性安全风险是否具备适当数量的评估题目；
- 核查评估数据集构建策略或大模型评估报告，评估数据集是否符合非重复性要求，对比评估数据集与训练集的数据清单，核查评估数据集是否已排除用于训练的数据；
- 核查评估数据集构建策略或大模型评估报告，评估数据集是否符合可用性要求，核查评估数据集构建是否考虑避免数据语义错误或数据间相互矛盾；
- 核查评估数据集构建策略或大模型评估报告，评估数据集是否符合时效性要求，核查评估数据集的日息，是否定期根据法律法规和模型重大更新对数据集进行更新。
e) 核查评估数据集中重要的数据的保密和访问控制情况，包括：
- 核查评估数据集中重要的数据的传输和存储等环节是否采用密码技术进行保护；
- 核查是否使用技术手段实现对评估数据集中重要的数据的访问控制，只授予评估人员完成工作所需的最小权限。
f) 核查第三方机构开展模型评估时的控制管理情况，包括：
- 核查是否与第三方机构签署委托书、保密协议以及授权书等文档；
- 核查委托书、保密协议以及授权书等文档是否明确评估人员的授权许可范围、安全责任和义务。
g) 核查评估工具的测试情况，包括：
- 核查评估工具测试文档，是否包括对于测试误差的允许误差范围和校准方法；
- 核查评估工具测试记录文档，是否对评估工具开展全面测试以避免由于内外部因素导致评估结果不一致、不可信，是否针对工具存在的测试误差进行校准。
h) 核查并测试评估工具的身份鉴别和访问控制机制，包括：
- 核查评估工具是否具有开启身份鉴别功能；
- 核查评估工具是否按照最小权限原则设置了访问控制策略；
- 测试验证评估工具身份鉴别和访问控制功能的有效性。
i) 如采用人工评估，核查评估相关文档和记录，包括：
- 核查大模型安全评估规程和管理规范等相关文档，是否明确规定采用人工评估时，需要至少两名以上的评估人员对输出结果进行独立核验；
- 核查大模型安全评估记录文档，是否由两名以上评估人员对输出结果进行核验。
7.1.3 结果判定
如果 7.1.2 均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
7.2 模型更新
7.2.1 测评指标
本单元的测评指标为：
- a) 应建立模型更新管理制度，制定模型更新、升级时的安全策略；
- b) 应在模型重要更新、升级等变更后，再次进行安全评估；
- c) 应设置模型更新安全校验机制，在升级前对升级包文件进行安全校验，并对校验过程进行安全审计；
- d) 应建立模型备份机制，在升级前对模型文件进行备份，升级过程中出现文件损坏丢失的情况可立刻退回备份点；
- e) 在对模型进行更新、升级等变更时，应及时对安全配置文件进行必要更新。
7.2.2 测评实施
本单元的测评实施应包括以下内容。
- a) 核查模型更新管理制度和升级安全策略，是否包括模型更新前期安全校验、模型文件备份以及模型更新后的安全评估等内容。
- b) 核查模型安全评估记录，是否按照模型更新管理制度在重要更新、升级等变更后开展安全评估。
- c) 核查模型更新安全校验机制，包括：
- 核查模型文件安全校验功能，是否采用完整性校验或者密码技术对模型文件的完整性进行保护；
- 核查文件安全校验过程审计记录，是否包括模型更新时间、版本及关键操作记录。
- d) 核查模型备份机制，包括：
- 核查模型管理规范等相关文档，是否明确规范模型升级前对原模型文件进行备份；
- 核查模型升级预案或备份日志，是否按照备份方案执行模型备份。
- e) 核查模型更新安全策略文档，是否要求在模型进行更新、升级等变更时，及时对安全配置文件进行必要更新。
7.2.3 结果判定
如果 7.2.2 均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
8 部署与运行安全测评要求
8.1 模型部署
8.1.1 测评指标
本单元的测评指标为：
- a) 应指定部门或人员负责模型部署过程中的安全管理，制定安全部署方案，明确部署过程中的权限控制、质量控制、安全审计等内容；
- b) 应由授权的人员根据方案实施模型的部署，部署过程中应进行安全配置，包括仅开放必要的端口、对人员和系统按照最小必要原则授权、启动安全功能等；
- c) 模型正式运行之前，应当自行或授权专业机构进行安全性测试，测试内容包括但不限于内容安全、模型安全、算法安全、数据安全等以及其他常见安全漏洞和隐患；
- d) 应针对安全性测试发现的安全问题进行加固和优化，保障系统安全。
8.1.2 测评实施
本单元的测评实施应包括以下内容。
a） 核查并测试模型部署过程中的安全管理情况，包括：
1） 核查部门或人员岗位职责文档，是否指定部门或人员负责模型部署过程中的安全管理；
2） 核查模型安全部署方案是否包括权限控制、质量控制、安全审计等内容。
b） 核查安全部署方案的实施情况，包括：
1） 核查实施后模型，确认实际部署情况是否与安全部署方案一致；
2） 核查实施后模型，确认是否对人员和系统的访问控制权限按照最小必要原则进行了授权；
3） 核查实施后模型，确认是否仅开放了必要的端口和启动了安全功能。
c） 核查上线前安全测试报告，确认测试内容是否包括内容安全、模型安全、算法安全、数据安全以及其他常见安全漏洞和隐患。
d） 核查并测试安全问题整改情况，包括：
1） 核查是否具备针对测试发现的脆弱点进行加固和优化的相关记录；
2） 测试验证系统，确认采取的加固和优化措施是否有效。
8.1.3 结果判定
如果8.1.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
8.2 攻击检测
8.2.1 测评指标
本单元的测评指标为：
a） 应能够检测模型窃取攻击、数据重构攻击、提示注入攻击并采取相应措施；
b） 应能够检测后门攻击、漏洞攻击、拒绝服务攻击并采取相应措施；
c） 应采取技术措施对模型训练过程的攻击行为进行检测，记录攻击源 IP 地址、攻击类型、攻击目的、攻击时间，在发生严重入侵事件时应提供报警；
d） 应采取技术措施对模型推理过程的攻击行为进行检测，记录攻击源 IP 地址、攻击类型、攻击目的、攻击时间，在发生严重入侵事件时应提供报警；
e） 应记录对模型调用过程中的系统行为和用户行为信息，包括主体、行为、对象、时间、结果等信息。
8.2.2 测评实施
本单元的测评实施应包括以下内容。
a） 核查并测试模型对攻击的防范处置情况，包括：
1） 核查以往攻击处置记录，是否能对模型窃取攻击、数据重构攻击、提示注入攻击进行检测和处置；
2） 测试验证系统，确认是否能够检测到窃取攻击、数据重构攻击、提示注入攻击等攻击行为并及时处置，处置方式可是报警、阻断等。
b） 核查并测试系统对攻击的防范处置情况，包括：
1） 核查以往攻击处置记录，是否能对后门攻击、漏洞攻击、拒绝服务攻击进行检测和处置；
2） 测试验证系统，确认是否能够检测到后门攻击、漏洞攻击、拒绝服务攻击等攻击行为并及时处置，处置方式可是报警、阻断等。
c） 核查模型训练过程中攻击行为检测的情况，包括：
1） 核查相关系统或组件是否能够对模型训练过程的攻击行为进行检测，如数据投毒攻击、模型投毒攻击、隐私攻击等；
2） 核查相关系统或组件的记录是否包括攻击源 IP 地址、攻击类型、攻击目标、攻击时间等相关内容，并提供报警功能。
d） 核查模型推理过程中攻击行为检测的情况，包括：
1） 核查相关系统或组件是否能够对模型推理过程的攻击行为进行检测，如成员推理攻击、逆向工程攻击、输入操纵攻击、防御规避攻击、模型提取攻击等；
2） 核查相关系统或组件的记录是否包括攻击源 IP 地址、攻击类型、攻击目标、攻击时间等相关内容，并提供报警功能。
e） 核查模型调用过程的安全审计情况，包括：
1） 核查是否具备对模型的调用过程中的系统行为和用户行为信息的相关记录；
2） 核查记录信息是否包括主体、行为、对象、时间、结果等信息。
8.2.3 结果判定
如果8.2.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
8.3 运行监测
8.3.1 测评指标
本单元的测评指标为：
a） 应能对业务运行状况进行监测，包括但不限于风险率、拒答率、正确率、回复相关性、投诉量、响应时间等内容，一旦发现业务异常情况及时预警；
b） 应对大模型系统的资源使用情况进行持续性监测，包括但不限于计算资源占用率、内存资源占用率、存储资源占用率、网络带宽占用率等，一旦发现资源使用异常情况及时预警；
c） 应采集大模型系统中各运行设备的日志，运用如机器学习、统计分析或构建基线等方法，及时发现网络中潜藏的网络攻击。
8.3.2 测评实施
本单元的测评实施应包括以下内容。
a） 核查对业务运行状况进行监测的情况，包括：
1） 核查是否具有对业务运行状况的监测功能，监测指标是否覆盖关键监测指标，如风险率、拒答率、正确率、回复相关性、投诉量、响应时间等；
2） 核查是否具有近期历史监测记录；
3） 核查是否具有异常情况的预警功能；
4） 测试验证业务异常时，监测、预警机制是否有效。
b） 核查对大模型系统资源使用进行监测的情况，包括：
1） 核查是否具有对大模型系统资源使用情况的监测功能，监测指标是否覆盖关键监测指标，如计算资源占用率、内存资源占用率、存储资源占用率、网络带宽占用率等；
2） 核查是否具有近期历史监测记录；
3） 核查是否具有异常情况的预警功能；
4） 测试验证系统资源使用异常时，预警机制是否有效。
c） 核查并测试大模型系统对运行设备日志的采集和分析情况，包括：
1） 核查是否应用相关的技术手段或工具采集大模型系统中各运行设备的日志；
2） 核查是否应用相关的技术手段或工具对采集的日志进行分析，如采用机器学习、统计分析、基线等方法进行分析；
3） 测试验证是否能通过日志分析及时发现网络中潜藏的网络攻击。
8.3.3 结果判定
如果8.3.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
8.4 系统管理
8.4.1 测评指标
本单元的测评指标为：应指定专门的部门或人员对大模型系统的用户账户进行管理，包括但不限于账户注册、申请、封禁、解封等环节。
8.4.2 测评实施
本单元的测评实施应核查并测试对大模型系统的用户账户管理的情况，包括：
a） 核查是否具有大模型系统的用户账户管理相关规范，包括但不限于账户注册、申请、封禁、解封等重要环节；
b） 核查部门或人员岗位职责文档，是否指定专门的部门或人员负责大模型系统的用户账户管理；
c） 测试验证账户注册、申请、封禁、解封等重要环节是否与大模型系统用户账户管理规范一致。
8.4.3 结果判定
如果8.4.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
8.5 变更管理
8.5.1 测评指标
本单元的测评指标为：
a） 应将模型重新训练、优化训练纳入变更管理事项，并建立模型更新、升级的变更控制程序，包括但不限于对变更后的模型进行安全评估、按规定向主管部门重新备案等；
b） 应制定内容审核变更流程，详细记录审核策略、审核流程、审核人员等变更过程，包括变更事由、审核策略的设置和修改等内容。
8.5.2 测评实施
本单元的测评实施应包括以下内容。
a） 核查模型变更控制的情况，包括：
1） 核查是否建立对模型重新训练、优化训练的变更控制流程；
2） 核查模型更新、升级的变更控制程序是否规定了模型变更后进行安全评估、当发生重大变更时按规定向主管部门重新备案等内容；
3） 核查是否有相关变更记录、变更后安全评估报告和备案记录等。
b） 核查内容审核变更控制的情况，包括：
1） 核查是否建立内容审核变更控制流程，变更事项包括但不限于审核策略、审核流程、审核人员等；
2） 核查内容审核相关变更记录是否详细记录变更流程，包括变更事由、审核策略的设置和修改等内容。
8.5.3 结果判定
如果8.5.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
8.6 安全事件处置
8.6.1 测评指标
本单元的测评指标为：
a） 应建立安全事件管理制度，对安全事件分类分级和处置流程等进行规范，安全事件包括但不限于模型被窃取或篡改、模型参数或训练数据泄露、用户数据泄露等；
b） 发现生成违法不良信息或个人信息泄露的，应及时采取停止生成、停止传输、关停服务或消除影响等处置措施；
c） 应制定因模型偏好引发的安全事件的修复策略，例如重新训练、优化训练、参数调整或策略优化等。
8.6.2 测评实施
本单元的测评实施应包括以下内容。
a） 核查是否制定安全事件管理制度，覆盖模型被窃取或篡改、模型参数或训练数据泄露、用户数据泄露等安全事件的分类分级、处置流程等内容。
b） 核查信息相关安全事件的处置情况，包括：
1） 核查是否能够及时发现不良信息输出或个人信息泄露安全事件；
2） 核查发生不良信息或个人信息泄露的安全事件时是否具有相应处置措施，如停止生成、停止传输、关停服务或消除影响等措施；
3） 核查安全事件处置记录是否包含安全事件报告对象、类型、可能影响范围、事件报告流程、处置措施、通报方式和通报时间等内容。
c） 核查因模型偏好引发的安全事件的处置情况，包括：
1） 核查是否设置因模型偏好引发的安全事件的修复策略；
2） 核查修复策略是否明确相应处置措施，例如重新训练、优化训练、参数调整、策略优化等。
8.6.3 结果判定
如果8.6.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
8.7 应急预案管理
8.7.1 测评指标
本单元的测评指标为：
a） 应制定大模型业务相关安全事件的应急预案，包括但不限于训练数据泄露、模型泄露、模型被篡改、生成内容中包含违法不良信息等，明确相关安全事件的应急处理流程、系统恢复流程等内容；
b） 应定期对大模型系统相关人员进行应急预案培训，并进行应急预案的演练；
c） 应定期对原有的应急预案重新评估，修订完善。
8.7.2 测评实施
本单元的测评实施应包括以下内容。
a） 核查安全事件应急预案的内容，包括：
1） 核查是否制定有大模型业务相关安全事件的应急预案，涉及的安全事件场景包括但不限于训练数据泄露、模型泄露、模型被篡改、生成内容中包含违法不良信息等；
2） 核查大模型业务相关安全事件的应急预案是中否明确相关安全事件的应急处理流程、系统恢复流程。
b） 核查应急预案培训与演练的情况，包括：
1） 核查应急预案培训记录，相关记录是否包括培训对象、培训时间、培训方式、培训考核等内容；
2） 核查应急演练过程记录，相关记录是否包括演练开展的时间和次数、参与人员、职责分工、活动过程记录等内容；
3） 核查近两次应急预案的培训和演练记录，是否定期开展应急预案培训和演练。
c） 核查近两次应急预案的评估和修订记录，是否定期对应急预案重新评估或修订完善。
8.7.3 结果判定
如果8.7.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
9 退役安全测评要求
9.1 模型退役
9.1.1 测评指标
本单元的测评指标为：
a） 应建立模型退役管理流程，并综合考虑相关各方需求设置合理的退役时间周期；
b） 应将模型的退役及时通知利益相关方，以便他们能够做出相应的调整；
c） 应对模型退役过程中的系统稳定性、模型服务、业务影响等开展技术验证；
d） 应对退役的模型文件、特征数据、算法输出、实例数据等进行归档保存，归档时间应符合国家相关规定；
e） 应对模型退役过程开展安全审计，并妥善保存退役过程记录。
9.1.2 测评实施
本单元的测评实施应包括以下内容。
a） 核查模型退役管理流程的情况，包括：
1） 核查是否建立模型退役管理流程，退役流程是否明确应综合考虑相关各方需求设置退役时间周期；
2） 核查模型退役管理流程是否包括模型退役因素、审批程序、退役评估、退役时间周期等。
b） 核查模型退役是否通过邮件、公告、即时通信等方式通知利益相关方，通知内容是否包括模型退役下线时间、模型退役下线原因和后续措施等。
c） 核查是否对模型退役过程中的系统稳定性、模型服务、业务影响等开展技术验证。
d） 核查归档文件是否包括模型退役的模型文件、特征数据、算法输出、实例数据等，归档时间是否符合国家相关规定。
e） 核查是否保存退役过程记录，记录内容是否包括退役过程的操作日志、操作记录、审批记录等。
9.1.3 结果判定
如果9.1.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
9.2 数据删除
9.2.1 测评指标
本单元的测评指标为：
a） 对于经综合评估后确定需要删除的数据，应采取措施确保删除后不能被恢复，例如物理销毁、重复覆写或多次格式化等；
b） 应在模型退役下线后，对该模型涉及的个人信息进行删除或匿名化处理，个人信息主体授权同意用于其他用途的除外。
9.2.2 测评实施
本单元的测评实施应包括：
a） 对于经综合评估后确定需要删除的数据，核查是否采取技术措施确保删除的数据不能被恢复，例如物理销毁、重复覆写或多次格式化等；
b） 核查模型退役下线后模型涉及的个人信息是否进行删除或匿名化处理，个人信息主体授权同意用于其他用途的除外。
9.2.3 结果判定
如果9.2.2均为肯定，则符合本单元测评指标要求，否则不符合或部分符合本单元测评指标要求。
10 测评结论判定
10.1 分类测评结果
大模型系统安全测评报告可以给出大模型系统在物理环境、网络架构等各控制点的单元测评结果，并基于单元测评结果给出在通用安全和各生命周期环节的各个分类测评结果。
结合测评单元中各测评指标的重要程度和测评实施符合情况，经过算术加权计算，可以给出各个测评单元的单元测评结果。
汇总各测评单元结果，经过算术加权计算，可以给出各个方面的分类测评结果。
10.2 风险分析和评价
大模型系统安全测评报告应对测评结果中的不符合项或部分符合项进行风险分析和评价。
采用风险分析的方法对单元测评结果中存在的不符合项或部分符合项，分析所产生的安全问题被威胁利用的可能性，判断其被威胁利用后对业务安全、服务安全和系统自身安全造成影响的程度，综合评价这些不符合项或部分符合项对大模型系统对象造成的安全风险。
10.3 测评结论判定
大模型系统安全测评报告给出大模型系统安全测评结论，判定大模型系统对象与 T/ISEAA 005—2024 的符合程度。
应结合各个分类的测评结果和不符合项或部分符合项的测评结果的风险分析给出安全测评结论。
符合：大模型系统中未发现安全问题，测评结果中所有分类测评结果均为满分。
基本符合：大模型系统中存在安全问题，测评结果中分类测评结果不全为满分，但存在的安全问题不会导致大模型系统面临高等级安全风险，且综合得分不低于阈值。
不符合：大模型系统中存在安全问题，测评结果中分类测评结果不全为满分，而且存在的安全问题会导致大模型系统面临高等级安全风险，或者中低风险所占比例超过阈值。
参 考 文 献
[1] GB/T 28448—2019 信息安全技术 网络安全等级保护测评要求
[2] GB/T 35273—2020 信息安全技术 个人信息安全规范
[3] GB/T 42888—2023 信息安全技术 机器学习算法安全评估规范
[4] 中华人民共和国网络安全法（2016 年 11 月 7 日第十二届全国人民代表大会常务委员会第二十四次会议通过）
[5] 生成式人工智能服务管理暂行办法（2023 年 7 月 10 日国家互联网信息办公室 中华人民共和国国家发展和改革委员会 中华人民共和国教育部 中华人民共和国科学技术部 中华人民共和国工业和信息化部 中华人民共和国公安部 国家广播电视总局令第 15 号公布）
[6] 网络信息内容生态治理规定（2019 年 12 月 15 日国家互联网信息办公室令第 5 号公布）
[7] TC260-003 生成式人工智能服务安全基本要求
中关村信息安全测评联盟
团体标准
大模型系统安全测评要求
T/ISEAA 006—2024
中国标准出版社出版发行
北京市朝阳区和平里西街甲 2 号（100029）
北京市西城区三里河北街 16 号（100045）
总编室：（010）68533533 发行中心：（010）51780238
读者服务部：（010）68523946
中国标准出版社秦皇岛印刷厂印刷
各地新华书店经销
开本 880×1230 1/16 印张 2.5 字数 67 千字
2024 年 6 月第一版 2024 年 6 月第一次印刷
书号：155066 · 5-8112 定价 70.00 元
如有印装差错 由本社发行中心调换
版权专有 侵权必究
举报电话：（010）68510107
（条形码，其下标注）T/ISEAA 006—2024