# T/ISEAA 005-2024 大模型系统安全保护要求

> T/ISEAA 005-2024 大模型系统安全保护要求全文转换稿（共 17 页）。等保测评、整改与合规工作时按条款溯源的原文参考；正式引用请核对官方发布版本。

---

LLMS index: [llms.txt](/wikis/llms.txt)

---

> **来源与版权**：本页为本地转换稿（源文件 `T_ISEAA 005-2024 大模型系统安全保护要求.pdf`，共 17 页），版权归标准发布机构所有，仅供学习与测评工作参考，正式引用请核对官方发布版本。详见 [版权声明](/wikis/docs/%E6%A0%87%E5%87%86%E4%B8%8E%E8%A7%84%E8%8C%83/%E7%89%88%E6%9D%83%E5%A3%B0%E6%98%8E/)。

ICS 35.040

CCS L 80

T

# 团 体 标 准

T/ISEAA 005—2024

# 大模型系统安全保护要求

Security protection requirements for large model system

2024-04-30 发布

2024-06-01 实施

中关村信息安全测评联盟　　发 布

中国 标 准 出 版 社　　出 版

# 目　　次

前言 ·····································································································Ⅲ

引言 ·····································································································Ⅳ

1　范围 ······································································································1

2　规范性引用文件 ······················································································1

3　术语和定义 ······························································································1

4　概述 ······································································································1

　　4.1　大模型系统架构 ··················································································1

　　4.2　大模型系统安全 ··················································································2

5　通用安全要求 ····························································································3

　　5.1　物理环境 ···························································································3

　　5.2　网络架构 ···························································································3

　　5.3　边界防护 ···························································································3

　　5.4　身份鉴别 ···························································································4

　　5.5　访问控制 ···························································································4

　　5.6　安全审计 ···························································································4

　　5.7　入侵防范 ···························································································5

　　5.8　恶意代码防范 ······················································································5

　　5.9　集中管控 ···························································································5

　　5.10　供应链管理 ·······················································································5

　　5.11　个人信息保护 ·····················································································6

　　5.12　数据安全保护 ·····················································································6

　　5.13　备份恢复 ··························································································6

　　5.14　数据溯源 ··························································································6

6　设计开发安全要求 ······················································································6

　　6.1　数据处理 ···························································································6

　　6.2　模型保护 ···························································································7

　　6.3　内容安全 ···························································································8

7　测试安全要求 ····························································································8

　　7.1　模型评估 ···························································································8

　　7.2　模型更新 ···························································································9

8　部署与运行安全要求 ····················································································9

　　8.1　模型部署 ···························································································9

　　8.2　攻击检测 ···························································································9

　　8.3　运行监测 ·····················································································10

　　8.4　系统管理 ·····················································································10

　　8.5　变更管理 ·····················································································10

　　8.6　安全事件处置 ·················································································10

　　8.7　应急预案管理 ·················································································10

9　退役安全要求 ························································································11

　　9.1　模型退役 ······················································································11

　　9.2　数据删除 ······················································································11

参考文献 ································································································12

# 前　　言

本文件按照 GB/T 1.1—2020《标准化工作导则　第 1 部分：标准化文件的结构和起草规则》的规定起草。

本文件由中关村信息安全测评联盟提出并归口。

本文件起草单位：公安部第三研究所、北京百度网讯科技有限公司、蚂蚁科技集团股份有限公司、浙江大学、北京天融信网络安全技术有限公司、启明星辰信息技术集团股份有限公司、快手科技有限公司、上海商汤智能科技有限公司、北京远鉴信息技术有限公司、华为技术有限公司、阿里云计算有限公司、深信服科技股份有限公司、科大讯飞股份有限公司、北京百川智能科技有限公司、北京小桔科技有限公司、优刻得科技股份有限公司、浙江君同智能科技有限责任公司。

本文件主要起草人：袁静、文煜乾、张国鹏、刘楠、刘金鑫、陆臻、陈广勇、苏艳芳、刘继顺、郭建领、唐佳伟、李荣昌、杨剑、邵英杰、谷晨、徐浩、郑榕、王翼、蒋发群、孙钰娆、严敏瑞、孙勇、叶润国、常炳涛、张宏达、樊玉杰、冯明、韩蒙、林祎廷。

# 引　　言

为规范大模型系统安全保护工作的开展，对大模型系统设计、开发、测试、部署、运行、退役等环节涉及的安全保护提出详细的指导，帮助主管部门、网络运营者及大模型开发者对大模型及大模型系统开展安全保护工作，特制定本文件。

本文件是大模型系统安全保护相关系列标准之一。

与本文件相关的标准包括：

——T/ISEAA 006—2024　大模型系统安全测评要求。

# 大模型系统安全保护要求

## 1　范围

本文件规定了大模型系统的通用安全以及设计开发、测试、部署与运行以及退役等阶段的全生命周期安全的保护要求。

本文件适用于指导开发者及运营者对大模型及大模型系统进行全生命周期安全保护，大模型系统安全保护的其他方参考使用。

## 2　规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T 22239—2019　信息安全技术　网络安全等级保护基本要求

GB/T 25069　信息安全技术　术语

## 3　术语和定义

GB/T 22239、GB/T 25069 界定的以及下列术语和定义适用于本文件。

### 3.1

**大模型　large model**

基于大量数据集训练得到的，具备大参数量、复杂结构的机器学习模型。

### 3.2

**大模型服务　large model service**

基于数据、算法、模型、规则，能够根据使用者提示生成文本、图片、音频、视频等内容的人工智能服务。

注：大模型服务根据行业应用分为通用大模型服务和行业大模型服务。

### 3.3

**大模型系统　large model system**

由计算机或者其他信息终端及相关设备组成的按照一定的规则和程序，基于大模型进行数据处理或提供大模型服务的系统或平台。

## 4　概述

### 4.1　大模型系统架构

大模型系统可抽象为基础设施层、平台层、模型层和应用层，如图 1 所示。

| 应用层 | 应用服务 |  |  |
| 应用层 | 应用数据 |  |  |
| 模型层 | 模型库 | 基础大模型 | 行业大模型 |
| 模型层 | 模型库 | 专属大模型 | …… |
| 模型层 | 模型管理 | 版本维护 | 模型溯源 |
| 模型层 | 模型管理 | 权限控制 | …… |
| 平台层 | 平台服务 | 模型调优 | 模型交付 |
| 平台层 | 平台服务 | 服务运营 | …… |
| 平台层 | 数据服务 | 公开数据集 | 私有数据集 |
| 平台层 | 数据服务 | 数据工程 | …… |
| 基础设施层 | 计算 | 网络 | 存储 | …… |

图 1　大模型系统参考架构

基础设施层为大模型系统提供算力支持，可直接提供灵活调用的智能算力服务，降低模型落地的算力门槛，一般包括计算、网络、存储等资源。

平台层为模型定制提供全套的工具链及全流程管理功能，包括平台服务和数据服务两部分。平台服务包括但不限于模型调优、模型交付、服务运营等；数据服务包括但不限于提供数据集、数据工程等。平台层可搭载基础设施以公有服务方式直接对用户提供服务，也可以私有化方式部署，供内部员工定制场景专属模型。

模型层为用户提供可直接调用的模型服务，该层具备丰富的模型库并提供模型管理功能。模型库包括通用的大模型、行业大模型、多模态大模型以及经过平台层精调后的专属大模型等；模型管理包括对模型的版本维护、部署、权限控制等。

应用层作为框架的最顶层，为用户提供面向细分场景的垂直应用及大模型应用的定制开发，可通过 Agent、RAG、GPTs、API 等模式对外提供服务。用户可直接使用某场景下的智能应用，也可基于模型服务打造自己的智能体应用。

## 4.2　大模型系统安全

大模型系统全生命周期一般包括设计开发、测试、部署、运行、退役等几个阶段。其中测试阶段主要是对大模型及大模型系统进行安全测试，既包括设计开发阶段中对大模型业务功能和安全功能的测试验证，也包括大模型系统上线运行前和正式运行过程中的安全测试。

大模型系统安全包括通用安全和全生命周期安全。通用安全作为大模型系统安全的基础安全，从物理环境、网络架构、边界防护、身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范、集中管控、供应链管理、个人信息保护、数据安全保护、备份恢复、数据溯源等方面提出安全要求；全生命周期安全覆盖设计开发安全要求、测试安全要求、部署与运行安全要求、退役安全要求。大模型系统安全涉及内容如图 2 所示。

|  | 全生命周期安全 |  |  |
| --- | --- | --- | --- |
| 设计开发安全要求 | 部署与运行安全要求 |  | 退役安全要求 |
| 设计开发安全要求 | 部署与运行安全要求 |  | 退役安全要求 |
| 数据处理 | 模型部署 | 攻击检测 | 模型退役 |
| 模型保护 | 运行监测 | 系统管理 | 数据删除 |
| 内容安全 | 变更管理 | 安全事件处置 |  |
|  | 应急预案管理 |  |  |
| 测试安全要求 | 模型评估 | 模型更新 |  |
|  | 通用安全 |  |  |
| 物理环境 | 网络架构 | 边界防护 | 身份鉴别 | 访问控制 | 安全审计 | 入侵防范 |
| 恶意代码防范 | 集中管控 | 供应链管理 | 个人信息保护 | 数据安全保护 | 备份恢复 | 数据溯源 |

图 2　大模型系统安全

## 5　通用安全要求

### 5.1　物理环境

物理环境安全要求包括：

a）应设置机房防盗报警系统或设置有专人值守的视频监控系统；

b）应设置冗余或并行的电力电缆线路为计算机系统供电；

c）大模型系统基础设施宜位于中国境内。

### 5.2　网络架构

网络架构安全要求包括：

a）应保证网络设备的业务处理能力满足业务高峰期需要；

b）应保证网络各个部分的带宽满足业务高峰期需要；

c）应划分不同的网络区域，并按照方便管理和控制的原则为各网络区域分配地址；

d）应避免将重要网络区域部署在边界处，重要网络区域与其他网络区域之间应采取可靠的技术隔离手段；

e）应提供通信线路、关键网络设备和关键计算设备的硬件冗余，保证系统的可用性，满足大模型应用场景下的高算力需求。

### 5.3　边界防护

边界防护安全要求包括：

a）应保证跨越边界的访问和数据流通过边界设备提供的受控接口进行通信；

b）应能够对非授权设备私自联到内部网络的行为进行检查或限制；

c）应能够对内部用户非授权联到外部网络的行为进行检查或限制。

## 5.4　身份鉴别

身份鉴别安全要求包括：

a）应对登录的用户进行身份标识和鉴别，身份标识具有唯一性，身份鉴别信息具有复杂度要求并定期更换；

b）应具有登录失败处理功能，应配置并启用结束会话、限制非法登录次数和当登录连接超时自动退出等相关措施；

c）当进行远程管理时，应采取必要措施防止鉴别信息在网络传输过程中被窃听；

d）提供大模型服务的主体应在服务过程中利用密码技术验证模型服务请求主体的身份；

e）提供大模型服务的主体应对模型训练人员、应用开发人员、运维人员等重要岗位人员进行基于口令、密码技术、生物技术等两种或两种以上组合的身份鉴别，且其中一种鉴别技术至少应使用密码技术来实现。

## 5.5　访问控制

访问控制安全要求包括：

a）应在网络边界或区域之间根据访问控制策略设置访问控制规则，默认情况下除允许通信外受控接口拒绝所有通信；

b）应删除多余或无效的访问控制规则，优化访问控制列表，并保证访问控制规则数量最小化；

c）应对源地址、目的地址、源端口、目的端口和协议等进行检查，以允许/拒绝数据包进出；

d）应能根据会话状态信息为进出数据流提供明确的允许/拒绝访问的能力；

e）应对进出网络的数据流实现基于应用协议和应用内容的访问控制；

f）应重命名或删除默认账户，修改默认账户的默认口令；

g）应及时删除或停用多余的、过期的账户，避免共享账户的存在；

h）应授予业务用户和管理用户所需的最小权限，实现管理用户的权限分离，并定期审计用户权限，删除不必要的权限；

i）应支持对访问大模型的使用者实施分级别的访问控制策略；

j）应对访问大模型的外部 API 和插件等实施白名单管理，不在白名单中的一律禁止访问；

k）应通过白名单机制设置大模型可以调用的外部 API 和插件等；

l）应遵循最小权限原则，将大模型对平台层服务资源的访问权限实施控制，限制为其预期操作所需的最低访问级别。

## 5.6　安全审计

安全审计安全要求包括：

a）应在网络边界、重要网络节点、计算节点进行安全审计，审计覆盖到每个管理用户，对重要的用户行为和重要安全事件进行审计；

b）应对模型训练人员、应用开发人员、运维人员等重要岗位的重要操作行为进行安全审计；

c）应对数据收集、标注、处理以及模型训练、服务活动进行安全审计；

d）审计记录应包括事件的日期和时间、用户、事件类型、事件是否成功及其他与审计相关的信息；

e）模型训练和推理中，应对涉及敏感数据的行为进行安全审计，审计内容包括数据敏感程度、数据使用情况、训练模型、生成结果以及使用具体目的等；

f）应对审计记录进行保护，定期备份，留存相关日志数据不少于 6 个月，避免受到未预期的删除、修改或覆盖等。

## 5.7　入侵防范

入侵防范安全要求包括：

a）应检测、防止或限制从外部发起的对计算节点、存储节点、网络设备和安全设备的网络攻击行为；

b）应检测、防止或限制从内部发起的对计算节点、存储节点、网络设备和安全设备的网络攻击行为；

c）应采取技术措施对网络行为进行分析，实现对网络攻击特别是新型网络攻击行为的分析；

d）当检测到攻击行为时，记录攻击源 IP 地址、端口、攻击类型、攻击目标、攻击时间，在发生严重入侵事件时应提供报警；

e）操作系统和数据库应遵循最小安装的原则，仅安装需要的组件或应用程序；

f）网络设备、安全设备、操作系统和数据库应关闭不需要的系统服务、默认共享或高危端口；

g）应通过设定终端接入方式或网络地址范围对通过网络进行管理的管理终端进行限制；

h）应能发现可能存在的漏洞，并在经过充分测试评估后，及时修补漏洞。

## 5.8　恶意代码防范

应采用免受恶意代码攻击的技术措施及时识别主机入侵和病毒行为，并将其有效阻断。

## 5.9　集中管控

集中管控安全要求包括：

a）应划分出特定的管理区域，对分布在网络中的安全设备或安全组件进行管控；

b）应能够建立一条安全的信息传输路径，对网络中的安全设备或安全组件进行管理；

c）应对网络链路、安全设备、网络设备和服务器等的运行状况进行集中监测；

d）应对安全策略、恶意代码、补丁升级等安全相关事项进行集中管理；

e）应能对网络中发生的各类安全事件进行识别、报警和分析。

## 5.10　供应链管理

供应链管理安全要求包括：

a）应确保模型和服务供应商的选择符合国家有关规定；

b）应建立针对第三方组件和基础模型的使用审批机制，并对开源代码进行安全评价，保障来源可靠、安全风险可消除或控制；

c）采购第三方模型和服务时，应明确提供者的安全责任和义务，要求提供者做出必要安全承诺，声明不非法获取用户数据、控制和操纵用户系统和设备，或利用用户对产品的依赖性谋取不正当利益或迫使用户更新换代；

d）应采取必要的措施识别大模型系统第三方组件、模型和服务安全漏洞和隐患，对发现的安全漏洞和隐患进行评估后，及时进行修补或采取其他措施进行风险控制；

e）应对大模型系统第三方组件、模型和服务供应商的重要变更进行安全风险评估，采取有关措施对风险进行控制，并将重要变更及时传达到客户；

f）在采购第三方模型时，应采用密码技术保证重要的数据或模型文件在传输过程中的保密性；

g）大模型服务应用于关键信息基础设施及重要场景时，应根据风险与场景采取相应保护措施；

h）向境外提供服务或使用境外服务的大模型系统，训练数据应遵循国家数据出境相关规定。

## 5.11 个人信息保护

个人信息保护安全要求包括：

a) 应建立个人信息管理制度，包括但不限于个人信息处理规则、使用规范、安全保护措施、处理个人信息主体询问的渠道和机制、个人信息处理人员的行为要求等；

b) 应支持训练数据集中个人信息的识别，针对识别出的个人信息，应遵循最小必要原则，并在获取个人信息主体的授权同意后使用，有其他法律法规或合同约定的除外，若无法取得个人信息主体的授权同意，应匿名化后使用；

注：训练数据集包括预训练数据集、优化训练数据集。

c) 训练数据中包含个人生物识别、医疗健康、金融账户、行踪轨迹等敏感个人信息的，应取得个人单独授权同意，并保留个人信息主体授权文件；

注1：个人生物识别信息包括个人基因、指纹、声纹、耳廓、虹膜、面部识别特征等。

d) 当使用用户输入信息作为训练数据时，应在显著位置告知用户并获得用户的授权同意，并提供用户拒绝或撤回同意的渠道；

e) 应采用密码技术对敏感个人信息进行加密传输和存储；

f) 应支持输出的内容中个人信息的识别，并选择适宜的输出处理方式，如直接输出、去标识化处理后输出或拒绝回答等；

g) 应建立个人信息保护投诉、举报机制，提供投诉、举报渠道，及时受理、处理和反馈处理结果；

h) 应与个人信息处理岗位人员签署个人信息安全保护责任书。

## 5.12 数据安全保护

数据保密性安全要求包括：

a) 应确保只有在用户授权下，大模型服务提供者才具有用户训练数据的使用和管理权限；

b) 应采取技术措施对用户训练数据进行保护，防止未授权访问、泄露和篡改；

c) 应通过数据安全沙箱、隐私计算等技术保证敏感数据在与第三方机构共同处理时，始终以密文形式出现。

## 5.13 备份恢复

应提供数据、算法、模型、框架、工具等的备份和恢复功能，以支持在必要情况下对大模型系统进行恢复还原。

## 5.14 数据溯源

数据溯源安全要求包括：

a) 应为每个训练数据集提供标识信息，包括数据集的唯一标识符、构建时间、数据集来源等，并对参与训练时间进行登记；

b) 应确保图像、音频和视频数据的采集、处理、使用、流动等过程可追溯，可采用密码、数据血缘分析或水印等技术；

c) 应对训练数据集进行版本控制。

## 6 设计开发安全要求

### 6.1 数据处理

#### 6.1.1 数据收集

数据收集安全要求包括：

a) 应明确大模型的目标任务和应用场景，确定并记录所需收集的数据来源、类型和规模，确保数据来源可追溯；

b) 应建立数据源的合规性和安全性的审核机制，明确数据审核和过滤规则；

c) 采购第三方数据时，应要求数据提供方对数据来源合法合规、质量、安全等方面作出承诺并提供相关证明材料；

d) 应按照与数据主体约定的协议进行数据收集；

e) 在收集数据时，应采用密码技术保证重要的数据在传输过程中的完整性和保密性；

f) 应对收集的数据进行安全性评估，检测恶意代码、违法不良信息等潜在的安全风险。

注：违法不良信息指 TC 260-003《生成式人工智能服务安全基本要求》中的违法不良信息。

#### 6.1.2 数据清洗

数据清洗安全要求包括：

a) 应制定数据清洗规则，包括但不限于去噪、标准化格式、处理缺失值、删除重复项等；

b) 应对数据中包含的违法不良信息进行清洗和过滤；

c) 应对数据中的主要知识产权侵权风险进行识别，对存在知识产权侵权等问题的数据进行清洗和过滤；

d) 应采取措施保护敏感个人信息和重要的业务数据；

e) 应对清洗后的数据进行验证，确保清洗后的数据符合预期的要求和标准。

#### 6.1.3 数据标注

数据标注安全要求包括：

a) 应建立数据标注管理制度，包括但不限于数据标注任务实施流程、数据标注评估核验、标注结果纠正补充等；

b) 应围绕数据的主要业务功能和内容安全风险制定数据标注规则，包括但不限于标注对象、数据格式、标注方法、评估指标等内容；

c) 应明确数据标注过程中的安全操作规范；

d) 应定期检查标注工具或平台是否存在潜在的安全漏洞，对检查发现的安全漏洞进行及时修复；

e) 应实施身份鉴别和权限控制，确保只有经过授权的标注人员可以使用标注工具；

f) 应保存标注日志，确保标注过程和结果可追溯；

g) 应建立数据标注质量检查机制，采用人工方式对功能性标注结果和每条安全性标注结果进行审核；

h) 应对标注人员设置不同的角色，包括标注执行人员、标注监督人员、标注仲裁人员，同一标注任务下，标注执行人员与标注监督人员不能兼任；

i) 应对标注人员定期进行相应的培训和考核，通过考核给予标注资质，必要时可暂停或取消标注资质。

### 6.2 模型保护

模型保护安全要求包括：

a) 应建立模型安全管理制度，包括但不限于模型机制机理审核、模型科技伦理审查、模型上线流程规范、模型退役和下线流程规范、模型变更（如模型更新、模型升级、模型回退等）流程规范等；

b) 应定期对机器学习框架以及使用依赖的第三方库和预训练模型存在的风险进行安全检测，包括但不限于后门漏洞、拒绝服务漏洞、缓冲区溢出漏洞、恶意代码等，并针对发现的安全漏洞和风险及时修复和处置；

c) 应对大模型系统输入数据进行检测和过滤，防范指令注入型攻击、对抗性攻击、后门样本攻击等恶意攻击导致的敏感数据输出、远程代码执行、跨站脚本、恶意提权、拒绝服务、数据泄露等风险；

d) 应保证模型在异常输入下具有稳定准确输出，异常输入包括但不限于包含自然噪声、系统噪声、随机、无意义或与算法应用场景无关等类型的数据输入；

e) 应对模型进行加密保护或完整性校验，保障其静态存储和跨节点传输过程中的保密性、完整性；

f) 应采用技术手段防止模型在服务过程中泄露模型参数信息，可采用差分隐私技术、访问控制或身份验证等技术手段；

g) 应能够防范属性推断、成员推断等针对模型训练数据的攻击，可采用限制模型的反馈输出或限制模型的查询次数等方法；

h) 应将模型训练环境与模型推理环境隔离，避免非授权访问，确保数据受控；

i) 应采用技术措施对模型进行标识；

j) 应定期对模型开发人员进行安全知识的培训与考核。

### 6.3 内容安全

内容安全要求包括：

a) 应对大模型输入的文本、图片、音频、视频等内容中违法不良信息进行检测和过滤；

b) 应建立输入内容合规法的识别机制，拒绝回复包含违法不良信息或明显诱导生成违法不良信息的不合理输入，宜进行有效正向引导，且对于其他输入应正常回答；

c) 应对输出内容向使用者显示前进行安全检测，当检测到违法不良信息时，应能够阻止该内容的输出；

d) 应提供用户反馈机制，允许用户报告不当或有害内容；

e) 应在大模型系统生成内容的显示区域中或显示区域周边添加包含提示文字的显式标识，提示文字应至少包含"由人工智能生成"或"由 AI 生成"等信息；

f) 应对大模型系统生成的图片和视频在画面中添加包含提示文字的显式标识，提示文字应至少包含"由人工智能生成"或"由 AI 生成"等信息；

g) 宣示标识：应为对大模型系统生成的图片、音频和视频添加包含服务提供者名称或内容 ID 等信息的隐式提示标识；

h) 当大模型系统生成的图片、音频和视频以文件形式输出时，应对文件元数据添加扩展字段标识，扩展字段内容应包含服务提供者标识、内容生成时间、内容 ID 等信息；

i) 应与使用者签订协议，明确约定相关安全责任，并向使用者告知使用生成内容时可能存在的知识产权风险；

j) 应建立常态化输出内容监测机制，对监测发现的安全问题及时处置并通过针对性的指令微调、强化学习等方式优化模型；

k) 应建立内容安全持续优化更新机制，保证内容安全，提升内容的真实可信度。

## 7 测试安全要求

### 7.1 模型评估

模型评估安全要求包括：

a) 应定期对大模型系统进行安全性评估，包括模型对抗性测试、生成内容安全评估、系统稳定性评估等；

b) 应针对大模型系统的风险进行识别和定义，并根据风险类型和危害程度对风险进行分类分级，风险包括但不限于违法不良信息、歧视性内容、商业违法违规内容、侵犯他人合法权益、特定服务类型下内容不准确、不可靠以及对抗性攻击等；

注：对抗性攻击指攻击者通过提示注入攻击、对抗性样本为主的攻击形式诱导模型生成违法不良信息。

c) 应结合识别出的风险情况构建大模型系统安全评估体系，包括评估场景、评估维度、评估指标、评估数据集、评估人员、评估工具、评估环境、评估执行和评估结果反馈等；

d) 应根据安全风险评估和评估任务的需求，综合考虑从合规性、全面性、代表性、非重复性、可用性以及时效性等方面构建评估数据集；

e) 应采用密码技术保证评估数据集中重要的数据在传输和存储过程中的保密性，并对评估数据的访问进行严格控件；

f) 在委托第三方机构进行模型评估时，评估前应与评估机构和人员签署委托书、保密协议、授权书等；

g) 应对评估工具进行充分测试，并采取手段减小测试误差；

h) 应对评估工具设置完善的身份鉴别和访问控制机制；

i) 在采用人工评估方式时，应采用两名以上的评估人员对模型的输出结果进行独立核验，确保评估的公平性和一致性。

### 7.2 模型更新

模型更新安全要求包括：

a) 应建立模型更新管理制度，制定模型更新、升级时的安全策略；

b) 应在模型重要更新、升级等变更后，再次进行安全评估；

c) 应设置模型更新安全校验机制，在升级前对升级包文件进行安全校验，并对校验过程进行安全审计；

d) 应建立模型备份机制，在升级前对模型文件进行备份，升级过程中出现文件损坏丢失的情况可立即退回备份点；

e) 在对模型进行更新、升级等变更时，应及时对安全配置文件进行必要更新。

## 8 部署与运行安全要求

### 8.1 模型部署

模型部署安全要求包括：

a) 应指定部门或人员负责模型部署过程中的安全管理，制定安全部署方案，明确部署过程中的权限控制、质量控制、安全审计等内容；

b) 应由授权的人员根据方案实施模型的部署，部署过程中应进行安全配置，包括仅开放必要的端口、对人员和系统按照最小必要原则授权、启动安全功能等；

c) 模型正式运行之前，应当自行或授权专业机构进行安全性测试，测试内容包括但不限于内容安全、模型安全、算法安全、数据安全以及其他常见安全漏洞和隐患；

d) 应针对安全性测试发现的安全问题进行加固和优化，保障系统安全。

### 8.2 攻击检测

攻击检测安全要求包括：

a) 应能够检测模型窃取攻击、数据重构攻击、提示注入攻击并采取相应措施；

b) 应能够检测后门攻击、漏洞攻击、拒绝服务攻击并采取相应措施；

c) 应采取技术措施对模型训练过程的攻击行为进行检测，记录攻击源 IP 地址、攻击类型、攻击目的、攻击时间，在发生严重入侵事件时提供报警；

d) 应采取技术措施对模型推理过程的攻击行为进行检测，记录攻击源 IP 地址、攻击类型、攻击目的、攻击时间，在发生严重入侵事件时应提供报警；

e) 应记录对模型调用过程中的系统行为和用户行为信息，包括主体、行为、对象、时间、结果等信息。

### 8.3 运行监测

运行监测安全要求包括：

a) 应能对业务运行状况进行监测，包括但不限于风险率、拒答率、正确率、回复相关性、投诉量、响应时间等内容，一旦发现业务异常情况及时预警；

b) 应对大模型系统的资源使用情况进行持续性监测，包括但不限于计算资源占用率、内存资源占用率、存储资源占用率、网络带宽占用率等，一旦发现资源使用异常情况及时预警；

c) 应采集大模型系统中各运行设备的日志，运用机器学习、统计分析或构建基线等方法，及时发现网络中隐藏的网络攻击。

### 8.4 系统管理

应指定专门的部门或人员对大模型系统的用户账户进行管理，包括但不限于账户注册、申请、封禁、解封等环节。

### 8.5 变更管理

变更管理安全要求包括：

a) 应将模型重新训练、优化训练纳入变更管理事项，并建立模型更新、升级的变更控制程序，包括但不限于对变更后的模型进行安全评估，按规定向主管部门重新备案等；

b) 应制定内容审核变更流程，详细记录审核策略、审核流程、审核人员等变更过程，包括变更事由、审核策略的设置和修改等内容。

### 8.6 安全事件处置

安全事件处置安全要求包括：

a) 应建立安全事件管理制度，对安全事件分类分级和处置流程等进行规范，安全事件包括但不限于模型被窃取或篡改、模型参数或训练数据泄露、用户数据泄露等；

b) 发生生成违法不良信息或个人信息泄露的，应及时采取停止生成、停止传输、关停服务或消除影响等处置措施；

c) 应制定因模型偏好引发的安全事件的修复策略，例如重新训练、优化训练、参数调整或策略优化等。

### 8.7 应急预案管理

应急预案管理安全要求包括：

a) 应制定大模型业务相关安全事件的应急预案，包括但不限于训练数据泄露、模型泄露、模型被篡改、生成内容中包含违法不良信息等，明确相关安全事件的应急处理流程、系统恢复流程等内容；

b) 应定期对大模型系统相关人员进行应急预案培训，并进行应急预案的演练；

c) 应定期对原有的应急预案重新评估，修订完善。

## 9 退役安全要求

### 9.1 模型退役

模型退役安全要求包括：

a) 应建立模型退役管理流程，并综合考虑相关各方需求设置合理的退役时间周期；

b) 应将模型的退役及时通知利益相关方，以便他们能够做出相应的调整；

c) 应对模型退役过程中的系统稳定性、模型服务、业务影响等开展技术验证；

d) 应对退役的模型文档、特征数据、算法输出、实例数据等进行归档保存，归档时间应符合国家相关规定；

e) 应对模型退役过程开展安全审计，并妥善保存退役过程记录。

### 9.2 数据删除

数据删除安全要求包括：

a) 对于经综合评估后确定需要删除的数据，应采取措施确保删除后不能被恢复，例如物理销毁、重复覆写或多次格式化等；

b) 应在模型退役下线后，对该模型涉及的个人信息进行删除或匿名化处理，个人信息主体授权同意用于其他用途的除外。

## 参 考 文 献

[1] GB/T 22239—2019 信息安全技术 网络安全等级保护基本要求

[2] GB/T 35273—2020 信息安全技术 个人信息安全规范

[3] GB/T 42888—2023 信息安全技术 机器学习算法安全评估规范

[4] 中华人民共和国网络安全法（2016年11月7日第十二届全国人民代表大会常务委员会第二十四次会议通过）

[5] 生成式人工智能服务管理暂行办法（2023年7月10日国家互联网信息办公室 中华人民共和国国家发展和改革委员会 中华人民共和国教育部 中华人民共和国科学技术部 中华人民共和国工业和信息化部 中华人民共和国公安部 国家广播电视总局令第15号公布）

[6] 网络信息内容生态治理规定（2019年12月15日国家互联网信息办公室令第5号公布）

[7] TC 260—003 生成式人工智能服务安全基本要求