系统测试的技术要求

---

一、系统测试的概念

系统测试（System Testing），主要是对多个软件组成的系统进行的整体测试。系统测试是黑盒测试，主要依据系统规格说明书进行，验证系统的功能、性能、可靠性、兼容性、易用性、维护性、信息安全、可移植性、接口等。
一般来说，系统测试的流程如下：

二、测试对象

系统测试的对象是完整集成的软硬件系统。应按子系统、分系统、全系统逐层开展。

三、测试目的

检验系统是否满足运行方案说明、系统/子系统规格说明所规定的任务能力、功能、性能、接口等各项要求。

四、进入条件

系统测试进入条件如下：
a) 软件配置项已通过配置项测试，或局部系统已通过配置项集成测试；
b) 软件配置项已纳入软件配置管理，所涉硬件技术状态受控；
c) 具备软件系统测试要求的环境；
d) 具备与被测软件源代码版本对应的文档。

五、内容要求

1、基于需求的考核要求

a) 列表说明系统的需求项，并说明每一需求项的文档依据的索引。需求项应涵盖系统/子系统规格说明所规定的所有功能、性能、接口等各项要求；
b) 应注意挖掘系统文档中未明确规定的、但标准规范或行业规范中具有相关要求的隐含需求；
c) 开展测试需求分析，列表说明系统的测试项，并说明与需求项的对应关系。通常一个需求项应被若干个测试项所覆盖；
d) 应采用文档审查和动态测试的测试方法开展系统测试，一般采用的是动态黑盒测试方法。
e) 应在动态测试前开展文档审查，文档审查应包含系统的所有相关文档，例如通讯协议、数据处理算法等，在文档审查问题得到有效处理后再进行动态测试；
f) 建立系统测试环境，分析并确认系统测试环境的有效性。依据系统的特点及具体情况，系统测试环境可以是全数字仿真环境、半实物仿真环境、全实物实装环境等，系统测试环境应能支持系统/子系统规格说明中描述的系统环境需求，支持系统能力需求测试用例的加载、执行、结果数据记录等；
g) 动态测试的测试类型选择要求：
1）至少应包括：功能测试、性能测试、接口测试、边界测试；
2）关键重要系统的测试类型应增加：安全性测试、余量测试、强度测试。在实装系统上开展的安全性测试，应在安全关键部件模拟器的配合下进行测试；
3）测试类型应结合软件的特点进行选择，如，具有人机交互界面的系统应进行人机交互界面的测试，具有双机热备份或冷备份功能的系统应进行恢复性测试，对可异步并发操作同一共享数据源的相关软件应进行互操作性测试等。
h) 动态测试的测试用例设计要求：
1）针对每一个测试项设计测试用例，通常一个测试项应被若干个测试用例所覆盖；
2）测试项的特性一般应被正常测试用例和异常测试用例所覆盖；
3）测试用例的输入一般应被有效值、无效值和边界值所覆盖；
4）测试用例设计的技术要求按相关测试类型的技术要求执行；
5）配置项之间及配置项与硬件之间的所有接口应进行测试用例设计。

2、基于任务的考核要求

a) 基于运行方案说明中的运行场景，将系统/子系统规格说明中的系统能力需求组合为系统的任务需求，逐一验证系统的任务运行能力；
b) 依据系统的任务剖面，从运行场景出发进行情景想定分析，开展系统任务想定设计；
c) 将系统完成一次特定任务的执行过程视为一个测试用例，为每个测试用例建立基于监测数据的测试结果判别准则；
d) 建立系统测试环境。依据系统的特点及具体情况，系统测试环境可以是半实物仿真环境、全实物实装环境等，系统测试环境应能支持运行方案说明中描述的运行场景，支持系统任务过程所需情景想定的配置，支持系统任务过程测试用例的加载、执行、过程数据采集等，评估测试环境对测试结果的影响，分析系统测试环境的局限性，确认系统测试环境的有效性；
e) 应强化测试充分性的量化指标考核；
f) 应对软件的可靠性、安全性、维护性等质量特性进行验证与评价；
g) 依据软件能力评估需求，采集系统运行过程中的相关数据，为能力评估提供支撑。

六、测试环境

系统测试环境要求如下：
a) 推荐使用全实物实装环境。若选择全数字仿真环境或半实物仿真环境，应进行环境等效性分析，并经有关部门批准；
b) 应配备必要的软件测试工具、监测设备、数据分析软件等。