控制与决策  2020, Vol. 35 Issue (8): 1923-1928  
0

引用本文 [复制中英文]

锁斌, 孙东阳, 曾超, 张保强. 考虑随机不确定性的常态仿真模型确认试验设计[J]. 控制与决策, 2020, 35(8): 1923-1928.
[复制中文]
SUO Bin, SUN Dong-yang, ZENG Chao, ZHANG Bao-qiang. Model validation experiment design of time-invariant model with random uncertainty[J]. Control and Decision, 2020, 35(8): 1923-1928. DOI: 10.13195/j.kzyjc.2018.1579.
[复制英文]

基金项目

国家自然科学基金项目(51505398, 51275240);国家自然科学基金委员会与中国工程物理研究院联合基金项目(U1530122, U183010080);国防军工十三五跨行业预研项目(41424050101);中央军委装备发展部技术基础科研项目(171ZW31001)

作者简介

锁斌(1979-), 男, 副研究员, 博士, 从事不确定性信息处理、系统可靠性分析与评估等研究, E-mail: suo.y.y@163.com;
孙东阳(1985-), 男, 讲师, 博士, 从事模型确认、系统可靠性分析与评估等研究, E-mail: sundongyang@cqu.edu.cn;
曾超(1968-), 男, 研究员, 博士, 从事可靠性设计分析等研究, E-mail: zengchaocaep@163.com;
张保强(1981-), 男, 助教, 博士, 从事飞行器结构仿真模型确认方法等研究, E-mail: bqzhang@xmu.edu.cn

通讯作者

孙东阳, E-mail: sundongyang@cqu.edu.cn

文章历史

收稿日期:2018-11-15
修回日期:2019-04-16
考虑随机不确定性的常态仿真模型确认试验设计
锁斌 1, 孙东阳 2, 曾超 1, 张保强 3     
1. 中国工程物理研究院 电子工程研究所,四川 绵阳 621900;
2. 重庆大学 航空航天学院,重庆 400044;
3. 厦门大学 航空航天学院,福建 厦门 361005
摘要:模型确认试验是一种新的试验, 其目的在于度量仿真模型的可信度.为了得到低成本、高可信度的模型确认试验方案, 提出一种随机不确定性模型确认试验设计方法.首先, 基于面积确认度量指标提出一种新的无量纲的模型确认度量指标(面积确认度量指标因子), 并且在其基础上发展了基于专家系统的仿真模型准确性定性评判准则; 然后, 建立随机不确定性模型确认试验优化设计模型, 提出该优化模型的求解方法; 最后, 通过两个数值算例对提出的模型确认试验设计方法进行验证.结果表明, 小样本情况下, 试验方案的随机性会影响模型评判结果的可信度; 面积度量指标因子随试验样本数量的增加而收敛; 随机不确定性模型确认试验设计方法能够避免试验方案对模型确认结果的影响.
关键词确认试验    确认度量    面积度量    不确定性    专家系统    优化设计    
Model validation experiment design of time-invariant model with random uncertainty
SUO Bin 1, SUN Dong-yang 2, ZENG Chao 1, ZHANG Bao-qiang 3     
1. Institute of Electronic Engineering, China Academy of Engineering Physics, Mianyang 621900, China;
2. College of Aerospace Engineering, Chongqing University, Chongqing 400044, China;
3. School of Aerospace Engineering, Xiamen University, Xiamen 361005, China
Abstract: Model validation experiment is a new type of experiments, of which the goal is to determine the credibility of the simulation model. In order to obtain low cost and high credibility of a model validation experiment, a methodology of model validation experiment design considering random uncertainty is presented. Firstly, by extending the concept of area metrics, a dimensionless model validation metric (area metric factor) is proposed, and a criterion for qualitative assessment of accuracy of simulation models based on expert systems is developed. Then, an optimization model for model validation experiment design considering random uncertainty is constructed. Meanwhile, an optimization method is developed to solve the optimization model. Finally, two simulation examples are used to illustrate the proposed methods. The simulation results show that the randomness of experiment design affects the reliability of the model evaluation results in the case of small samples. The area metric factor converges with the increase of the number of experimental observations. The proposed method for model validation experiment design can avoid the effect of testing program on the result of model validation.
Keywords: validation experiment design    validation metric    area metric    uncertainty    expert system    optimization design    
0 引言

随着计算机技术的快速发展, 数值建模和仿真已经成为解决实际工程问题的重要手段, 而仿真模型的可信度是人们最为关心的问题.模型确认[1-2]是针对该问题而发展起来的一个重要研究方向, 用于评估仿真模型与实际物理模型的接近程度.开展模型确认工作, 首先需要选择合理的模型确认度量方法.

现有的模型确认度量方法[3-7]主要有4种:经典假设检验法、贝叶斯因子法、频率指标法和面积度量法.经典假设检验法和贝叶斯因子法的确认度量结果为接受或拒绝该模型, 并没有给出对模型准确性的定量评估.而频率指标法则给出了模型与试验结果之间差异的定量量化, 但是只考虑了样本均值这一特征量, 没有考虑反应不确定情况下样本离散程度等其他特征量.以上3种方法均无法完全满足确认度量的要求. Ferson等[8]以模型仿真输出的累积分布函数(CDF)与试验观测数据的经验分布函数之间所夹面积作为度量结果, 提出面积度量法以及用于“多点”确认度量的u-pooling方法. Li等[9]基于多维概率积分转换提出了用于解决多维相关输出模型确认问题的PIT面积度量指标和t-pooling指标.赵亮等[10]考虑到观察样本数据的不确定性, 建立了多响应模型确认的置信区间度量指标模型.基于马氏距离, Zhao等[11]发展了随机不确定性多响应模型确认的马氏距离面积度量指标和马氏距离pooling指标.随后, 赵录峰等[12]将其推广到随机-区间混合不确定性多响应模型确认中.考虑到实际工程中试验样本通常为小样本, 肖钊等[13]建立了基于区间技术的模型确认方法.该方法假设试验和仿真数据在其测试区间内服从均匀分布, 并且采用面积度量方法来评估仿真模型与物理模型的接近程度.

确认试验是一种新型的试验方法, 其主要目的是确定描述物理过程的数学模型的预测精度和可靠性.确认试验与传统试验具有很大的不同, 针对如何将确认试验结果能够很好地应用到目标模型的预测中, Hamilton等[14-15]提出一种通过使用一系列简单试验和计算模型来评估与目标应用相关的潜在试验方法, 并通过一个一维非线性瞬态热传导的仿真算例进行了验证.确认试验的具体安排以及与预测目标的关系处理上需要进一步的研究和探讨, 确认试验一方面要保持与计算仿真结果的协调性, 另一方面又要保持与建模过程的独立性, 因此如何做好确认试验是模型确认过程中的一个挑战.

虽然国内外开展了大量的模型确认研究, 然而离实际应用还有一定差距, 其主要原因在于未解决以下两个关键问题: 1)工程中不仅仅需要给出确认度量值, 更重要的是评价模型的优劣, 而现有的模型确认指标模型没法定性给出仿真模型的优劣判断; 2)现有的模型确认试验大多基于专家经验, 对于确认试验的可信度和经济性极少有相关文献提及.针对上述问题, 本文将提出面积度量指标因子的概念, 建立模型评价专家系统和模型确认试验设计优化模型, 并提出该优化模型的求解方法.

1 面积确认度量指标因子

面积度量方法是一种基于概率分布距离的确认度量方法, 如图 1所示, 通过计算仿真模型响应与试验观测的经验累积分布函数之间的面积(图 1中阴影部分), 对仿真模型的准确性进行量化、评估.

图 1 基于概率分布距离的面积度量方法

面积度量指标的数学定义[8]

(1)

其中FmSe分别为仿真响应和试验数据的累积分布函数.当仿真模型与实际物理模型越接近时, 面积度量指标越小, 反之越大.因此, 通过面积度量指标即可评估仿真模型的准确程度.

面积度量指标是含量纲的模型确认度量指标, 不同的模型面积度量指标单位不同, 导致无法形成统一的评价标准.为了得到统一的模型评价准则, 本文提出无量纲的面积度量指标因子, 其数学定义为

(2)

其中d(Fm, F0)是与面积度量指标d(Fm, Se)同量纲的值, 用于表征仿真数据的离散性, 其表达式为

(3)

μσ分别为仿真结果的均值和标准差, ε为阶跃函数, 其表达式为

(4)

面积度量指标因子是无量纲的模型确认度量指标, 为了对仿真模型的准确性进行定性评价, 本文建立如表 1所示的仿真模型评估专家系统.该专家系统为工程师对模型的评判和选择提供了一种准则.

表 1 模型评估专家系统
2 模型确认试验设计

目前, 模型确认试验普遍基于工程师的经验, 试验方案的随机性严重影响了模型确认结果的可信度.而且试验耗时, 耗费巨大.为了得到低成本、高可信度的试验方案, 在试验前首先需要进行模型确认试验优化设计.本文通过选择试验样本数量, 使在给定样本数量的情况下面积度量指标因子满足一定要求, 并且拟采用的试验方案成本最低.采用数学描述构建的优化数学模型表示为以下形式:

(5)

其中: N为每组试验次数; Nm为最大试验次数; Tc为总费用, 可通过下式得到:

(6)

Cu为单个试验样品费用, Cm为单次测试费用. SP(N)为样本数量为N的试验数据的经验分布函数.

式(5)的优化目标是以N为变量的函数, 对其进行求解就是找到满足约束的最小试验次数N.由于试验次数为满足最大试验次数的正整数, 采用梯度方法或智能优化方法都无法对其进行高效求解.基于此, 本文提出了考虑随机不确定性常态模型确认试验设计方法, 其计算流程如图 2所示, 具体步骤如下.

图 2 考虑随机不确定性常态模型确认试验设计方法

step 1:初始化试验样本数量N, 取N1=0.

step 2:选择随机不确定性参数的样本组数量N2, N2一般要求较大, 使面积度量指标因子的概率分布主要与每组试验样本数量N相关.

step 3:从随机不确定性分布中选择一组包含N个样本的随机样本组.

step 4:将N个样本值代入系统求响应量, 并且求解N个样本的累积分布函数SPe(N).

step 5:结合大量样本的仿真数据, 求解该模拟试验情况下的面积度量指标因子Pi = ρ(Fm, SPe(N, i)).

step 6:如果Pi ≤ 10 %, 则N1 = N1 + 1.

step 7: N2组样本点是否已经评估完成, 如果否, 则回到step 3;如果是, 则继续step 8.

step 8:判断N1/N2 ≥ 90 %?如果是, 则结束, 并输出N, N1/N2, Tc(N); 如果否, 则N = N + 1, N1 = 0, 回到step 2.

3 仿真分析 3.1 数值算例

假设实际物理模型的试验测试结果为

(7)

其中: ye表示与时间无关的试验输出; x1x2为输入变量, x1 ~ N(2, 42), x2 ~ N(2, 42)为随机不确定性变量; θ为参数, 真值为2, 表征了模型形式不确定性.假设3种仿真模型的计算结果如表 2所示, 其中模型1与试验完全一致, 模型2、模型3与试验的偏差依次增加.这3种模型的确认度量指标因子随试验样本数量的变化如图 3所示.可以发现模型1的面积度量指标因子小于模型2和模型3, 模型2的面积度量指标因子小于模型3.这与3种仿真模型与实际物理模型的偏离程度相符.虽然, 模型1与真实模型一致, 但是模型1的面积度量指标因子依然不为0, 这是因为当试验样本数量不充足时, 试验得到的累积分布函数与真实物理模型的累积分布函数存在偏差.通过对图 3进行分析还可以发现, 当试验样本数量增加时, 3种模型的面积度量指标因子都收敛. 表 3给出了试验样本数量为10、20、50、500、5 000时, 3种仿真模型的面积度量指标因子和模型评估结果.可以发现:对于模型1, 当样本数量依次为10、20、50、500、5 000时, 根据专家系统得到的模型评价结论分别为良、优、优、优、优.因此, 即使仿真模型与真实模型一致, 当测试样本数量不充足时, 也会得到错误的模型评估结论.对于模型2, 当样本数量依次为10、20、50、500、5 000时, 根据专家系统得到的模型评价结论分别为优、良、良、良、良.虽然模型2与实际物理模型存在偏差, 但是对于小样本情况, 也会得到仿真模型准确性评价为优的错误结论.对于模型3, 当样本数量依次为10、20、50、500、5 000时, 根据专家系统得到的模型评价结论分别为中、中、良、中、中.当样本数量为50时, 模型评价结果优于其他4种样本评价结果, 这是受小样本情况下, 样本方案随机性的影响.综上、可以得到以下结论:小样本情况下, 基于面积度量指标因子和模型评估专家系统得到的模型准确性评价结论有可能是错误的; 面积度量指标因子随试验样本数量的增加而收敛.

表 2 3种数值仿真模型
图 3 3种模型的确认度量指标因子随试验样本量的变化
表 3 不同试验样本数量下3种模型的面积度量指标因子和模型评判

考虑到小样本情况下, 试验方案对模型评判结果影响显著, 为了避免试验方案对最终模型评判结果的影响, 在试验前首先进行模型确认试验设计.建立的模型确认试验设计优化数学模型为

(8)

其中: SPe(N)为样本数量为N的试验数据的经验分布函数, Fm为样本数量为10 000的仿真结果的累积分布函数.采用本文提出的考虑随机不确定性常态模型确认试验设计方法进行求解, 得到N =37, P(ρ(N)) = 93.1 %.试验样本数量N从2到300得到的P(ρ(N))如图 4所示.可以发现: P(ρ(N))并非随试验样本数量增加而单调递增, 其值随试验样本数量的变化存在波动, 但总趋势是增加的.分析其原因在于小样本情况下, 试验样本的选取会显著影响试验数据的分布函数, 最终导致该曲线存在波动.

图 4 P(ρ(N))随试验样本量的变化
3.2 电子仿真算例

为进一步验证所提出的模型确认试验设计方法, 以图 5所示的两电阻串联电路为例. 图 5Vdc是直流电, DC/DC模块SWH03-12S05输入12 V.要求分析电阻r1p端的节点输出电压Vo.对图 5的仿真模型进行灵敏度分析, 甄选关键的模型参数[16]. 图 6给出了两电阻串联电路的灵敏度分析结果, 可以看出SWH03-12S05的输出电压、r1r2的阻值是关键的不确定性参数, 而Vdc的不确定性对Vo的不确定性影响小.假设模块SWH03-12S05的输出电压、r1r2的阻值引入随机不确定性, 参数变化范围如表 4所示.

图 5 两电阻串联电路仿真模型
图 6 两电阻串联电路的灵敏度分析结果
表 4 两电阻串联电路的随机不确定参数

假设3种两电阻串联电路仿真模型如表 5所示, 其中模型1与试验完全一致, 模型2、模型3与试验存在偏差.这3种模型的确认度量指标因子随试验样本数量的变化如图 7所示.可以发现:模型1的面积度量指标因子小于模型2和模型3.通过对图 7进行分析还可以发现, 当试验样本数量增加时, 3种模型的面积度量指标因子都收敛. 表 6给出了试验样本数量为10、20、50、500、5 000时, 3种仿真模型的面积度量指标因子和模型评估结果.可以发现:虽然模型1与真实模型一致, 但是模型1的面积度量指标因子依然不为0, 这是因为当试验样本数量不充足时, 试验得到的累积分布函数与真实物理模型的累积分布函数存在偏差.对于模型1, 当样本数量依次为10、20、50、500、5 000时, 根据专家系统得到的模型评价结论分别为良、优、优、优、优.因此, 即使仿真模型与真实模型一致, 当测试样本数量不充足时, 也会得到错误的模型评估结论.对于模型2, 当样本数量依次为10、20、50、500、5 000时, 根据专家系统得到的模型评价结论分别为差、差、差、差、差.对于模型3, 当样本数量依次为10、20、50、500、5 000时, 根据专家系统得到的模型评价结论分别为差、差、差、差、差.虽然, 不同样本数量情况下, 模型2和模型3的评价都为差, 但是面积度量指标因子存在偏差, 而且小样本情况下偏差更明显.综上, 可以得到以下结论:小样本情况下, 基于面积度量指标因子和模型评估专家系统得到的模型准确性评价结论有可能是错误的; 面积度量指标因子随试验样本数量的增加而收敛.

表 5 3种两电阻串联电路仿真模型关键输入参数
图 7 3种模型的确认度量指标因子随试验样本量的变化
表 6 在不同试验样本数量下3种模型的面积度量指标因子和模型评判

采用模型确认试验设计方法进行求解, 得到N = 38, P(ρ(N)) = 9.1 %.试验样本数量N从2到200变化时, 得到的P(ρ(N))如图 8所示.可以发现: P(ρ(N))并非随试验样本数量增加而单调递增, 其值随试验样本数量的变化存在波动, 但总趋势是增加的.分析其原因在于小样本情况下, 试验方案的随机性会显著影响试验数据的分布函数, 最终导致该曲线存在波动.

图 8 P(ρ(N))随试验样本量的变化
4 结论

本文提出了模型确认指标因子的概念, 给出了一套基于专家系统的模型评判准则, 并且提出了考虑随机不确定性的模型确认试验设计方法.通过仿真算例可以得到以下结论: 1)模型确认度量指标因子可以给出无量纲的仿真模型准确性评价指标, 而且通过专家系统可以得到仿真模型准确性的定性判断; 2)小样本情况下, 模型确认度量指标因子受试验方案的影响显著; 3)即使仿真模型与真实物理模型完全一致, 当试验样本数量不充足时, 对仿真模型的准确性进行评判也会得到错误的结论; 4)面积度量指标因子随试验样本数量的增加而收敛; 5)采用模型确认试验设计方法得到的试验方案不仅满足成本最优, 而且试验方案的可信度满足要求.

参考文献
[1]
Oberkampf W L, Barone M F. Measures of agreement between computation and experiment: Validation metrics[J]. Journal of Computational Physics, 2006, 217(1): 5-36.
[2]
Roy C J, Oberkampf W L. A comprehensive framework for verification, validation, and uncertainty quantification in scientific computation[J]. Computer Methods in Applied Mechanics and Engineering, 2011. DOI:10.1016/j.cma.2011.03.016
[3]
Liu Y, Chen W, Arendt P, et al. Toward a better understanding of model validation metrics[J]. Journal of Mechanical Design, 2011, 133(7): 071005. DOI:10.1115/1.4004223
[4]
张保强, 陈国平, 郭勤涛. 模型确认热传导挑战问题求解的贝叶斯方法[J]. 航空学报, 2011, 32(25): 1202-1209.
(Zhang B Q, Chen G P, Guo Q T. Solution of model validation trermal challenge problem using a Bayesian method[J]. Acta Aeronautica et Astronautica Sinica, 2011, 32(25): 1202-1209.)
[5]
Rebba R, Mahadevan S. Computational methods for model reliability assessment[J]. Reliability Engineering & System Safety, 2008, 93(8): 1197-1207.
[6]
Mullins J, Ling Y, Mahadevan S, et al. Separation of aleatory and epistemic uncertainty in probabilistic Separation of aleatory and epistemic uncertainty in probabilistic[J]. Reliability Engineering & System Safety, 2016, 147: 49-59.
[7]
Li L, Lu Z. A new method for model validation with multivariate output[J]. Reliability Engineering & System Safety, 2018, 169: 579-592.
[8]
Ferson S, Oberkampf W L, Ginzburg L. Model validation and predictive capability for the thermal challenge problem[J]. Computer Methods in Applied Mechanics & Engineering, 2008, 197(29/30/31/32): 2408-2430.
[9]
Li W, Chen W, Jiang Z, et al. New validation metrics for models with multiple correlated responses[J]. Reliability Engineering & System Safety, 2014, 127: 1-11.
[10]
赵亮, 杨战平. 基于概率分布距离的多响应模型确认度量[J]. 控制与决策, 2015, 30(6): 1014-1020.
(Zhao L, Yang Z P. Multiple response model validation metric based on distance of probability distribution[J]. Control and Decision, 2015, 30(6): 1014-1020.)
[11]
Zhao L, Lu Z, Yun W, et al. Validation metric based on Mahalanobis distance for models with multiple correlated responses[J]. Reliability Engineering & System Safety, 2017, 159: 80-89.
[12]
赵录峰, 吕震宙, 王璐. 随机-区间混合不确定性多输出模型确认指标[J]. 哈尔滨工业大学学报, 2018, 50(4): 78-84.
(Zhao L F, Lv Z Z, Wang L. Validation metric for multi-output model with mixed uncertainty of random and interval variables[J]. Journal of Harbin Institute of Technology, 2018, 50(4): 78-84.)
[13]
肖钊, 韩旭, 杨刚. 基于区间技术的模型确认方法及应用[J]. 机械工程学报, 2014, 50(14): 177-184.
(Xiao Z, Han X, Yang G. Model validation method and its application based on the interval techniques[J]. Journal of Mechanical Engineering, 2014, 50(14): 177-184.)
[14]
Hamilton J R, Hills R G. Relation of validation experiments to applications[J]. Numerical Heat Transfer, Part B: Fundamentals, 2010, 57(5): 307-332. DOI:10.1080/10407790.2010.481487
[15]
Hamilton J R, Hills R G. Relation of validation experiments to applications: A nonlinear approach[J]. Numerical Heat Transfer, Part B: Fundamentals, 2010, 57(6): 373-395. DOI:10.1080/10407790.2010.496661
[16]
Zhai G, Zhou Y, Ye X, et al. A method of multi-objective reliability tolerance design for electronic circuits[J]. Chinese Journal of Aeronautics, 2013, 26(1): 161-170. DOI:10.1016/j.cja.2012.12.005