周元春，甘孝清，李端有
长江科学院 工程安全与灾害防治研究所，武汉 430010
摘要： 介绍了目前大坝安全监测数据处理工作中几种常用粗差识别技术的优缺点及适用范围，并针对这些常规方法中所存在的不足，采用时空判别技术和基于稳健性处理方法的粗差识别技术，对粗差数据进行判别。其中时空判别技术充分利用了观测序列本身的时空基本信息，将观测值与历史的或相邻的观测数据相比较来判别粗差；基于稳健估计算法的监控模型判别法克服了经典的最小二乘法所存在的抗粗差干扰性差这一缺点，在最小二乘回归的基础上逐步按残差大小加稳健化权，迭代求得模型参数的稳健估计，这一估计值最接近于无粗差影响时的正常估值。隔河岩大坝安全监测数据的实例分析表明，这些方法具有较强的粗差识别能力。
关键词: 监测数据, 粗差识别, 时空判别法, 稳健估计
１ 概 述
在大坝安全监测过程中，无论采用多么完善的观测方法和多么精确的观测设备，都不可避免地产生观测误差，从误差出现的规律上来看，观测误差可分为系统误差、随机误差和粗差３大类。其中，粗差是由于某种过失引起的明显与事实不符的误差，亦称为过失误差，它主要是由于操作不当，读数、记录和计算错误，检测系统的突然故障等疏忽因素而造成的误差。粗差其实是一种错误数据，往往在数值上表现出很大的异常，与合理值明显相悖。这种数
据是不可信的，它能严重影响数据处理的结果，并干扰对建筑物安全评价和监控的结果。因此，有效地识别粗差，不仅是数据分析处理的基础，而且对建筑物有效地实施安全监控都有重要的意义。
本文将介绍目前在大坝安全监测数据处理工作中主要所采用的几种粗差识别技术，如逻辑判别法、统计判别法、基于最小二乘法的监控模型判别法等，然后针对这些方法中所存在的不足，采用时空判别技术，和基于稳健性处理方法的粗差识别技术，对大坝安全监测数据中的粗差进行识别，以更好地提高监测数据的可靠性。
2 粗差的一般识别技术
2.1 逻辑判别法
监测仪器一般都有一个明确的量测范围，因此，任何测值的量值都必须在其量测范围内。如果测值超出仪器的量测范围，则测值必存在粗差。另外，有些仪器虽无明确的量测范围限制，但被监测物理量的测值一般应有一个逻辑合理范围。当观测值超出其逻辑合理范围时，亦认为测值含有粗差。一般说来，当测值中含有较为明显的大的误差时，用逻辑判别法可以作出识别。
2.2 统计判别法
根据弹性力学理论，当建筑物在相同温度场、相同水位荷载作用下，如果其结构条件、材料性质及地基性质不变，则其变形量应相同。统计判别法就是根据这一理论，将相同工况下的测值作为样本数据，采用统计方法计算观测数据系列的统计特征值，根据一定的准则找出其中的异常值。
统计判别法使用的准则有：莱以特准则、罗曼诺夫斯基准则、格罗布斯准则、狄克松准则等［１］。这几种判别准则的适用条件为：莱以特准则是以观测次数充分大为前提的，因此这种判别准则可靠性不高，但它使用简便，故在要求不高时经常应用；对观测次数较少而要求较高的观测列，应采用罗曼诺夫斯基准则、格罗布斯准则或狄克松准则，其中格罗布斯准则的可靠性较高，其观测次数也需在２０～１００之间时，才能有较好的判别效果；当观测次数较少时，可采用罗曼诺夫斯基准则；若需要从观测列中迅速判别含有粗大误差的观测值，则可采用狄克松准则。然而，在大坝安全监测工作中，大坝处在相同外部荷载或近乎相同外部荷载下工作的情况不多，因此无法为统计判别法提供足够的数据样本。虽然观测次数较少时可采用罗曼诺夫斯基准则，但少量的数据样本本身的正确性也无法认定，这为统计判别
法的使用带来了一定的限制。
２．３ 基于最小二乘法的监控模型判别法
大坝等水工建筑物经多年变形监测后，可得到一系列监测量的测值，据此，可建立相应的监控数学模型。常用的数学模型有统计模型、确定性模型和混合模型，目前，以统计模型使用最为普遍。建立统计模型所常用的统计回归法，其原理是经典的最小二乘法，当监测数据误差服从正态分布，最小二乘估计值具有方差最小且无偏的统计特性。
……
然而，在大坝安全监测领域，监测数据误差不一定严格服从正态分布，至少从仪器量程上就决定了其误差是一种有界分布，特别是当数据中含有粗差时，监测数据误差与正态分布的假定相差更大，这样所建立的模型将会偏离实际情况，那么将其用于粗差识别也是不可靠的。
3 时空判别法
大坝安全监测向人们提供的最基本信息就是观测物理量的时空序列，采用时空评判检验法，可将观测物理量与历史的或相邻的观测数据相比较，找出离群值或异常值，然后结合数据观测时的外部因素，对所测数据的物理成因进行分析，并与相邻测点观测值进行对比分析，判识是否合理，是否为粗差。这一判别方法对某些环境量观测值，或在大坝首次蓄水期间效应量监控数学模型尚未建立时，具有实际应用价值。观测数据系列中异常点的识别方法如
下。
3.1 基于平滑估计的粗差识别方法［１］
这一检测异点的基本想法是认为正常数据是“平滑”的，而异点是“突变”的，如果首先作观测数据的平滑估计，那么设定系数ｋ表示正常数据偏离平滑估计范围，此时若观测数据中有的数值超出此范围，则判断该数是异点。此法的关键在于产生平滑估计和选取ｋ。平滑估计可采用“中位数”方法。
……
３．２ 基于跳动特征的粗差识别方法
在观测物理量的过程线上检索异常值，假设观测物理量随时间缓慢变化，对应于观测时间序列……
４ 基于稳健估计算法的监控模型判别法
大坝在运行过程中，坝体的变形、应力应变等效应量观测值在环境量骤变时也会随之发生突变，此时若采用时空判别法来认定这些突变值为粗差是不合理的，这时可通过建立监控模型来进行粗差识别。基于统计监控模型的粗差判别方法中，当测量数据服从正态分布情况时，最小二乘估计具有最优统计性质，但最小二乘法不具备抗御粗差的能力，对含粗差的观测量相当敏感，个别粗差就会对参数的估值产生较大的影响。而在大坝安全监测领域的数据，其误差是不一定严格服从正态分布的。稳健估计（ＲｏｂｕｓｔＥｓｔｉｍａｔｉｏｎ），正是针对最小二乘法抗粗差的干扰差这一缺陷提出的，其目的在于构造某种估计
方法，使其对于粗差具有较强的抵抗能力［２］。
稳健性就是指在统计分析中，据以作统计推断的数据总不免要作理想假定，如独立性、概率分布模型、无外部干扰（如无粗差、系统误差等），若实际上原假定条件稍微偏离或有不大的差异时，所采用统计方法的统计推断结果也只有相应的较小改变，仍基本上具备原有的良好统计特性而不致于失效。对参数估计而言，若借以计算估计量的数据受少量粗差或系统性变化的许多小误差的污染，稍偏离原假定的概率分布模型，仅使该估计量有相应的小偏差，
且不致随污染误差增大而背离真实值，称为稳健估计。
在粗差不可避免的情况下，采用稳健估计，可充分利用观测数据（或样本）中的有效信息，限制利用可用信息，排除有害信息，使参数的估值尽可能避免粗差的影响，得到正常模式下的最佳估值。
稳健估计基本可以分为３大类型，即：极大似然估计即Ｍ估计、基于顺序统计量线性组合的Ｌ估计、基于秩检验导出线性组合的Ｒ估计，其中以Ｍ估计使用较多。基于Ｍ估计的稳健回归分析建模方法如下。
……
5 实例分析
5.1 基于平滑估计的粗差识别实例分析
取清江隔河岩大坝１９９７年１月１日至１９９８年１２月３１日的７３０组气温观测值作为样本数据进行粗差检验，所取样本的时间间隔是等距的，并在其中的５组观测值中加了５℃的粗差（如表１中加数据），以对成果进行验证。通过对平滑估计结果的统计分析，发现平滑估计值与实测值之差，即残差的绝对值小于１℃的观测值占７１．７％，在１～２℃之间的占１９．５％，２～３℃之间的占４．８％，３～３．５℃之间的占１．５％，大于３．５的占２．３％，即：有９７．７％的观测值与估计值的残差在３．５℃ 以内，说明残差小于３．５℃的观测值的置信水平为９７．７％，在这一范围内的数据是可靠的。
5.2 基于跳动特征的粗差识别实例分析
取清江隔河岩大坝１９９８年１月４日至２００４年６月２２日的５１组渗压观测值作为样本数据进行粗差检验，观测点位于１５＃坝段上游高程１２２ｍ处，测点编号为Ｐ２２－５。采用了２组方案，第一组方案是对原始数据进行粗差检验，第二组方案是在１９９９年
３月１７日的观测值中人为加入了０．０１５ＭＰａ的粗差（如表２中加数据）。分析结果如表２所示。
5.3 基于稳健估计算法的粗差识别实例分析
对清江隔河岩大坝１５＃坝段高程２０３．５ｍ处的垂线测点ＰＬ１５８０１的纵向水平位移观测资料进行回归分析，所取数据为１９９７年３月至２００６年１２月的共１５３组测值。自变量分别选取水位、气温、时效的组合形式，共计１２个因子，分别为：坝前水深的一次、二次、三次方，气温当天测值，气温前１０，２０，３０，６０，９０，１２０ｄ的平均值，距基准日期的观测天数，观测天数的对数。建模共采用了２组方案：方案１是采用逐步回归方法建模，方案２是采用稳健回归方法建模。回归分析成果如表３所示。从表３中可以看出，采用稳健回归方法的模型质量要明显优于传统的逐步回归分析方法。
6 结 语
针对目前大坝安全监测数据处理工作中的几种主要粗差识别技术的不足，采用了时空判别技术以及基于稳健估计算法的监控模型法，对粗差数据进行判别。其中时空判别技术充分利用了观测序列本身的时空基本信息，将观测值与历史的或相邻的观测数据相比较来判识粗差；基于稳健估计算法的监控模型判别法克服了经典的最小二乘法所存在的抗粗差干扰性差这一缺点，从给定尽量接近稳健估计的初值开始，在最小二乘回归的基础上逐步按残差大小加稳健化权，迭代求得模型参数的稳健估计，这一估计值最接近于无粗差影响时的正常估值。隔河岩大坝安全监测数据的实例分析表明，这些方法具有较好的粗差识别能力。
引用本文：周元春，甘孝清，李端有. 大坝安全监测数据粗差识别技术研究[J]. 长江科学院院报, 2011, 28(2): 16-20. ZHOU Yuan-chun, GAN Xiao-qing, LI Duan-you . Research on Gross Error Identification Techniques of Dam Safety Monitoring Data[J]. JOURNAL OF YANGTZE RIVER SCIENTIFIC RESEARCH INSTI, 2011, 28(2): 16-20.