导航：安全管理网>> 安全论文>> 环境保护论文>>正文

水体有机污染物浓度检测中的紫外光谱分析方法

文档作者：吴元清，杜树新严赞文档来源：浙江大学工业控制技术国家重点实验室		点击数：	更新时间： 2025年05月11日
下载地址：点击这里	文件大小： 564.47 KB 共5页	文档格式： PDF	下载点数： 1 点（VIP免费）

全屏查看

内容预览 [文件共5页]

本文件共5页，如需编辑使用，请下载。

注：预览效果可能会出现部分文字乱码（如口口口）、内容显示不全等问题，下载是正常的。

	文件大小：564.47 KB 共5页文件格式：PDF 下载点数：1 点（VIP会员免费）

上一篇：外加阴离子吸附剂对复合污染黄土淋洗过程…

文本预览

仅提取页面文字内容，供快速阅读使用。

第31卷。第1期
2 0 1 1年1月
光谱学与光谱分析
Spectroscopy and Spectral Analysis
V01．31，No．1，pp233—237
January，201 1
水体有机污染物浓度检测中的紫外光谱分析方法
吴元清，杜树新。，严赞
浙江大学工业控制技术国家重点实验室，浙江大学工业控制研究所，浙江杭州310027
摘要水体中的大多数有机污染物在紫外区域有较强的吸收。因此呵利用紫外吸光度检测水体中的有机
污染物浓度。在检测过程中，通过平滑、导数、标准正态变量变换等光谱预处理后，采用主元同归、偏最小
二乘、支持向蹙机等方法建立回归模型，并由该模型依据待测样本的紫外光谱数据计算出有机污染物浓度。
为了探究不同的预处理方法、建模方法在有机污染物浓度检测中的特点及内在联系，本文对一组来自污水
厂进出水的光谱数据采用不同的预处理和建模方法进行实验研究，研究结果表明：当获得的原始数据较好
时，可以汽接进行建模，进行光谱预处理反而会使模型效果下降；由于本实验中污水的样本数小于光谱数据
点数，所以最小二乘支持向最机更适合于本组实验样本。
关键词紫外光谱；有机污染物浓度检测；预处理；建模
中图分类号：X832 文献标识码：A DOI：10．3964／j．issrL 1000-0593(2011)01-0233—05
引言
水体中的大多数有机污染物在紫外区域有较强的吸收，
因此可以利用紫外吸光度检测水体中的有机污染物浓度(如
化学需氧最，chemical oxygen demand，COD)。吴同华等研
究r紫外光谱的峰面积与被测定污水的C()D含基的相关
性[1]。隽英华等研究r水溶液条件下苯酚及其酚类衍生物的
紫外吸收光谱。郝瑞霞等给出了定鼍表征污水中溶解性有机
污染物的紫外光谱参数，并证明紫外吸光度积分能很好地表
征污水总有机碳f2]。杜树新等应用支持向馈机方法实现』，紫
外光谱的有机污染物浓度测量[31。武晓莉等将Boosting-偏最
小二乘应用于紫外光谱水质分析，得到预测精度较高的模
型【4J。Charef基于200～350啪紫外吸光度数据，采用主元
分析和BP神经网络建立r城fH污水的COD模型【5]。Langergraber
基于200 750 nn-i紫外吸光度数据。采用偏最小二
乘(partial least squares，PLS)预测水质参数COD，得到较好
的预测效果L6j。
在应用紫外光谱检测有机污染物浓度时，其核心是光谱
数据的预处理、紫外光谱与有机污染物浓度指标之间数学模
型的建立。光谱数据的预处理主要有平滑、导数、标准正态
变最变换(standard normal variate transformation，SNV)等，
建模方法主要包括主成分回归(principal component regres—
sion，PCR)，偏最小二乘PLS和支持向最机(support vector
machine．SVM)等。为r探究这些预处理和建模方法在基于
紫外光谱的水体有机污染物浓度检测中的特点及内在联系，
本文对一组来自污水厂进出水的光谱数据分别采用平滑、导
数、SNV预处理方法，并采用PCR、PLS和最dx--乘支持向
量机(1east squares support vector machine，LSSVM)算法建
模，之后比较实验结果，分析这些建模方法在水质检测中的
优缺点，以便选出更适合于水体中有机污染物浓度检测的建
模方法。
1基本原理
1．1数据预处理
紫外光谱中包含一些与待测样品性质无关的干扰，如样
品的状态，样品背景，光的散射和杂散光等的影响。因此在
建模前需要消除光谱数据的无关信息和噪声。常用的预处理
方法有平滑、导数和SNV预处理等[7]。
1．1．1平滑处理
平滑预处理是选择一条原始光谱中几个点构成一个窗
口，用这些点对平滑窗口内的数据取平均或拟合，将窗口从
前往后依次移动一位。重复上述过程即可。信号平滑是常用
的降低噪声提高信噪比的方法，只是减小了噪声，没有改变变量的数日。常用的平滑算法有移动平均法和Savitzk胁
收稿13期：2010-05—17．修订日期：2010--08—30
基金项目：国家(863计划)项目(2009AA042123)资助
作者简介：吴元清．1985年生，浙江大学挎制科学与工程学系硕士研究生e-mail：yqwu(园ii盼zj也edu．cn
*通汛联系人e-mail：shxdu@iipc．zj“edu．cn
万方数据
光l＆#+0光谱丹析
【ay卷秘牛晰让。
I I 2}#n理
导数麒址州小厩l址光l*信5j强度仆m的斜率儿坫4-
思慰是选扦条原始光谱中的几十点构成十窗11将宙【I
内的数据点求导数MI叮得到导数光讲导数艇处理枉光谱分
析小町咀消除光滑的背骷1‘扰和辑线漂移．拽小光游之0 4的
麝加和f扰．捉廓光蔚的分辨串。但导数光阱1日时也台‘人
噪牛．降低俯噪比。根据求导级数．廿数砸处理一般讣一阶
导数和=阶导教A法等。
1I 3 SNVⅨ”8
标准Ir恋变聃变按{SNV)撷址拌针埘条光谱址行灶
月．即将光礴曲线l擞据点硪上该光谢曲线的·r均仉m豫H
标准燕，}要是消除光程变化、敞射和颗挂大小之俐舯r
扰”。坐化公式如下
X。一X．
／Σ(x．置)2 V—1鬲=r
式中x是第i十样丰的一F均值．m为肇外光带曲线的波长点
数(壹咕十数)．i是样率散。
1 l_{SNV+^窗宽}滑女基巍
为rm除光请基线的影响，采州大街宽平拊击珐线即
将平附算法的窗宽设定为波长^数(娈聃个数)的i／8，然后
将窗lI内的光谱数据点减击宙r1甲均仉就”f“潲睬光谱难
线
1．2建横方法
紫外光滑分析一f-常用舯建摸^法土篮有士成丹川门
PcR、偏龇A'---乘P【5和立持向量机SVM，迪衅打沾都能
够建屯紫外啦光度々“】D之问的模型。
l 2I主成讣川ⅡI FCR
t成分州门PCR的H的址降维．“排赊光嘴信息中棚
i茜蒋曲“-息。其原理培将光暗矩眸进行立换，使少欺儿个
韭聃址麒壹埘曲线性目I☆．然n选坡JE中的F啦分柬进朴多
元线性H 9I。Hm解班T接线刚胚．仳如果在选择芒成分时
去除了打朋成分，晰保留r噪声，耶幺数学模Ⅻ就台发m很
大的偏差o’。
1 2 2信最m=隶I>LS
PLS是“E成分分析H'A(I'rmcilⅪl⋯呻I㈣t ana]yslsl
为坫础发胜起束的多元分析方法。I’Ls埘轱^光l*矩m：
x和输小c()D浩度目!阵Y进}r埘样的处理．在分解姬昨x
时考虑y的影响．使x丰戚分直接’4 y戈旺。兜服，PCR
R时光谱自-阵x进打分解的缺点。
PLS抖法处殚光潜矩阵时．也前茧时主戚分数进行进
择，主成讣个数进掸偏小将导披挂Ⅻ对训练佯奉拟合水足．
车能克丹反映样水的光谱信息使拯型准确度降低；t成分
个数选抒偏大将哥致懂型时训练样本过虚拟音，乜古*1：
扰信息．使模型预测能力F降+这日种竹况杯台降低模型坝
测精度“”。
1 2 3支持自量札SVM
传缱的模式4}别打浊强调降维．1nJ SVM则扣反SVM
第xl咎
将敏批雄映射副庙雎特征十M．存舟维窀问中求解nj次规
划¨越-Ⅻm娄样丰的址优超曲㈣．光谱j’析tj-常使州SVM
r。i的『硒vM．㈨件式约求代朴SVM rt的小等式约束，求
解～绁线性方程求找in最优分光超曲呵．提高求解迪度“。
I-KSVM需拦心甘帕参数冉棱参数口’(核函数采用RBF
∞数)和慧躅系数y。惩j_=I系数y土蛰足控制埘错分样丰惩罚
的程度．实现枉带分样小舯比例与算法复杂崖之刚的折rI，。
RBF棱m觳的棱参数，的选择埘模型的准确度起到掘太的
n：州选扮太小则会造成过学习．选的太大会造成父学
d1‘，
2实验与结果分析
2 1水样、仪器＆光谱数据
率实验的水样批∞批．来自粜污水处理f。、=缎进
水、出水的静世漩清赦。史验中．紫外光源为氘灯光谱仪
为OceanOplics公ld的USB2000w LJv光滑仪(删醴波长范
恫：180～870 nm)，采样波K问隔约u 34⋯每个水样的
光谱数据点为2 048十．32十求样舳掀始紫外光谱如崮1所
“。在本试验中．COD”为fJ机}_染物浓度指标采用国标
法洲聃即采川温化#原弹．0一定条"r州雨铬随钾作韫
5 ” ‰恤20 25 ”
CODⅧ№“32 wal2rⅢpbⅢ№
实验
Ⅲ￡波长的选择
万方数据
第1肪光谱学与光谱分析
本宴齄中32十样品获得的光谱波段为180～870 nm。由
f测虽的肇补光请nf能包含T一些冗杂信息目噪声}’扰·影
响建橙的准确度．前坚时非得的光谱波段进行选扦。从图1
的蟓精兜普圈巾町看出．180～240曲·波段乜古未端吸收Ⅻ
比色皿干扰光．噪声较大t不适台建立模型；大于450呻波
段，啦光度较小．呵利m的信息根少，难“找出光谐刮舯謦
别。另外．化学成分的特征渡妊(最大暇收渡长)太多数在
250～450⋯所“选择波长2S0～450 nm(每个样率共555
25。Ⅲ‰3d50∞¨mⅧ 450
Fig．3 UItmvldet一”a(250～450Ⅲ)
0f32眦lH sampl8
个光谱点)作为奉实验光谱范崮。选择后的光谱图如恻3所
示。
2 2 2模型性娩评竹i*厦##
采用耐一盘x验证方法评价模型的精度。留一交x验证
法的思想足：从32个样本集中取jij第，十样本．对剩下的M
十样本进|彳?ilil练．得到污水的c0D模撮-再用这个模删删
试第z十样本．恢过程蘑复32趺。奉研究中．秉州均方谋差
(RMSEP)和复橱关系数R作为性能指标评价模型的磺测能
力，其计算公式为
RMSEr；再甄万
其中M，j．，j分别为第，个样本的标准分析值、第，的样本
的预测值、标准分析担的平均值．N为样本的数日。
2 2 3妾§镕果
为T№较并种光薄牧据侦处理方法、建幔方珐．在奉研
究巾将六种光谱例处理方法(包括年作预处理)和=种建摸方
法进行纽台．其得到】8纽鬟骑结果，如袅1所示。
T砧k1 Exl9erlm蚰ial n瑚ills 0ht日|耻d竹v目I们sqKh砌pm蛔m蛐t聪th日and v曲Em咄Il雌I僧tlWm
些堕生鳖些些里蔓堕些立堡塑!坚!! 壑塑苎!塑! 堂型堡墨
FCR tⅢng 12 384 0 972 6 Fm”8☆7
SNV 30 816 0 816 o }mH＆*4
SNV}女#＆ 35 04 0 753 9 t＆”&amp;amp;^5
￥* 12 249 6 0 973 3{mH#∞7I☆月∞％
n# 12 038 4 0 97{z i＆"#☆II．目≈∞3
=nB 13 881 6 n 965 5 ±＆##*10i☆≈*¨
P旧ZⅡⅢ月i3 094 4 0 969 4 =E日f#自4
SNV 17 184 0 946 6 #目}＆～5
SNV-女#＆ zT 30Z 4 1 859 0 ±口fn女3
** 13 036 8 o 969 7 ±目f散为1I*宽∞∞
ng 12 8{4 8 o 970 5 ±口7＆为4；目￡自49
=m* 15 072 0 959 2 i目f#∞7；自宽∞1 3
I'sSVM ￡Ⅲ*月10．579 2 n 980 z ≈目末#，；{90 2I；镕叁数，,146
SNV ∞816 0 957 l 《日{#r一270}&amp;amp;$#，=16 4
SNV+女*＆44 294 4 0 5,56 7 ≈∞《教嗍403*参#，一0 008 2
f* 10 694{0979 6 馨目《敷y=54l 76}#$数，446
一目# 12 729 5 0 971 0 g"i＆y=1 61 915 49，《$教，一1”
一n{ 3l 987 2 0 801 2 磐a系教7=¨6 50719&amp;amp;参敏，；0”
2 3实验结果分析
(1)PCR．pLS和1．SvSVM都能得到精度较好的艇型．但
采用12‘SVM所建模堪的精度高于其他蹦种算法．更适台处
理率鲲数据。
(2)PCR能够较好的体现原始光谱矩阵x．PLS得到的
综音蜚硅币仅较好的件现了原始光谱矩阵x．而且与浓度矩
阵y椰盖程度也最天。如果x巾存在々r*i戈程度较低的变
厨时．P1．q nf以{#到比PCR好的模型。口1足由于车宴骑中光
谱矩阼x与浓度矩阵y翱盖鞋度L经很高，不存在冗余变城
信息．所“PLS和PER的结罘比较近似。针对x和r柞在
较多冗杂信息的情况．PLS鹿更具有优势。
(3)LSSVM竹法中l¨于y与，的变化范田较大．所眦
在宴验中采川r眦一为底的指数循环法寻找乍肺蛀优解。找
出全局最优垂数后略微改变[sqVM的骞教r与，．发现
I-KqVM的参数枉一定范州内波动时．模型精度影响平大。
({)it-xi-车组实验戥槲．并午是罐种预处理方法都能够
孵
¨¨”¨帖¨雌o
18}iBS
万方数据
236 光谱学与光谱分析第31卷
使建模效果得到改善，有些预处理方法(如SNV，二阶导)破
坏原来较好的数据，使建模效果变差。原始谱图中，吸光度
大的光谱曲线(上端的曲线)对应于c()D大的样本，吸光度
小的光谱曲线(下端的曲线)对应于COD小的样本。SNV预
处理方法是减去每一样本光谱的平均值再除以方差(目的是
消峰值)，但这样处理后减小了光谱的绝对强度，压缩了有
效信号，放大了噪声信号，通过SNV预处理后的光谱分辨
不出水样的不同，c()D的区别度反而减小了。所以SNV破
坏了区别度较好的数据，不适合处理本组数据。当采用SNV
+去基线预处理时，同样也放大了噪声信号，使建模效果下
降。
(5)实验结果显示，一阶导数预处理比其他预处理方法
得到的模型精度高。这是由于一阶导数处理后的数据与原始
数据存在较好的相关性。反映在谱图中是。原始光谱图中数
据较大的点，图形也越陡，一阶导数越大。
(6)原始光谱中信噪比较好，所以平滑预处理后得到的
光谱图与原始光谱图差别较小，因而平滑后的建模效果接近
没有预处理的建模效果。
(7)在实验中，使用均方误差RMSEP和复相关系数R
对主因子数作图的方法确定最佳主因子数。结果显示：当
PLS和PCR的主因子数增加到一定的数值时，R和RMSEP
趋于稳定。这说明光谱数据中有很多相似点，当主因子增加
到一定值时，光谱罩面的有用信息已经完全被利用，再加入
的主成分是与被测组分无关的噪声成分，所以当主因子增加
到一定值时建模效果趋于稳定，只出现微小的上升或波动。
即x的变化主要体现在前面几个载荷向量方向上，在后面几
个载筒向量方向上投影很小，增加贡献率较小的主成分对建
模效果影响不大。
3结束语
本文采用平滑、导数、SNV等预处理方法来处理原始光
谱，运用PLS。PCR，KSVM等方法来建立模：}l!!。实验结果
表明针对本组污水样本，不进行光谱预处理且采用I Ss、孙，|
时得到的模型效果最好。取得最优的RMsEP和R分别为
10．579 2和0．980 2。由于本组实验数据较好，采用光谱预处
理反而破坏了原来较好的数据．所以光谱预处理不一定能够
提高模型的精度。UsSVM的建模效果要优于PLS和PCR， 这是因为U洲适用于小样本数据，对本组实验数据具有
更好的适应性。
[1]WU Tong-hua，GUO Hong，GUO Jing-ci(吴同华，郭虹．郭敬慈)．Environmental Monitoring in China(中国环境监测)，2009，25
(4)：57．
[2]HA()Rui-xia，CAO Ke-xin，ZHAO Gang(郝瑞霞，曹可心，赵钢)．Journal of Beijing University of Technology(北京工业大学学报)，
2006，32(12)：1062．
DU Shtrxin，WU Xiao-li。WU Tie-jun(杜树新，武晓莉，吴铁军)．Chinese Journal of Analytical Chemistry(分析化学)，2004，32(9)：
1227．
WU Xiao-li，IJ Yan-iulI．WU Tie-iun(武晓莉，李艳君．吴铁军)．Chinese Journal of Analytical Chemistry(分析化学)，2006，34(8)l
1091．
Chard A，Ghanch A，Baussand P．et a1．Measurement，2000。28：219．
Langergraber G。FIeischmann N，Hofstadter F．Water Sdenee and Technology，2003。47(2)：63．
CHU Xiao-li，YUAN Hong-fu，LU Warrzhen(褚小立，袁洪福，陆婉珍)．Progress in Chemistry(化学进展)，2004，16(4)：528．
Barnes RJ，Dhanoa M S，IJster Susan．J．Applied Spectroscopy，1 989．43：772．
LU Wan-zhen(陆婉珍)．Modem Near Infrared Spectroscopy Analytical Technology(Second Edition)．(现代近红外光谱分析技术，第2
版)．Beijing：China Petrochemical PressClt京：中国石化出版社)，2007．33．
、^bId S。Ruhe A，、^，old H．et aL Siam Journal on Scientific and Statistical Computing．1984，5：735．
W01d S，Sjostrem M．Eriksson L Chemometrics and Intelligent Laboratory Systems。2001，58：109．
ZHA0 Chun-hui，QIA()Lei(赵春晖，乔蕾)．Applied Science and 1khnology(应用科技)，2008。35(1)：44，52．
Suykens J A K，VandewalleJ．Neural Processing Letters，1999，9(3)：293．
]
]
]]]]]
]]]]
钉
钉
明明"明明
叫加翊埘
rL
[
[rL[[[
[[[[
万方数据
第1期光谱学与光谱分析237
Ultraviolet Spectrum Analysis Methods for Detecting the Concentration of
Organic Pollutants in Water
WU Yuan-qing。DU Shu-xin’。YAN Yun
State Key Lab of Industrial Control Technology，Institute of Industrial Process Control。2hejiang University，Hangzhou
310027，China
AImraet The absorption rate of ultraviolet could be used to measure the concentration of organic pollutant。as most of the orgarlic
pollutant has stronger absorption rate in ultraviolet region in water．In the present paper，principal component regression
(PCR)，partiaI least squares(PLS)，and support vector machine(SVM)were respectively used to model a regression model after
the spectrum preprocessing。such as smoothing，derivation，standard normal variate transformation(SNV)，etc．Then，the
concentration of organic pollutant could be measured via the ultraviolet spectrum and the regression modeL In the experiments，
a group of water samples frotn the wastewater treatment process were used to verify the effects of the various preprocessing and
modeling approaches．ne results showed that for the good spectrum data．direct modeling without the spectrum pretreatment
could be used since the pretreatment would worsell the results．L＆洲approach is inore applicable in the P．ase of small-size姗一
pies．
Keywords Ultraviolet spectrum；Detection of organic pollutant concentration；Pretreatment)Modeling
*Corresponding author
(Received May 17，2010；accepted Au舀30，2010)

网友评论 more

环境保护论文最新内容

05-11