近红外光谱技术简介及其在茶鲜叶评价上的应用

本书主要内容如下：1近红外光谱的发展及特点1.1近红外光谱技术的发展历程1.1.1近红外光谱仪器的发展1.1.2计算技术的发展1.1.3应用领域的发展1.2近红外光谱分析技术的组成1.3近红外光谱技术的特点2近红外吸收光谱基本原理3近红外光谱分析中常用的化学计量学方法4近红外光谱化学计量学软件5近红外光谱定量分析6近红外光谱定性分析8近红外光谱技术在茶鲜叶上的定量应用附录：近红外光谱分析技术及相关技术术语缩写词汇

本书作者王胜鹏，系湖北省农业科学院果树茶叶研究所职工。主要从事茶叶加工茶叶品质的近红外光谱快速无损分析方面的研究，并在2014年获批立项我所少有国家青年科学基金项目。湖北省农业科学院始建于1978年元月，是省政府直属的综合性农业科研*单位。主要职责是从事农业应用技术和应用基础研究、农业科技产品研制与开发、农业科技成果推广与应用。

1近红外光谱的发展及特点()11近红外光谱技术的发展历程()12近红外光谱分析技术的组成()13近红外光谱技术的特点()2近红外光谱基本原理()21近红外光谱原理()22双原子分子()23多原子分子()24主要近红外光谱谱带的识别()3近红外光谱分析中常用的化学计量学方法()31光谱数据预处理()32定量校正()33模式识别定性分析()34模型传递()4近红外光谱化学计量学软件()41软件主要结构与功能()42商品化软件概况()5近红外光谱定量分析()51近红外光谱定量分析过程与规范()52校正集样品的选择()53样品组成或性质的测定()54测定样品的近红外光谱()55建立数学模型()56模型验证()57近红外光谱分析方法的精密度计算()58校正质量控制()59模型更新()510近红外分析方法的误差来源及解决方案()6近红外光谱定性分析()61定性分析过程与规范()62近红外光谱定性特征信息的提取与表达方式()63近红外光谱定性分析过程中的建议()7近红外光谱分析的限制性因素与预判参数()71近红外光谱分析中待测量的光谱特征对分析的限制()72近红外光谱分析的参比值矩阵对分析的限制()73近红外光谱分析的光谱矩阵对分析的限制()74近红外光谱分析的预判参数()8近红外光谱技术在茶鲜叶上的定量应用()81近红外光谱技术应用于茶鲜叶质量评价的可行性()82茶鲜叶近红外光谱定量预测模型的建立()9近红外光谱技术在茶鲜叶上的定性应用()91茶鲜叶质量等级近红外光谱定性分析模型建立()92茶鲜叶产地判别的近红外光谱定性分析模型建立()93茶鲜叶海拔高度判别的近红外光谱定性分析模型建立()附录近红外光谱分析技术及相关技术术语缩写词汇()近红外光谱技术简介及其在茶鲜叶评价上的应用1近红外光谱的发展及特点

    11近红外光谱技术的发展历程按照ASTM定义，近红外光谱（Near Infrared Spectroscopy,NIR）是指波长在780～2 526 nm范围内的电磁波，是很早发现的非可见光区域，距今已有200余年历史。20世纪初，人们采用摄谱的方法抢先发售获得了有机化合物的近红外光谱，并对有关基团的光谱特征进行了化学解释，预示着近红外光谱有可能作为分析技术的一种手段得到应用。由于缺乏仪器基础，20世纪50年代以前，近红外光谱的研究有且只有于为数不多的几个实验室中进行，并没有得到实际应用。20世纪50年代后期，随着简易近红外光谱仪的出现以及Norris等科研工作者在近红外光谱漫反射技术上做的大量创新性的研究工作，世界范围内掀起了近红外光谱应用的一个小高潮，近红外光谱在测定农副产品（如谷物、饲料、水果、蔬菜、肉和奶）的品质等方面得到了广泛应用。这些应用都基于传统的光谱测量定量方法，当样品的背景、颗粒度、基体等发生变化时，测量的结果也会产生较大的误差，不利于模型的稳健。20世纪60年代后期，随着红外光谱技术的发展及其在物质结构测定中所起到的巨大作用，使得人们慢慢对近红外光谱失去了研究兴趣。20世纪80年代初期，由于近红外光谱技术仅能应用于农副产品领域，而在其他领域几乎未得到应用，以至于近红外光谱被戏称为光谱技术中的“沉睡者”。20世纪80年代后期，近红外光谱技术才真正为大家所认可，这主要是由于化学计量学方法的应用，再加上科研工作者对中红外光谱技术的积累，使得近红外光谱技术得到了迅速发展，逐渐成为一门独立的分析技术，有关近红外光谱的研究及应用文献呈爆发式增长。在1983年以后，近红外光谱仪器生产商每年都会召开一次靠前会议，会议的内容更侧重于生产仪器的改进和应用方面。1988年，靠前近红外光谱协会（CNIRS）成立，该协会北美分会对1905—1990年有关近红外光谱的文献进行了全面汇编，关于近红外光谱研究及应用的靠前会议，至今已经举办了17届，每届会议都有相应的论文集出版，刊登了大量有关近红外光谱仪器、化学计量学方法、新技术发展和各种新应用的文献。《Journal of Near Infrared Spectroscopy》和《NIR News》是在20世纪90年代创刊的两份专业杂志，在其他涉及分析化学和光谱分析的杂志上，如《Applied Spectroscopy》和《Analytical Chemistry》上也出版了很多有关近红外光谱基础研究和应用的文献。中国对近红外光谱技术的研究及应用起步较晚，但在1994年以来受到了多方面的关注，并在仪器研制、软件研究、基础研究和应用等方面取得了可喜的成果，尤其在农产品、饲料、药物、石油化工等领域的应用积累了很多实践经验。因为一个学科的发展史常常会对其今后的发展有所指导和借鉴意义，以下就对近红外光谱仪器、计算技术及应用领域3个方面的发展过程作一个简单介绍。111近红外光谱仪器的发展很早的近红外光谱仪器是一台摄谱仪，所取得的光谱只能根据某些化合物在近红外光谱区的吸收进行判断，很难用于定性或者定量分析方面研究。第二次世界大战结束后，近红外光谱仍未被科研工作者所重视，主要是由于这一区域内谱带重叠严重，再加上样品中的水分使谱图存在着变化。近红外光谱的吸收很微弱，使得对仪器的要求很高。在20世纪50年代以前，人们对紫外可见光谱仪及中红外光谱仪已经进行了大量的研究，而认为近红外光谱仪只是作为对紫外可见光谱仪的一个波长延伸仪器而已，并没有足够的重视，很早的透射式近红外光谱仪是Kay等在1950年研制的。20世纪50年代后期，Karl Norris很先将近红外光谱技术应用于农副产品分析。由于当时仪器的噪声较大不能使用，因此，他自己设计了一台近红外光谱仪。所有的近红外光谱仪从一开始就配备有计算机设备，只是初期计算机的运算速度和内存都无法与现在的计算机相比。在此基础上，美国伊利诺州农业部门开始招标测定大豆中蛋白、油及水分含量的仪器。Diekey-John公司生产了台商用近红外光谱仪，其中有1个卤钨光源、6个高精度的干涉型滤光片及1个硫化铅检测器。测量样品必须预先干燥，使其水分含量小于15%，然后样品经粉碎使其粒径小于1 mm，装入一个带有石英窗的样品池中。在20世纪70年代中期，Technicon公司与Diekey-John公司合作生产了一台近红外光谱分析仪，其中增加了防尘和仪器内部的温度控制设备，因此仪器的稳定性有所提高，同时采用积分球测量使得信号得以提高。在1985年以前，许多专用的近红外光谱仪一直使用滤光片作为分光器件，光栅扫描或傅里叶变换的仪器主要用于研究。也有人选用发光二极管（Light Emitting Diode,LED）这种窄带光源，但LED产生的光强度在不同波长处存在不同，会对后续的光谱校正带来一定的难题。目前，近红外光谱仪器的生产厂商已增加到几十家，所采用的分光系统、检测系统方面都存在差异。有些近红外光谱仪则是针对某一特定的测试内容而设计的，如水分测定仪等。由于近红外光谱是一种不破坏性的分析方法，很好适合在线分析使用，在20世纪70年代初就有一些非接触式在线分析仪用于传送带上食品和饲料中水分含量的测定，但在线分析的仪器都到用光纤传输信号的。112计算技术的发展由于近红外光谱吸收及漫反射光谱谱带很宽且重叠严重，在早期了近红外光谱技术的应用。Norris对谷物的分析是采用单波长线性回归或多波长多元线性回归的方法得到定量结果，但使用的波数受到滤光片个数的，在有些试验中还会存在较大的误差。在近红外光谱技术发展的同时，欧洲的Wold和美国的Kowalski教授20世纪70年代开始化学计量学的研究，尤其是着重研究了分析仪器与化学过程自动化间的联系，借助数学、统计学和计算机科学知识，研究从测定数据提取有效信息，将大量的数据进行坐标转换以达到降维的目的，消除信息中相互重叠的部分，典型应用为主成分分析（PCA）。在主成分分析的基础上，为了有效克服其存在的不足之处，研究者又发展了偏很小二乘法（PLS），该方法在对光谱矩阵进行降维处理的同时还引入了应变量的信息。目前，PLS是近红外光谱分析中应用很为广泛的计算方法，但当校正集样本中出现奇异点，或个别样品的性质范围已超出校正集样本范围时，可能会出现较大的偏差，因此，研究者开始寻找更加可靠的建模方法，如稳健PLS方法。由于有些因变量与光谱间的非线性关系，20世纪90年代中期以来，非线性校正技术在光谱分析中越来越占有重要的地位。近年来，有的文献提出将PCA或PLS与ANN相结合用来建模，使得计算速度得到了显著提高。在进行定性分析时，应用的模式识别方法随应用的需要也得到了很快的发展，尤其是支持向量机（SVM）方法，它对小样本数、非线性和高维数据空间的模式识别有其独特的优越性。但为了使模型更加稳健，模型建立前的光谱预处理方法也有很多的研究成果，很好计算方法是选择将由分析对象及所处的背景环境所决定。113应用领域的发展近红外光谱技术的发展是从农副产品中的应用开始的。由于逐渐对农产品的营养价值的重视，发展了很多的方法来测定其营养物质的含量，但均存在费时和费力的问题。近红外光谱技术可以快速提供低成本的分析结果，尤其是对农副产品中水分的测定，以后又用于谷物及饲料中蛋白、水分、纤维、糖分及脂肪含量的测定，都取得了较好的结果。在将近红外光谱应用于农副产品分析时，多结合漫反射分析技术，近红外光谱经漫反射出来后，可以有选择地被吸收一部分，进而获得被测物质中分子结构的信息。为了得到准确的结果，又做了大量的标准物质模板。近年来，又逐渐扩展到果品质量的检测方面，可以采用特殊的测样附件得到透射光谱，并取得了较好的定量结果。近红外光谱在农产品领域得到广泛应用后，目前在食品工业中也已成为不可或缺的质量检测手段，如肉类、食用油、奶制品、酒类、饮料和制糖工业中的中间产品和很终产品等。近红外光谱在药物分析中的应用也是很好广泛，目前对中间产品以及各种合成药的测定，尤其是真伪检测均有报道，并大部分成为日常分析手段。近年来，我国已大量报道了针对中草药质量控制的近红外光谱检测结果，在制药工业中所用的近红外光谱的标准方法已越来越成熟。在石油化工领域，Callis等在短波近红外光谱区域采用偏很小二乘法测定汽油的辛烷值，通过光纤实现在线监控以达到过程优化的目的，在石油化工领域得到了广泛应用，也带来了明显的经济效益。至今，近红外光谱分析技术所涉及的领域越来越广，如林产品、矿石、天体科学、生命科学、医学及基础化学等领域都能有效得到各种化学或性质的信息。近红外光谱分析和其他分析技术一样，先是早期的基础研究工作，如各种基团在近红外区的吸收测定，然后是在某一领域得到突破，并得到广泛使用，引起仪器制造商的重视，经不断完善推广，进入新的领域开展研究工作。随着应用的推广又进一步促进基础研究工作及仪器水平的提高，各种分析技术很终都有可能得到官方的认可，成为标准方法。目前，由于近红外光谱的发展历史及应用时间较短，除了农副产品外，官方认可的近红外光谱分析应用的标准方法尚在酝酿中。但科研工作者正在做各种准备，如实验室的结果比较、验证仪器及方法的标准物质等方面，在条件允许的情况下，提出新的标准方法，得到官方认可。12近红外光谱分析技术的组成近红外光谱分析技术由3个部分组成，一是准确、稳定地测定样品的吸收或漫反射光谱图的硬件技术（光谱仪器），这一硬件技术的主要要求就是必须保持长时间的稳定性；二是利用多元校正方法计算测定结果的软件技术；三是针对分析任务建立的校正模型。在特定波长范围内，样品的吸收光谱是光谱仪检测器测定，数字化后存入计算机。由图1-1可以看出，近红外光谱的分辨率是较宽的几个谱带，虽然已知一定的基团有一定的吸收谱带，但对于在结构上有细小差别的化合物而言，常会出现重叠的谱图。图1-1茶鲜叶样品近红外光谱虽然茶鲜叶样品的品质存在一定的差别，但其谱图却十分接近，要充分利用光谱所提供的信息采用多波长数据，采用全谱图或几个特定波长的吸收数据，数据点需要很好密集。在未知样品分析前，必须要有一组样品建立校正集，对校正集的每一个样品测定其化学成分含量，与对应的光谱进行联立建立校正模型。在需要测定未知样品时，必须使用该模型及扫描的未知样品光谱，预测其内含成分含量。近红外光谱分析技术是二级分析方法，其准确度不能超过在建立模型时所使用的测定物质组成或性质方法的准确度。同时，模型的建立需要投入大量的人力、物力和财力。为保持已有模型稳定，需要测定吸收谱图的检测手段在几年内是不变的，包括谱图的波长及谱图吸光度，一般相对误差应小于0001。为了使同一模型在不同仪器上进行使用，要求每台仪器间的重现性也要达到上述要求。近年来，在力求仪器稳定性和重现性达到上述要求外，对软件的要求也很好高，用于仪器间的模型传递。13近红外光谱技术的特点近红外光谱技术能够在短时间内在众多领域得到快速应用和普及，进而在数据处理及仪器制造方面有如此迅速的发展，主要是因为其在分析测定中具有以下特点。（1）可用于样品的定性分析，也可用于样品的定量分析。定性分析采用识别分析程序，先取得一组已知样品的吸光度建立模型，再测得待定样品在不同波长下的吸光度，用聚类原理确定样品是否属于该组样品中的一类。如果样品有几类，则可以建立多个模型，用未知样品的谱图来确定其所属类型。定量分析时，可用多元校正方法利用一组已知内含成分含量的样品建立定量分析模型，测定结果与已知结果的偏差小于已有分析方法的再现性。（2）分析速度快，产出多。近红外光谱的采集时间约为2 s，数据处理及统计分析都是由计算机进行处理。因此，在日程分析中，包括样品准备等工作时间，在5 min以内即可得到测定数据。近红外光谱技术的另外一个特点是通过一张光谱，可以测得各种物质性质和成分含量。（3）不破坏样品、不用试剂，是绿色分析技术。近红外光谱的取得可以是透射方式，也可以是漫反射方式。因此，样品可以是气体、液体和固体形式，不必做任何的形态改变。试样经过分析后，送回生产线进行生产，分析过程中不产生任何污染，是一种绿色分析技术。（4）投资少，操作技术简单。近红外光的波数较紫外光波长，较中红外光波长短，所用的光学材料为石英或者玻璃，仪器价格较低。同时光谱采集所需的光程适中，为1～10 mm，因而，可采用不用形状的测量探头，使得光谱采集方法更为便捷。（5）光纤的应用使得近红外光谱技术扩展到了过程分析及有毒材料或恶劣环境的远程分析，同时也使光谱仪的设计更为小型化。当然，除了上述近红外光谱技术的优点外，它还有一些不足之处。（1）近红外光谱技术必须使用相似的样品先建立一个稳健的模型才能快速得到分析结果，而模型的建立需要投入一定的人力、物力和财力。对于经常性的质量控制是十分的经济且快速，但只是偶尔做一次实验的话，成本还是较高的。（2）物质一般在近红外光谱区的吸收系数较小，对痕量分析不适用。主要参考文献严衍禄,张录达，高文淑1992傅里叶变换近红外漫反射光谱分析在农业和生物学中的应用［J］.现代科学仪器，32：27-31.袁洪福,陆婉珍1998近红外光谱分析技术正在快速进入石油化工领域［J］.石油炼制与化工，29(9)：47-50.Hart J R，Norris K H1962Determination of the moisture content of seeds by near-infrared spectrophotometry of their methanol extracts ［J］.Cereal Chem,，39：64.Stark E，Luchter K and Margoshes M1986Near infrared analysis (NIRA)：a technology for quantitative and qualitative analysis［J］.Appl Spectrosc Rev，22(4)：335-399.Weger L G1985Near-Infrared Spectroscopy of Organic Substances［J］.Applied Spectroscopy Review，21(1-2):1-43