-
2022-03-11 17:06:17
按照《国务院关于开展第三次全国土壤普查的通知》要求,根据《第三次全国土壤普查工作方案》(农建发〔2022〕1 号)确定的全国统一筛选测试化验专业机构的技术路线,国务院第三次全国土壤普查领导小组办公室决定组织开展土壤普查实验室筛选工作。
而根据《国务院第三次全国土壤普查领导小组办公室关于开展普查实验室筛选工作的预通知》(以下简称《预通知》),北京、安徽、贵州、广西等地均已发布相关工作通知,开展实验室筛查工作。
现将《预通知》内关于检测实验室、省级质量控制实验室和国家级质量控制实验室这3类实验室的职责、条件要求以及第三次全国土壤普查理化性状检测指标及主要仪器设备进行一个简要的分享。
第三次全国土壤普查
理化性状检测指标
第三次全国土壤普查
理化性状检测主要仪器设备
制样设备
设备名称
数量(台/套)
视频监控设备
≥1
研磨设备
≥3
筛分设备
≥3
称样设备
设备名称
数量(台/套)
百分之一电子天平
≥3
百分之一电子天平
≥2
物理指标测定仪器设备
设备名称
数量(台/套)
颗粒分析自控吸液仪或土壤颗粒分析吸管仪或土壤比重计
≥5
直径20cm,高5cm,孔径为10mm、7mm、5mm、3mm、1mm、0.5mm、0.25mm的土壤筛组和孔径为5mm、3mm、2mm、1mm、0.5mm、0.25mm 的土壤筛组
≥10
样品前处理设备
设备名称
数量(台/套)
微波消解仪
≥1
可控温电热消解仪
≥2
恒温油浴箱
≥1
恒温振荡器
≥2
马弗炉
≥1
铂金坩埚(30mL)
≥10
化学性质及重金属检测仪器
设备名称
数量(台/套)
定氮仪
≥2
酸度计
≥2
电导率仪
≥1
分光光度计
≥2
火焰光度计
≥1
原子荧光光谱仪
≥2
火焰原子吸收分光光度计
≥1
石墨炉原子吸收分光光度计
≥1
电感耦合等离子体发射光谱仪
≥1
电感耦合等离子体质谱仪
≥1
实验室条件要求
实验室应是依法设立,能够独立承担法律责任的法人单位,对其出具的检测结果负责,并承担相应法律责任。不具备法人资格的实验室需经所属法人单位同意并授权。实验室或者其所在的单位,无检测数据造假等违法违规不良信用记录。实验室应建立防范和惩治弄虚作假行为的制度和措施,确保其出具的检测结果准确、客观、真实和可追溯。实验室应独立承担普查任务,不得分包和转包。实验室及其人员应严格执行普查工作有关规定,并落实相关责任。
检测实验室
01资质条件
应具有保证其检测活动独立、公正、科学、诚信的质量管理体系并有效运行,持有国家或省(自治区、直辖市)市场监督管理部门颁发的《检验检测机构资质认定证书》或中国合格评定国家认可委员会颁发的《实验室认可证书》。具备《第三次全国土壤普查土壤样品制备、保存、流转和检测技术规范(试行)》中规定的样品制备保存设备设施与场地条件;具备全部第三次全国土壤普查土壤理化性状指标检测能力,及所需仪器设备;资质认定批准或实验室认可的检测能力范围应涵盖 50%以上的第三次全国土壤普查土壤理化性状指标。经省级第三次土壤普查领导小组办公室组织专家(不少于 7 名)确认的省级及以上科研、教学单位实验室,可视为具有上述同等资质条件。
02能力证明
能力证明应具有与所申请承担任务相适应的工作经验,近3 年内应开展过土壤相关检测活动,年检土壤样品能力不少于 3000个。提交近 3 年参加的与所申请承担土壤普查检测任务相关的能力验证与考核等情况的证明材料。
03人员队伍
应具有与所申请承担任务相适应的管理人员和专业技术人员,人员技术能力和数量应能满足普查检测任务需要。应对所有从事样品制备、检测、签发检测报告等工作人员,进行相应的教育、培训,确认相应资格并颁发上岗证。上岗证应标明准许操作的仪器设备、检测指标等。关键岗位(技术负责人、授权签字人、质量监督员等)人员,应具备土壤检测相关的专业背景或工作经历,并保证能直接参与普查样品检测、质量控制等工作。通过所申请检测指标能力确认且在岗的检测人员不少于 15 人。检测人员应熟悉相关检测方法和质量控制措施;样品制备人员应熟练掌握一般样品和土壤剖面样品等样品制备流程;质量控制人员能够按照有关要求开展实验室内部质量控制工作,具备判断实验室检测数据准确性、方法有效性以及编写质量评估报告的能力。在承担土壤普查任务期间,实验室应保证管理人员和专业技术人5员的基本稳定。
04场所环境
应具有固定的样品制备、保存和检测场所,并符合温度、湿度等场所环境有关要求。承担样品制备任务的,样品制备室面积不少于 80m2,样品保存室面积不少于50m2,制样室内应具备互联网络条件,并安装在线全方位监控摄像头,确保可以接受远程实时检查。检测室设施条件和环境应满足分析仪器、检测方法等有关要求。样品制备和检测区域应有明显标识,对相互有影响的活动区域进行有效隔离,防止交叉污染。对可能影响检测结果质量的环境条件,应进行识别、监控和记录,保证其符合相关技术要求。
05设备设施
应配备数量充足,且技术指标符合所申请普查样品制备或检测任务要求的仪器设备设施,仪器设备设施完好。对检测结果准确性或有效性有影响,或计量溯源性有要求的仪器设备,投入使用前应计量检定或校准,并保持其在有效期内使用。辅助仪器设备应进行功能核查。所用质控样品和化学试剂等应符合相关检测标准要求。质控样品应能溯源到标准物质(或参比物质)。化学试剂有专人负责,严格按照相关规定加强安全管理。
06检测方法
应能按照《第三次全国土壤普查土壤样品制备、保存、流转和检测技术规范(试行)》规定的检测方法(包括样品制备和前处理方法),完成所承担的样品制备或检测等任务。所用检测方法应经方法验证或确认,并形成满足方法检出限、精密度、准确度等质量控制要求的相关记录。
07质量保证
应能按照《第三次全国土壤普查全程质量控制技6术规范(试行)》有关要求,对样品制备或检测等任务制定内部质量控制计划,实施全过程质量控制,确保工作质量。不受任何部门和经济利益的影响,保证样品制备、检测等工作客观、公正。应建立检测数据和报告质量审核制度,指定数据审核人员和检测报告的编制、审核及签发人员。
省级质量控制实验室
省级质量控制实验室除应满足检测实验室条件要求之外,还应满足以下各项要求:
1、具有丰富实验室质量管理经验和良好信誉,法律责任承担单位为事业单位。
2、具备为本省(自治区、直辖市)普查样品制备与检测等提供技术指导、技术培训、技术管理等能力。
3、在本省(自治区、直辖市)发生检测结果争议时,应具备复检评判的能力。
4、有盐碱地普查任务的省级质量控制实验室,应具备地下水样等检测能力。
国家级质量控制实验室
国家级质量控制实验室除应满足检测实验室条件要求之外,还应满足以下各项要求:
1、具有丰富实验室质量管理经验和良好信誉的省部级及以上检验检测机构,法律责任承担单位为事业单位。
2、具备为全国普查样品制备与检测等提供技术指导、技术培训、技术管理等能力。
3、具备对有争议的省级质量控制结果复检评判的能力。
实验室筛选步骤
实验室筛选步骤
凡符合本通知中检测实验室和省级质量控制实验室条件要求的单位,可填写《第三次全国土壤普查实验室申请书》,向所在地的省级第三次土壤普查领导小组办公室提交书面申请和相关材料,并对其真实性负责。凡符合本通知中的国家级质量控制实验室条件要求的单位,可经专家推荐,向国务院第三次全国土壤普查领导小组办公室提交书面申请和相关材料。
检测实验室筛选
省级第三次土壤普查领导小组办公室按本通知有关要求,组织开展本省(自治区、直辖市)行政区内的检测实验室初步筛选工作,数量原则上不超过30家。
(……)
实验室职责任务
(一)检测实验室
1.依据《第三次全国土壤普查土壤样品制备、保存、流转和检测技术规范(试行)》等要求和省级第三次土壤普查领导小组办公室土壤普查样品检测任务安排,做好样品制备、保存、流转和检测工作
2. 按照《第三次全国土壤普查全程质量控制技术规范(试行)》有关要求,制定内部质量控制计划、编制质量评价报告等,确保工作质量。
3.自觉接受国务院第三次全国土壤普查领导小组办公室和省级第三次土壤普查领导小组办公室监督管理,接受国家级质量控制实验室和省级质量控制实验室的技术指导等。
(二)省级质量控制实验室
1.参与制定本省(自治区、直辖市)质量保证与质量控制工作方案,对承担本省(自治区、直辖市)普查任务检测实验室开展质量监督检查和留样抽检工作,协助开展能力验证和飞行检查工作,并编制检测能力和检测质量评估报告。
2.协助国家级质量控制实验室做好能力验证、留样抽检和飞行检查工作。
3.有盐碱地普查任务的省级质量控制实验室,负责承担本省(自治区、直辖市)地下水样等检测任务。
4.参与组织开展本省(自治区、直辖市)质量控制数据审核,编制省级质量保证与质量控制报告等。
5.自觉接受国务院第三次全国土壤普查领导小组办公室和省级第三次土壤普查领导小组办公室监督管理,接受国家级质量控制实验室的技术指导。
(三)国家级质量控制实验室
1.参与制定全国质量保证与质量控制技术规定和工作方案,参与组织开展能力验证、留样抽检和飞行检查等工作。
2.参与对省级质量控制实验室和检测实验室开展技术培训、技术指导、技术服务等。
3.参与开展省级质量控制数据复核工作,编制全国质量保证与质量控制报告等。
4.自觉接受国务院第三次全国土壤普查领导小组办公室监督管理。
更多相关内容 -
土壤高光谱数据预处理与变换
2020-01-06 11:20:43本次实验共收集研究区覆盖Aster高光谱遥感影像6景,获取时间为2017年,云量均小于10%;Aster GDEM数据10景,空间分辨率为30米;Hyperion高光谱影像2景,波段数有242个;landsat8 ETM+影像共5景,获取时间为2017年,...数据准备
本次实验共收集研究区覆盖Aster高光谱遥感影像6景,获取时间为2017年,云量均小于10%;Aster GDEM数据10景,空间分辨率为30米;
Hyperion高光谱影像2景,波段数有242个;
landsat8 ETM+影像共5景,获取时间为2017年,云量小于10%;
Sentinel2高光谱遥感影像两景,云量小于5%;其它数据有陕西省1:100万比例尺地质图和陕西省矢量数据。
野外数据采集
本次野外考察地点主要是陕西省榆林市,在野外考察之前先查好研究区的天气状况,准备好考察地的地形图、地质图等相关资料,察时间为2017年10月11日至10月17日,这几日天气主要为晴天,适合野外采点取样,本次实验共采集350个样本。
室内土壤光谱数据测量
1.土壤光谱反射率采用 ASD Field Spec Pro FR 全光谱便携式地物光谱仪在实验室内测量。波长范围350~2500nm,在350~1000nm 范围内采样间隔1.4nm,光谱分辨率为3nm ,输出波段数为 2150( 重采样间隔为 1nm) 。
2.传感器置于离土壤样本表面 0.3m 的垂直上方,视场角为 8°;设置1000 W的卤光灯,距土壤表面0.5天顶角15°,可提供到土壤样本几乎平行的光线。在每次才几千都要进行白板定标,每个土壤样本连续测定5次,去除异常光谱曲线后进行断点修正,再 进行算术平均运算,最后导出ASCII格式文件,得到该样本的光谱反射率数据。
3.由于光谱采样时不同波段采用不同的探测元件,导致探测元件分区接点处的光谱曲线数据出现轻微跳跃现象。本研究采用抛物线拟合校正方法对此进行了处理。
4.由于光谱仪各波段间对能量响应的差异,使得光谱曲线上存在一些噪声,利用卷积(Savitzky-Golay)平滑方法,选取3像元×3像元大小的窗口对光谱进行平滑去噪处理。
5.Savitzky-Golay卷积平滑算法是移动平滑算法的改进SavitzkyGolay方法进行平滑滤波,可以提高光谱的平滑性,并降低噪音的干扰。S-G平滑滤波的效果,随着选取窗宽不同而不同,可以满足多种不同场合的需求。
6.每一测量值以平滑系数的目的是尽可能减少平滑对有用信息的影响,该烧平滑去噪算法的劣势,可基于最小二乘原理,用于多项式拟合求的。Savitzky-Golay卷积平滑关键在于矩阵算子的求解。
7.设滤波窗口的宽度为n=2m+1,各测量点为x=(-m,-m+1,0,0,1,…m-1,m)采用k-1次多项式对窗口内的数据点进行拟合
y=a_0+a_1 x+a_2 x^2+⋯+a_(k-1)
于是就有了n个这样的方程,扣成了k元线性方程组。要使方程组有解则n应大于等于k,一般选择n>k,通过最小二乘法拟合确定拟合参数A。
由此得到:
B=X∙〖(X^T∙X)〗^(-1)∙X^T
实验室内波谱曲线变换1.将土壤光谱数据进行数学变换可以更好地分析光谱数据与土壤参数之间的关系,扩大土壤样品间的光谱信息差异及土壤属性信息的细小差异。
2.其中对光谱数据做微分处理不仅可提高分辨率,而且能提高光谱数据与土壤各参数间的相关性。为了突出土壤的光谱特性,还对经过预处理后的土壤光谱反射率(REF)进行反射率倒数(1/R)变换、反射率倒数的对数(Log(1/R))变换、反射率一阶微分(FDR)变换、反射率二阶微分(SDR)变换以及连续统去除(CR)变换。
土壤光谱反射率曲线:
由上图350个样本土壤光谱反射率曲线,可见,虽然土壤样本光谱反射率高低有所同,但从整体趋势上有明显的共同特征。所有样本的土壤光谱形态相似,基本平行,土壤的反射率介于之间,光谱曲线在具有一定的波动性,且所有的曲线均收于短波方向可见光的蓝光区域,相对发散于近红外区,多数土壤近红外谱区的光谱反射率高于可见光。
波段与波段之间具有良好的正相关性,图中土壤光谱曲线整体表现出波段反射率相对较低,但随波长增加反射率迅速增大,光谱曲线较陆;波段反射率较高,但随波长增加反射率上升速度较小,光谱曲线较平缓;波段反射率仍随波长增加上升,上升速度加快;波段反射率随波长增加呈下降趋势。
分别在和处存在明显的键和的水吸收特征,这主要是残余在土壤中的少量水分以及空气中的水汽吸收引起的。
室内土壤元素含量测定
土壤化学元素含量使用美国INNOV-XALPHA-c8200便携式矿石元素分析仪在实验室进行测量,测量前需进行标准化,每块样土测量约2min,测量后的数据导出即可,元素含量单位为g/kg,共测量350个样本,最后将测得的结果Excel文件导出:
Hyperion数据处理本研究采用的高光谱数据由美国EO-1卫星装载的高光谱成像光谱仪 Hyperion获取。
Hyperion 成像光谱仪获取的连续光谱波段范围是356-2577nm,波谱分辨率10nm,Hyperion图像的幅宽是7.7 km,空间分辨率为 30 m,传感器重访周期16天,影像灰度量化等级为12bit。
对外共享的Hyperion数据包括L1R和L1T两种格式,其中L1R数据经过了相对辐射校正、辐射定标操作,数据格式为HDF;L1T数据经过了相对辐射校正、辐射定标、系统级几何校正,系统级地形校正,坐标系统为UTM-WGS84坐标系,数据格式为GeoTIFF。
两种数据格式均校正了可见光、近红外(VNIR)成像传感器与短波红外(SWIR)成像传感器所成影像进行同步合成时的空间错位问题,同时SWIR波段最后一列(第256列)像元DN值设置为0值。
两种格式数据均为进行环线修复、垂直条纹去除、“smile”效应校正和大气校正。
L1R数据未进行集合定位因此呈竖直方向,而L1T数据经过了几何粗校正,影像呈倾斜方向分布,由于坏线、条纹、“Smile”效应均沿着飞行方向分布,因此从数据的预处理角度来说L1R数据更便于进行各种畸变的消除。
L1T数据发布之前虽然经过了几何粗校正和系统级地形校正,仍然为粗校正数据,空间定位误差仍达百米以上。处理L1T数据需要先将影像旋转至竖直方向,去除掉各种畸变之后再将其璇转回原始角度。
在预处理流程上,L1T数据相比L1R数据多了以下三个步骤:确定旋转角度、旋转为竖直方向和璇转回原始角度,其它预处理步骤与L1R数据完全相同。
去除坏线
波段剔除需要剔除的波段包括未定标波段、重叠波段和水汽影响波段。由于这些波段不含有或者含有极少有用的信息,其存在也会大大减慢数据处理的速度,因而需要进行剔除。
从美国地质调查局(USGS) 订购的Hyperion数据共有242 个波段,其中 44 个波段不能用于计算,主要原因是仪器在这些波段敏感性相对较差正式分发的Hyperion L1级数据中下述波段已经被设置为零值(Barry,2001),这些波段也称之为坏波段(Bad Bands),band:1-7,58-76,225-242,121-126,167-180,222-224波段受水汽吸收影响比较严重(Dat et al.,2003),以坏波段形式标识去除未定标波段及水汽影响的67个波段,原始波段数为242,最终剩余的可用波段数为175。
波段号 波长范围(nm) 处理程度
VNIR
1~7 356~417 未辐射定标
8~55 426~895 已定标、校正
56~57 913~926 已定标、校正(与77-78波段重合
58~70 936~1058 未辐射定标SWIR
71~76 852~902 未辐射定标
77~78 912~923 已定标、校正(与56-57波段重叠
79~224 933~2396 已定标、校正
225~242 2406~2578 未辐射定标绝对辐射亮度值转换
发布的Hyperion数据无论是L1R格式还是L1T格式都已经过定标操作,为辐射亮度数据但是为了减少数据所占的磁盘空间以便于在网上共享和传输,将定标结果分别乘以了放大因子并且转换为整型进行发布,其中VNIR波段的放大因子为40,SWIR波段的放大因子为80,因此只需将原始数据分别除以相应的放大因子并且转换为浮点型即得到定标后的原辐射亮度数据。
对于VNIR波段,绝对辐射亮度转换公式为:
RadianceVNIR=float(DN)/40;对于SWIR波段,该公式为Radiance-SWIR=float(DN)/80,单位wm-2um-1*sr-1
减弱“Smile”效应
“Smile”效应又称为皱眉(“Frown”)效应,指的是影像像元的成像中心波长和半值波宽(FWHM)偏离传感器波段预设中心波长和半值波段宽而使影像光谱空间发生扭曲的现象,所有的Hyperion影像的所有波段均存在“Smile”效应。
“Smile”效应的直观表现就是像元的实际成像中心波长偏离设定成像中心波长,且偏移量并不是个常数,随像元位置及波段编号而变化,一般来说,VNIR偏移范围大概是2.6-3.6nm,对于10nm光谱分辨率的影像来说已十分明显;SWIR的偏移范围大概是0.4-0.97nm,小于前者。
对于Hyperion影像,其“Smile”效应的检测主要通过亮度梯度(Brightness Gradient)来实现,具体来说它包括两个方面:一种是经MNF(最小噪声分离旋转变换)后的结果影像的第一或第二波段存在亮度梯度,即MNF-1或MNF-2;另一种是氧A吸收带(约760nm)对应波段的左右两肩波段的差值图像存在亮度梯度,由于Hyperion的第42波段(762nm)位于氧A吸收带,其左右两肩波段对应的是第40和第42波段,该检测方法可以写作:VNIR42-VNIR40。
“Smile”效应只能够减轻而无法完全消除,对于高光谱数据,该种畸变的校正需要遵循三个原则:1消除或者减弱亮度梯度2.校正后结果影像的光谱曲线特征应该遵从原始影像光谱特征,偏差不宜过大3.校正后影像波段的DN值与原影像相比不宜改变过大,以不超过3%为优。
这里采用CSIRO(澳大利亚联邦科学与工业研究组织)开发的Hyperion_workshop扩展模块中的de_smile工具来减弱影像中的“Smile”效应。
该工具采用移动线性拟合内插(Moving Linear Fitting and Interpolation)方法,将每一个样本的光谱中心波长插值到该样本所在波段的平均成像中心波长,需要用到每个样本的实际成像中心波长和每一波段的平均成像中心波长两个辅助文本。
经de_smile工具处理后,可以发现结果影像的MNF波段以及波段差图像中仍然残留亮度梯度,但是与原影像相比已大大减少,而结果影像中的地物的光谱曲线特征非常接近于原影像,且对于绝大部分波段的大多数像元,其DN值的该变量在3%以内。
该处理减弱了“Smile”效应且保持了原影像的光谱特征和定量特征,达到了预期目的。
去除条纹条纹是指影像中存在的像元DN值相对较小但不为零,与周边像元存在明显灰度差异且呈现带状分布的现象。该现象的产生主要由于当传感器相对太阳的角度发生变化时,探测元件对电磁辐射及热作用响应的不均一性和随机性造成的,对于Hyprion影响来说,由于SWIR波段的信噪比稍低,因此条纹要明显多于VNIR波段。
条纹的去除多采用“全局去条纹法”,它是一种线性变换方法。对于某个波段k,假设i、j分别为该波段的列编号和行编号,对于某个像元Xij,另x_ij^’ " " 为变换后的像元值,则有:
x_ij^'=α_i∙x_ij+β_i
其中α_i=(s_k ) ̅/s_ik ,β_i=(m_k ) ̅-α_i∙m_ik
式中(m_k ) ̅为k波段的均值,(s_k ) ̅为k波段的标准差,m_ik为列均值,s_ik为列标准差,该方法可以去除图像中明显存在的条纹,使地物更为清晰。
影像的去条纹操作需要放到减弱“Smile”效应之后,这是因为在去除条纹的波段选择上具有很大的主观性,也包含随意性和不确定性。首先,并不是所有的波段都适合做条纹去除,经过该算法处理后,像元的DN值改变较大,同时也会造成光谱曲线的明显偏离,对于VNIR来说,波段中的条纹要明显少于SWIR,
因此条纹的去除只是针对部分波段进行;不同地物适用的算法也不相同,尽管线性方法适合大多数地物,但对于水体来说,附加方法(Additive,即上式中系数α_i=1)对于条纹去除效果更好,如果影像中包含大范围的水体,采用线性算法进行条纹去除之后发现,水体处的成像效果明显改变,甚至引入了新的噪声。
条纹的去除需要慎重选择波段和算法进行,然而对于“Smile”效应来说其贯穿所有波段且校正算法具有普适性。
大气校正对Hyperion图像进行预处理用到最多的软件的是 ENVI (The Environment for Visualizing Images),这一遥感影像处理软件是美国ITT公司的旗帜产品,采用交互式数据语言IDL(Interactive Data Language)开发而成。本研究使用的版本是ENVI 5.3.1。
FLAASH是ENVI软件用于大气校正的功能模块,可校正的光谱范围为可见光近红外短波红外,最长可达 3μm。
-
基于稀疏网络的可见光/近红外反射光谱土壤有机质含量估算
2021-02-22 14:08:40采集艾比湖湿地89个典型样点和土壤实测光谱数据,对所测土壤光谱进行一阶微分变换预处理,采用连续投影算法(SPA)、主成分分析(PCA)和稀疏自编码(SAE)对光谱数据进行特征提取,结合偏最小二乘回归与BP(Back Propagation)... -
土壤钾元素的激光诱导击穿光谱定量检测分析
2021-02-05 09:45:10利用波长为1064 nm的NdYAG脉冲激光器作为激发光源,以宽光谱范围、高分辨率的中阶梯光栅光谱仪和高灵敏度的增强型电荷耦合器件(ICCD)作为光谱分光和检测器件,研究土壤中钾元素的激光诱导击穿光谱特性。实验中以钾... -
基于三维荧光光谱的土壤中石油类有机物分类识别
2021-02-03 19:49:31基于三维荧光光谱法,以含有不同类型润滑油、机油、...实验结果表明,基于三维荧光光谱方法直接从油污土壤中识别污染油可行,该方法为后续研究基于三维荧光光谱识别土壤中油类污染物提供了技术支持,具有较好的应用前景。 -
激光诱导等离子体光谱检测土壤的重金属污染
2021-02-12 16:39:39实验测定了土壤的激光诱导等离子光谱, 对光谱特性进行了分析。对土壤重金属元素激光诱导等离子光谱检测方法进行了研究, 得到了Cu,Zn,Cr,Ni,Pb和Cd等6种金属元素的定标曲线, 并分析了各元素的检测限。研究表明, 激光... -
结合分数阶微分技术与机器学习算法的土壤有机碳含量光谱估测
2021-02-13 19:43:38采集新疆渭干河-库车河典型绿洲96个表层土样,测量其光谱反射率和土壤有机碳(SOC)含量,采用分数阶微分技术(阶数的取值范围为0~2,步长为0.2)结合极限学习机、随机森林、多元自适应回归样条函数、弹性网络回归和梯度... -
土壤中微量元素锰的激光诱导击穿光谱定量分析
2021-03-14 03:29:48采用激光诱导击穿光谱技术分析安徽怀远农亢农场土壤样品中微量元素Mn的含量分布情况。实验中选取403.1nm作为Mn元素的分析线为,土壤中基体元素Fe作为内标元素,选取的分析线为407.2nm。选取10个土壤样品分别用传统定标... -
量子级联激光光谱在土壤生态系统中的应用
2021-01-25 15:30:31以室温连续量子级联激光器(RT-CW-QCL)作为激光光源,结合长程光学吸收池和直接吸收光谱探测技术,建立了一套高灵敏度、高精度的激光光谱系统,并以不同生态环境下的土壤样品为研究对象,开展了土壤和空气中CO、N2O气体... -
激光诱导击穿光谱结合标准加入法定量检测土壤中Cr
2021-02-05 07:26:35利用激光诱导击穿光谱(LIBS)结合标准加入法对土壤中的Cr进行定量检测。以Cr 425.435 nm谱线为特征谱线,以Fe为内标元素,建立了土壤中Cr的定标曲线,确定在Cr质量分数低于250×10-6时,其特征谱线强度与其质量分数... -
基于人工神经网络的激光诱导击穿光谱在土壤重金属Cr检测中的应用
2021-02-09 11:09:25利用Nd:YAG激光器、OceanHR2000+ICCD光谱仪建立激光诱导击穿光谱(LIBS)实验系统,设置合理的实验参数得到土壤样品LIBS数据,利用基于误差反向传播的人工神经网络(BP-ANN)算法,对含Cr浓度不同的样品进行了分析,选择... -
激光诱导击穿光谱检测赣南脐橙种植土壤的Cu和Cr
2021-02-08 20:01:15对采自赣南信丰县和安远县内16个不同地区的土壤样品进行激光诱导击穿光谱实验和原子吸收光谱实验,检测其中的Cu和Cr。通过特征光谱强度、信背比和真实浓度的比较可知,Cu和Cr两种重金属元素在土壤中的浓度分别为3.... -
民勤绿洲土壤盐分组成与光谱特征研究
2019-12-31 15:39:18民勤绿洲土壤盐分组成与光谱特征研究,齐文文,张建明,本文基于野外采样和实验室分析,研究了民勤绿洲土壤的可溶盐特征。发现表层土壤中阴离子以氯离子和硫酸根离子居多,阳离子以钙离 -
玻尔兹曼曲线法在土壤激光诱导击穿光谱谱线识别中的应用研究
2021-02-07 18:34:57实验验证激光诱导等离子体处于局部热平衡状态,利用Fe 的多条原子谱线建立玻尔兹曼曲线,根据建立的曲线对Fe 的其他原子谱线强度进行了反演,反演结果与实验测量结果误差在15%以内。土壤中Fe、Ti、Ca 等元素的特征... -
基于可见近红外光谱比较主成分回归、偏最小二乘回归和反向传播神经网络对土壤氮的预测研究
2021-02-09 03:28:33建模方法是影响可见近红外光谱定量结果的主要因素之一。在470~1000 nm波段的12个土壤剖面对48...实验结果表明,提取可见近红外光谱的PLSR LV因子作为BPNN的输入,所建定量模型可用于土壤氮纵向时空分布的快速准确预测。 -
应用激光诱导击穿光谱检测土壤中的铅 (2008年)
2021-04-28 17:16:26应用激光诱导击穿光谱技术对模拟土壤中Pb进行快速定量分析。该模拟土壤由PbCl 2 , CaCO 3 , SiO 2 , KBr化学纯试剂制备而成。...实验结果验证了激光诱导击穿光谱技术用于土壤中 Pb含量测量的能力。 -
激光诱导击穿光谱测量土壤重金属污染研究 (2009年)
2021-05-13 16:17:42利用 Nd :YAG激光器在脉冲重复频率为 5 Hz,脉冲宽度为 8 ns,单脉冲能量为 80 mJ的实验条件下,使用美国 ACTON公司的 AM-566单色仪和美国 Stanford Research Systems公司的 SR250 Boxcar对 9个自采样土壤样品光谱进行... -
土壤中微量重金属元素Pb的激光诱导击穿谱
2021-02-10 23:19:01从实验上测定了土壤在可见光谱区的激光诱导击穿光谱(LIBS),对测定的光谱结构进行了分析,并对可观测的谱线进行了归属,得出土壤所含的主要元素和部分微量元素;测定了不同Pb掺杂浓度下土壤中微量元素Pb 405.78 nm谱线... -
分数阶微分算法对盐渍土高光谱数据的影响研究
2021-02-12 07:24:08以艾比湖流域为研究区域,典型盐渍土为研究对象,引入分数阶微分,以0.2 为微分阶数间隔,将0~2 细分为11 阶微分,对原始光谱反射率及其常用的均方根、倒数等数学变换进行微分计算,结合实验室实测的土壤含盐量,从... -
基于飞秒激光等离子体丝诱导击穿光谱探测土壤重金属Cr元素含量
2020-02-02 12:17:13基于飞秒激光等离子体丝诱导击穿光谱探测土壤重金属Cr元素含量,杜闯,高勋,本文基于飞秒激光等离子体丝诱导击穿光谱对土壤重金属Cr元素含量进行了实验研究。利用荧光法对等离子体丝的长度进行测量,给出了� -
论文研究 - 基于高光谱的果园棕壤总氮含量估算
2020-06-02 05:58:00干燥和研磨后,使用ASD FieldSpec3在实验室中测量土壤的高光谱。 用凯氏定氮法测定棕壤的总氮含量。 通过多重线性逐步回归法选择敏感波长。 利用随机森林(RF)和支持向量机(SVM)建立了TN的高光谱估计模型。 通过... -
光谱分辨率对黑土有机质预测模型的影响
2018-10-08 10:42:05本研究对实验室测定的黑土高光谱反射率进行重采样,基于统计分析方法研究了光谱分辨率对黑土有机质预测模型精度的影响,结果表明:黑土有机质含量高,土壤有机质的光谱作用范围宽(445~1 380nm);... -
土壤疏松度对激光等离子体的影响分析
2021-02-05 04:12:17利用Nd:YAG 脉冲激光器作为光源,在实验室自然大气环境下诱导产生土壤激光等离子体,测量并分析了土壤疏松度对土壤中铅元素激光诱导击穿光谱特性的影响。实验结果表明,随着对土壤施加压力的变大,谱线强度和等离子... -
微波消解氢化物-原子荧光光谱法测定农产品产地土壤中的痕量汞 (2005年)
2021-06-13 12:06:15将微波消解技术应用于氢化物-原子荧光光谱法中测定土壤中的痕量汞 。对实验条件进行了优化,改进了传统消解方法中试剂用量大、手续繁琐、易交叉感染等不足 。该方法具有速度快、灵敏度高、精密度和准确度较好等特点,... -
碳片的空间约束对土壤等离子辐射特性的影响
2021-02-06 01:08:46为改善激光诱导击穿光谱的质量,提高激光诱导击穿光谱技术对土壤样品的检测能力,研究了圆形碳片距离样品表面的高度变化对土壤等离子体辐射强度的影响,并通过Boltzmann图方法和光谱线Stark展宽法测量了等离子体的... -
基于元素粒子比的土壤重金属元素快速分析方法研究
2021-02-12 13:24:16由于自由定标法-激光诱导击穿光谱(CF-LIBS)需要元素归一化,多元素同时参与计算,土壤中微量元素谱线较弱,计算Saha-Boltzmann斜线困难,因而采用元素粒子比方法对多种国家标准土壤样品和实地采集的土壤样品中Cr的... -
基于飞桨实现高光谱反演:通过遥感数据获取土壤某物质含量
2020-09-08 18:16:13点击左上方蓝字关注我们【飞桨开发者说】马云飞,枣庄学院地理信息科学专业在读,计算机视觉技术爱好者,研究方向为神经网络在遥感领域的应用等。高光谱反演是什么?高光谱反演是使用遥感卫星拍摄的高...点击左上方蓝字关注我们
【飞桨开发者说】马云飞,枣庄学院地理信息科学专业在读,计算机视觉技术爱好者,研究方向为神经网络在遥感领域的应用等。
高光谱反演是什么?
高光谱反演是使用遥感卫星拍摄的高光谱数据以及实地采样化验的某物质含量数据来建立一个反演模型。简单来说就是:有模型以后卫星一拍,就能得知土壤中某物质的含量,不用实地采样化验了。
高光谱遥感可应用在矿物精细识别(比如油气资源及灾害探测)、地质环境信息反演(比如植被重金属污染探测)、行星地质探测(比如中国行星探测工程 天问一号)等。
目前有许多模型可用于高光谱反演,如线性模型、自然对数模型、包络线去除模型、简化Hapke模型,人工神经网络模型等,本文选择线性模型进行研究。
准备数据集
本次使用的数据集是前段时间跟一位博士师哥学习时使用的数据,是师哥辛辛苦苦从各地采样带回实验室化验以及处理遥感图像得来的。我们常用的遥感卫星有高分一号、高分二号、Landsat7 、Landsat8等。以Lansat8为例,其OLI陆地成像仪包括9个波段,空间分辨率为30米,其中包括一个15米的全色波段,成像宽幅为185x185km。热红外传感器TIRS包括2个单独的热红外波段,分辨率100米。以下是各波段的常见用途。
本次使用的数据集格式如下:
切割数据的比例要考虑到两个因素:更多的训练数据会降低参数估计的方差,从而得到更可信的模型;而更多的测试数据会降低测试误差的方差,从而得到更可信的测试误差。我们这个例子中设置的分割比例为8:2。
以下代码可直接在百度AI Studio 上fork我的项目来运行:
https://aistudio.baidu.com/aistudio/projectdetail/693750/
dataset = pd.read_csv('data/data48548/data.csv')#读取数据集 # df转array values = dataset.values # 原始数据标准化,为了加速收敛 scaler = MinMaxScaler(feature_range=(0, 1)) scaled = scaler.fit_transform(values) data = scaled ratio = 0.8 # 训练集和验证集的划分比例 offset = int(data.shape[0]*ratio) train_data = data[:offset] test_data = data[offset:] def reader_creator(train_data): def reader(): for d in train_data: yield d[:-1], d[-1:] return reader BUF_SIZE=50 BATCH_SIZE=20 #用于训练的数据提供器,每次从缓存中随机读取批次大小的数据 train_reader = paddle.batch( paddle.reader.shuffle(reader_creator(train_data), buf_size=BUF_SIZE), batch_size=BATCH_SIZE) #用于测试的数据提供器,每次从缓存中随机读取批次大小的数据 test_reader = paddle.batch( paddle.reader.shuffle(reader_creator(test_data), buf_size=BUF_SIZE), batch_size=BATCH_SIZE)
配置训练程序
下面我们开始配置训练程序,目的是定义一个训练模型的网络结构。
对于线性回归来讲,它就是一个从输入到输出的简单的全连接层。训练程序必须返回 平均损失作为第一个返回值,因为它会被后面反向传播算法所用到。
优化器选择的是 SGD(随机梯度下降)optimizer,其中 learning_rate 是学习率,与网络的训练收敛速度有关系。代码如下:
#定义张量变量x,表示14维的特征值 x = fluid.layers.data(name='x', shape=[14], dtype='float32') #定义张量y,表示1维的目标值 y = fluid.layers.data(name='y', shape=[1], dtype='float32') #定义一个简单的线性网络,连接输入和输出的全连接层 #input:输入tensor; #size:该层输出单元的数目 #act:激活函数 y_predict=fluid.layers.fc(input=x,size=1,act=None) cost = fluid.layers.square_error_cost(input=y_predict, label=y) #求一个batch的损失值 avg_cost = fluid.layers.mean(cost) optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001) opts = optimizer.minimize(avg_cost)
开始训练
请使用如下代码开始训练,其中EPOCH_NUM为模型的训练轮数,这个数量要适中,否则可能发生过拟合等问题
model_save_dir:模型的保存目录,保存下来,下次就可以继续训练或者直接推理了。
for pass_id in range(EPOCH_NUM): #训练EPOCH_NUM轮 # 开始训练并输出最后一个batch的损失值 train_cost = 0 for batch_id, data in enumerate(train_reader()): #遍历train_reader迭代器 train_cost = exe.run(program=fluid.default_main_program(),#运行主程序 feed=feeder.feed(data), #喂入一个batch的训练数据,根据feed_list和data提供的信息,将输入数据转成一种特殊的数据结构 fetch_list=[avg_cost]) if batch_id % 40 == 0: print("Pass:%d, Cost:%0.5f" % (pass_id, train_cost[0][0])) #打印最后一个batch的损失值 iter=iter+BATCH_SIZE iters.append(iter) train_costs.append(train_cost[0][0]) # 开始测试并输出最后一个batch的损失值 test_cost = 0 for batch_id, data in enumerate(test_reader()): #遍历test_reader迭代器 test_cost= exe.run(program=test_program, #运行测试cheng feed=feeder.feed(data), #喂入一个batch的测试数据 fetch_list=[avg_cost]) #fetch均方误差 print('Test:%d, Cost:%0.5f' % (pass_id, test_cost[0][0])) #打印最后一个batch的损失值
训练过程图:
模型预测
需要构建一个使用训练好的模型来进行预测的程序,训练好的模型位置在 model_save_dir 。
with fluid.scope_guard(inference_scope):#修改全局/默认作用域(scope), 运行时中的所有变量都将分配给新的scope。 #从指定目录中加载 推理model(inference model) [inference_program, #推理的program feed_target_names, #需要在推理program中提供数据的变量名称 fetch_targets] = fluid.io.load_inference_model(#fetch_targets: 推断结果 model_save_dir, #model_save_dir:模型训练路径 infer_exe) #infer_exe: 预测用executor #获取预测数据 infer_reader = paddle.batch(reader_creator(test_data), #测试数据 batch_size=20) #从测试数据中读取一个大小为20的batch数据 #从test_reader中分割x test_data = next(infer_reader()) test_x = np.array([data[0] for data in test_data]).astype("float32") test_y= np.array([data[1] for data in test_data]).astype("float32") results = infer_exe.run(inference_program, #预测模型 feed={feed_target_names[0]: np.array(test_x)}, #输入光谱数据 fetch_list=fetch_targets) #得到推测含量
将结果进行可视化,横轴为实际含量,纵轴为根据光谱预测的含量,大部分得结果还是比较接近得。至此,我们获得了通过光谱看到土壤中某物质含量的火眼金睛啦!高光谱反演的用途还有许多,快快在AI Studio中fork项目展示出你的创意吧:
https://aistudio.baidu.com/aistudio/projectdetail/693750/
如在使用过程中有问题,可加入飞桨官方QQ群进行交流:1108045677。
如果您想详细了解更多飞桨的相关内容,请参阅以下文档。飞桨官网地址:
https://www.paddlepaddle.org.cn/
飞桨开源框架项目地址:
GitHub:
https://github.com/PaddlePaddle/Paddle
Gitee:
https://gitee.com/paddlepaddle/Paddle
-
微波消解一连续流动进样氢化物原子吸收光谱法测定土壤、蔬菜中痕量汞 (2005年)
2021-05-21 10:07:37试验研究了HN03-HCl、HN03-HE02和HN03-H2S04等...方法简便快速,具有高灵敏度和良好的准确度,应用于桂林市郊菜地土壤和蔬菜中痕量汞的测定,结果明显优于常见的湿法消解,采用标准试样对照,实验值与推荐值基本相符。 -
矿区煤矸石堆放引起土壤重金属污染研究
2020-07-18 12:42:41根据地形地貌,从距离市区较近的演马矿煤矸石堆周围呈放射状布置3条采样线,用HC l-HNO3-HF-HC lO3全分解法消解样品和火焰原子吸收光谱仪分析主要有害重金属元素(Pb,Mn,Zn,Cu,Cr,Cd).研究表明:煤矸石淋滤液中的Zn和Mn... -
激光烧蚀脉冲放电激发的土壤等离子体电子数密度和温度的研究
2021-03-04 09:29:58以激光烧蚀快脉冲放电激发土壤为例,研究了激光烧蚀快脉冲放电等离子体技术产生的土壤等离子体的电子数密度和温度。根据实验测得的Si原子和离子谱线的强度和萨哈玻尔兹曼方程,计算了等离子体的电子温度,并从分析Si...