精华内容
下载资源
问答
  • XPS原始数据处理之 Avantage 软件篇

    千次阅读 2021-07-23 14:30:31
    其中全谱扫描不需要经过特别的处理,因此在这里不做过多介绍,大家对照前两期内容应该很容易实现全谱分析,得到自己想要的信息(主要是样品所含元素种类的鉴定),这里主要介绍高分辨谱的数据处理与分析。1XPS高分辨谱...

    在昨天的分享中,我们提到XPS定性分析包括全谱扫描和高分辨谱,其中全谱扫描不需要经过特别的处理,因此在这里不做过多介绍,大家对照前两期内容应该很容易实现全谱分析,得到自己想要的信息(主要是样品所含元素种类的鉴定),这里主要介绍高分辨谱的数据处理与分析。

    1

    XPS高分辨谱可以拿到什么数据?

    一般而言,大家在做高分辨谱的时候,是期望看到表面某些元素的电子结构信息,判断该元素的化学态以及所处的化学环境等等,进而说明样品的表面结构或其变化。故此,XPS的高分辨一定是有针对性的,所要测的元素也是大家很明了的。

    在上一期我们说过,对于绝缘体或者半导体而言,具有荷电效应,因此除了大家想要测的元素之外,一般测试的时候还需要测一个C的高分辨谱,用于荷电校正。

    国内像XPS这样的大型仪器一般都有专人进行测试,因此我们所得到的原始数据一般为xls文件。下图所示为Pb3O4的XPS原始数据,除了Pb, O之外,还有C的高分辨谱以及各元素的半定量分析结果。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    2

    荷电校正

    拿到XPS高分辨谱,第一步是要进行荷电校正,得到准确的结合能数据。那么如何进行校正呢?上一期分享中我们已经说过,荷电校正一般将外来污染碳(284.8 eV)作为基准。具体如何操作呢?

    A. 计算荷电校正值。

    具体操作:将C1s的数据复制到origin中,做成曲线图,并通过数据读取工具来识别C1s谱中的峰值坐标(主要是结合能)。

    以下图为例,C1s的结合能为284.5 eV,而外来污染碳的标准值为284.8 eV,因此,荷电校正值为284.8-284.5 eV=0.3 eV。也就是说,此次测试的这个样品,所有元素的结合能均需要+0.3 eV作为荷电校正从而得到准确的结合能值。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    补充说明:对于样品中本身就含碳的样品,采用C1s来进行荷电校正的时候一定要小心。如果样品本身导电,实际上可以不用荷电校正。如果样品本身导电性较差,而样品中又含碳,那么需要对样品进行分峰,分峰之后找到外来污染碳的谱峰,将其作为基准进行校正才是准确的(并不是哪个峰最强就将其作为基准)。实际上,荷电校正值一般不会超过0.5 eV. 如果本身含碳,也可以采用喷金的方法,以Au4f7/2(84.0 eV)作为基准来进行荷电校正。

    B. 对每一个高分辨谱进行荷电校正

    具体操作:将各元素的元素数据(结合能与谱线强度)拷贝到origin中,以结合能为X轴,谱线强度为Y轴,将X轴加上荷电校正值对其进行荷电校正。

    下图所示为具体操作(荷电校正值为上面所算的0.3 eV):

    0be68cb0b7a0e5191652ae4d606b78a0.png

    经过这样的操作之后,origin的表中所显示的就是校正过之后的结合能与谱峰强度。

    3

    数据分析

    高分辨谱经过分峰拟合之后,就可以用来确定元素的化学态了,或者通过反应前后样品的高分辨谱图对比来得到其表面电子结构的变化信息等等。相关内容上期已经讨论过了,这里不再重复。今天的重点是XPS高分辨谱的分峰拟合。

    不过XPS的数据处理采用更加专业的软件会更加方便,比如Avantage、XPSpeak, CASAXPS等,这里我们简单来分享下  Avantage 的使用。接下来几期会介绍XPSpeak软件的使用,以及更高阶的应用。

    一、 打开处理软件

    双击桌面上Avantage 图标

    二、 载入谱图数据

    Open files——选择需要处理的 vgp.格式的数据文件,打开相应的 XPS 谱图。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    三、 XPS 谱图处理

    1.荷电位移(Charge Shift)

    a、先用鼠标指针选中 C1s谱图,读出当前C1s谱图上C—C键的C1s 结合能位置,以C1s=284.8eV 为参考值,记录下当前的荷电位移。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    b、选中所有 XPS谱图(包括 Survey 谱图及元素的窄扫谱图),即点击谱图框左上角的小方块。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    0be68cb0b7a0e5191652ae4d606b78a0.png

    2.扣除 X射线伴峰(Satellite Subtraction)—此步骤仅适用于双阳极 XPS

    a、用鼠标指针选中某个元素的窄扫谱图,然后点击工具栏中的“Satellite Subtraction”图标。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    b、在弹出的窗口中选择本底类型为“Smart”,勾选“Subtract Background First”,然后点“Subtract Satellites”。(注意 XPS测试时双阳极的类型是 Mg?还是 Al?)

    0be68cb0b7a0e5191652ae4d606b78a0.png

    c、重复以上扣伴峰的步骤,将所有元素的窄扫谱图都进行 X射线伴峰的扣除,最后点击“Close”关闭窗口。

    3.定量(Quantification)

    a、先选中双竖线指针,在需要定量的各个元素的窄扫谱图中分别选取定量范围。注意:定量范围的起点与终点应选在本底较平滑的位置。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    b、用鼠标+Ctrl键选中所有需要定量的元素窄扫谱图,然后进行加峰,即点击工具栏中“Add Peak”  图标。在弹出的窗口中选取“Peak Background”类型为“Smart”,然后点击“Add To All”对所有元素进行定量加峰。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    定量结果如下图所示:

    0be68cb0b7a0e5191652ae4d606b78a0.png

    4.定量数据及谱图数据的导出(如 Excel数据格式)

    a、选中所有 XPS 谱图(包括 Survey 谱图及元素的窄扫谱图),同 3.1.b 操作。然后点击工具栏中的“X”图标,选择“Report Options”。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    b、在弹出的窗口中的“File Path for Excel Document”一栏中输入数据文件保存的地址与名称,也可以通过“Browse”直接搜索地址,然后点“OK”生成一个 Excel数据文件的地址。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    c、再次点击工具栏中的“X”图标,选择“Report to …”就可以自动生成 Excel数据文件。

    四、 多化学态元素的分峰处理

    1.选峰

    用鼠标指针选中需要进行分峰处理的某个元素的窄扫谱图,然后用双竖线指针在该谱图中选取分峰范围。注:起点与终点应选在本底较平滑的位置。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    2.对谱图进行分峰

    选择工具栏中的“Peak Fit”图标,在弹出的窗口中先选取“Add Fitted Peak”,其中“Peak Background”类型选择“Smart”。然后在需要进行分峰处理的谱图界面上通过移动三竖线指针来选取所要加峰的位置(注:具体的不同化学态结合能数据可参考文献或XPS手册),位置选好后点击“Peak Fitting”窗口中的“Add Peak”即可在谱图上加峰。依此方法可以加多个峰。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    注:分峰参数的设定(在谱图上的Peak Fit界面,操作方法见上图左侧箭头指示及标注说明)

    ——所有的分峰参数可以通过直接点击在谱图上进行手动调整;

    ——对于有相关性的峰之间,其分峰参数中的“Peak/BE”,“FWHM/eV”以及“L/G%”都可以进行相关性设置,如下图所示:

    0be68cb0b7a0e5191652ae4d606b78a0.png

    3. 对谱图进行峰拟合

    在“Peak Fitting”窗口中选择“Fit Peaks”,然后点击“Fit This Level”即可对多峰进行拟合。根据峰拟合的情况,可多次点击“Fit This Level”,直至得到满意的拟合结果。完成后最后点击“OK”或“Accept”。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    4. 峰拟合数据的导出(如Excel数据格式)

    方法同定量数据及谱图数据的导出,具体操作见3.4。即选中所有XPS谱图(包括Survey谱图及元素的窄扫谱图),然后点击工具栏中的“X”图标,选择“Report Options”;在弹出的窗口中的“File Path for Excel Document”一栏中输入数据文件保存的地址与名称,也可以通过“Browse”直接搜索地址,然后点“OK”生成一个Excel数据文件的地址;再次点击工具栏中的“X”图标,选择“Report to…”,就可以自动生成Excel数据文件。

    注:以上是应用Avantage软件中一些基本工具进行XPS谱图处理的相关步骤,若要使用软件中的其它特殊工具,如平滑工具“Smoothing”,去除脉冲工具“Manual Spike Editor”,谱图比对工具“Lightbox Compare”等对谱图进行特殊处理,具体操作方法可以参阅软件中的“Help”文件。

    0be68cb0b7a0e5191652ae4d606b78a0.png

    至此,关于使用Avantage处理XPS数据的方法大致交代完了,下一期介绍XPSpeak处理XPS原始数据。敬请期待~

    (本文整理自研之成理、小木虫等)

    展开全文
  • XPS原始数据处理(含分峰拟合)

    千次阅读 2021-01-14 16:23:09
    今天咱们更进一步,从测试中得到的原始数据开始谈起,分享一下XPS原始数据处理,希望对大家有所帮助。前期内容:在前面两期分享中,我们都提到XPS定性分析包括全谱扫描和高分辨谱,其中全谱扫描不需要经过特别的...

    本文首发于微信公众号研之成理(ID:rationalscience),欢迎关注和扩散!

    前言:

    前面两期我们对XPS的基本原理,XPS谱线类型等进行了分享。今天咱们更进一步,从测试中得到的原始数据开始谈起,分享一下XPS原始数据的处理,希望对大家有所帮助。

    前期内容:

    在前面两期分享中,我们都提到XPS定性分析包括全谱扫描和高分辨谱,其中全谱扫描不需要经过特别的处理,因此在这里不做过多介绍,大家对照前两期内容应该很容易实现全谱分析,得到自己想要的信息(主要是样品所含元素种类的鉴定),这里主要介绍高分辨谱的数据处理与分析。

    1. XPS高分辨谱可以拿到什么数据?

    一般而言,大家在做高分辨谱的时候,是期望看到表面某些元素的电子结构信息,判断该元素的化学态以及所处的化学环境等等,进而说明样品的表面结构或其变化。故此,XPS的高分辨一定是有针对性的,所要测的元素也是大家很明了的。

    在上一期我们说过,对于绝缘体或者半导体而言,具有荷电效应,因此除了大家想要测的元素之外,一般测试的时候还需要测一个C的高分辨谱,用于荷电校正。

    国内像XPS这样的大型仪器一般都有专人进行测试,因此我们所得到的原始数据一般为xls文件。下图所示为Pb3O4的XPS原始数据,除了Pb, O之外,还有C的高分辨谱以及各元素的半定量分析结果。

    2. 荷电校正

    拿到XPS高分辨谱,第一步是要进行荷电校正,得到准确的结合能数据。那么如何进行校正呢?上一期分享中我们已经说过,荷电校正一般将外来污染碳(284.8 eV)作为基准。具体如何操作呢?

    A. 计算荷电校正值。

    具体操作:将C1s的数据复制到origin中,做成曲线图,并通过数据读取工具来识别C1s谱中的峰值坐标(主要是结合能)。

    以下图为例,C1s的结合能为284.5 eV,而外来污染碳的标准值为284.8 eV,因此,荷电校正值为284.8-284.5 eV=0.3 eV。也就是说,此次测试的这个样品,所有元素的结合能均需要+0.3 eV作为荷电校正从而得到准确的结合能值。

    补充说明:对于样品中本身就含碳的样品,采用C1s来进行荷电校正的时候一定要小心。如果样品本身导电,实际上可以不用荷电校正。如果样品本身导电性较差,而样品中又含碳,那么需要对样品进行分峰,分峰之后找到外来污染碳的谱峰,将其作为基准进行校正才是准确的(并不是哪个峰最强就将其作为基准)。实际上,荷电校正值一般不会超过0.5 eV. 如果本身含碳,也可以采用喷金的方法,以Au4f7/2(84.0 eV)作为基准来进行荷电校正。

    B. 对每一个高分辨谱进行荷电校正

    具体操作:将各元素的元素数据(结合能与谱线强度)拷贝到origin中,以结合能为X轴,谱线强度为Y轴,将X轴加上荷电校正值对其进行荷电校正。

    下图所示为具体操作(荷电校正值为上面所算的0.3 eV):

    经过这样的操作之后,origin的表中所显示的就是校正过之后的结合能与谱峰强度。

    3. 数据分析

    高分辨谱经过分峰拟合之后,就可以用来确定元素的化学态了,或者通过反应前后样品的高分辨谱图对比来得到其表面电子结构的变化信息等等。相关内容上期已经讨论过了,这里不再重复。今天的重点是XPS高分辨谱的分峰拟合。

    其实我们在分享origin教程的时候,有提到用origin进行数据的分峰拟合,不过XPS的数据处理采用更加专业的软件会更加方便,比如XPSpeak, CASAXPS等,这里我们简单来分享下XPSpeak 的使用。

    XPSpeaks分峰拟合:

    第一步:将数据转换为txt格式

    具体操作:将荷电校正过之后的数据拷贝到一个新建的txt文件中。

    关键点:第一行要直接以数据开始,最后一行以数据结束,不能有空行或其他文字,否则将无法导入XPSpeak 4.1软件中。

    第二步:利用XPS peak软件导入txt文件

    具体操作如下图所示:

    第三步:建立基线

    具体操作:点击菜单中Background,在弹出来的窗口中High BE和Low BE的数据是自动读取的,不需要改变

    Background type一般选取Shirley,基线的优化主要靠Shirley+Linear的Slope来实现,可以手动输入数值,然后点击accept就可以看到基线了,如果觉得基线不是特别好,可以通过改变Slope的值进行调整。

    第四步:加峰

    具体操作:点击Add peak会弹出一个新窗口,在Peak Type处选择s、p、d、f等峰类型(根据需要来选,不影响分峰),S.O.S选0.

    在Position处输入希望的峰位,需固定时则点fix前小方框,同法还可选半峰宽(FWHM)、峰面积等。

    设置好之后,点击accept添加该峰。

    同样的方式,可以添加第二个峰。对于p,d,f轨道而言,谱线都有裂分,裂分的峰之间存在一定的关系,需要特别注意,以下为常见规则:

    A. 对于p、d、f等能级的次能级(如p3/2、p1/2,为简便省略/2,简称为p3、p1)强度比是一定的,p3:p1=2:1;d5:d3=3:2,f7:f5=4:3。在峰拟合过程中要遵循该规则。如Pb4f中同一价态的Pb4f7和Pb4f5峰面积比应为4:3。

    B.对于有能级分裂的能级(p、d、f),分裂的两个轨道间的距离也基本上是固定的. 如同一价态的W4f7和W4f5之间的距离为2.15eV左右,Si2p3和Si2p1差值为1.1eV左右,具体化学状态下能级分裂的两个轨道之间的距离会有不同。

    C.对于同一元素的裂分轨道而言,其半峰宽应该尽量接近一致。对于同一仪器及仪器参数,各数据的GL高斯-洛伦兹比应保持一致(一般直接采用默认值80)。

    具体操作:以峰面积为例,peak 1和peak 0分别对应Pb 4f轨道的两个裂分能级(对应f5和f7),那么两者之间的峰面积存在数量关系f7:f5=4:3. 如何设置?点击Area下的Constraints,

    在弹出的窗口中,勾上Use前的方框,然后构建关系式Peak 1=Peak 0*0.75.然后点击OK设置完毕。类似的Peak1 和Peak 0之间的Position间距也可以设置。

    同样的方式,可以添加peak 2和peak 3(为另一对峰),设置好它们之间的数量关系等。然后点击Optimise All(可以多次点击进行优化),得到一个初步的分峰结果。如下图所示。

    第五步:手动修正

    在此基础上,手动调节峰的面积,半峰宽等参数,尽可能让拟合出来的数据和原始数据重合。在设置参数的过程中,请谨记上面所述A,B,C等分峰规则。

    具体操作:分别点另一个窗口中的Rigion Peaks下方的0、1、2等可看每个峰的参数,此时XPS峰中变红的为被选中的峰。在弹出来的参数窗口中调整峰位置,半峰宽,峰面积等参数,然后点击accept。反复调节,尽可能让拟合出来的数据和原始数据重合。

    第六步:拟合数据保存与导出

    拟合完毕之后,点击XPS peak processing 中的Save XPS,将拟合结果存储为.xps文件。存储之后,下回要继续处理时,只需要点Open XPS就可以打开这副图继续进行处理了。

    当拟合结果满意了之后,需要将数据导出成txt文件,以方便在origin中作图。

    具体操作:在Region 1中,Data-->Export(Spectrum),导出为.dat文件。该文件可以直接拖动到origin中,用origin打开。接下来就是origin作图了,这里就不重复了。

    至此,XPS原始数据的处理就差不多了。

    展开全文
  • 常用SPSS数据处理方法,你都会吗?

    千次阅读 2020-12-28 21:30:16
    数据处理是在统计和分析数据时,第一步要做的。尤其是当面对大量数据时,数据处理是一个重要的过程,可以达到提高处理效率及精度的目的。为配合进行更好的分析,研究过程过可能涉及到以下数据处理工作:定义变量名、...

    数据处理是在统计和分析数据时,第一步要做的。尤其是当面对大量数据时,数据处理是一个重要的过程,可以达到提高处理效率及精度的目的。

    为配合进行更好的分析,研究过程过可能涉及到以下数据处理工作:

    定义变量名、制定数据标签、数据编码、计算变量、无效样本处理、特殊值处理等

    定义变量

    定义变量,就是给每个指标起名字。每个变量都需要有对应的变量名,以便得到更规范的表格呈现和操作体验,spssau中通过“标题修改”定义变量名,一般用于以下情况:

    上传数据后,对不规范标题修改完成数据编码后,进行标题修改完成生成变量后,进行标题修改有多余无意义的标题,进行删除标题(一次只能删除一个标题)

    SPSSAU-标题修改界面

    数据标签

    除了标题名需要定义,数据标签也是一个重要的属性。数据标签用于标识数据中的数字代表的意义,对数据的含义进行解释说明,比如用1表示男,用2表示女。数据标签仅影响表格展示,完全不影响分析结果。

    SPSSAU-数据标签界面

    数据编码

    量表问卷中经常会使用到反向计分,反项题得到数据在分析以前,要先进行重新编码。

    SPSSAU:数据编码界面

    数据编码通常除了用于处理反项题,还会用于数据组合。

    比如1代表高中,2代表大专,3代表本科,4代表硕士,5代表博士。希望组合成三组分别是:本科以下,本科,硕士及以上.则可处理为:1->1,2->1,3->2,4->3,5->3,最终数字1代表本科以下,2代表本科,3代表硕士及以上

    无效样本

    在数据分析之前,首先需要进行数据查看,包括数据中是否有异常值,无效样本等。如果有无效样本则需要进行处理,然后再进行分析。另外如果数据中有异常值也需要进行处理后再进行分析。无效样本会干扰分析研究,扭曲数据结论等,因而在分析前先对无效样本进行标识显示尤其必要。

    如果数据来源为问卷,则很可能出现无效样本,因为填写问卷的样本是否真实填写无从判定;如果数据库下载或者使用二手数据等,也可能出现大量缺失数据等无效样本。

    SPSSAU:无效样本设置界面

    无效样本的常见使用场景:

    1. 问卷研究中乱填问卷的样本;

    2. 数据库下载的数据中有大量缺失数据;

    3. 二手数据中包括无效或缺失数据;

    4. 其它收集数据中有无效样本时。

    缺失值或异常值

    缺失值或异常值是一个重要但容易被忽略的问题。不论什么研究数据,如果数据中存在可能的异常值,均应在分析之前处理,防止异常值带来的干扰,比如异常值会扭曲X和Y之间的相关关系,回归关系等,异常错误的结论;当然其它研究方法基本均会受到异常值的干扰,异常值较多或者异常稍大时,此时会直接扭曲结论。

    SPSSAU-异常值设置界面

    计算变量

    上传数据,并修改好各标题名、数据标签后,我们就已经得到了原始的数据库,可以开始进行数据分析了。

    不过实际情况中,往往不能直接使用原始数据进行统计分析,原因是数据中可能存在因录入错误或原始问卷记录错误导致的不正确的数据。或者不同研究目的,需要结合不同分析方法进行分析,而不同的统计方法对变量的需求也不尽相同,因此需要对数据重新调整或转换。

    计算变量功能是指对问卷某题项或者多个题项进行处理的一种数学变换。通常情况下,问卷研究中共有两种情况会使用此功能,分别是变量生成和变量处理。

    多数情况下,一个变量由多个题项表示,而最终进行相关、回归等分析时仅能使用一个变量,此时则需要将多个题项进行计算平均值处理,多个题项的综合平均值代表此变量。另外,如果需要对数据取对数,或者进行题项或者变量之间的加减计算时,均需要使用计算变量功能实现。计算变量功能仅适用于定量数据,分类数据不需要进行加减或者取平均值处理等。

    比如网购满意度由4项表示,希望将4项处理成一个整体(网购满意度),则将此4项进行选中,并且告诉SPSSAU‘变量名字’。生成变量可做以下功能:

    平均值、求和、中位数、乘积标准化、中心化、最大最小归一化虚拟变量平方、根号自然对数、10为底对数绝对值正向化、逆向化

    SPSSAU-生成变量界面

    总结来说,数据处理是很容易被轻视的一部分内容,但往往数据处理的好坏会决定之后工作的难度,并直接影响到数据分析的结果,数据处理的好,会简化后面的数据分析工作,因此一定要把数据处理重视起来。更多关于数据分析以及具体分析方法的内容可到SPSSAU官网查看。

    展开全文
  • 作为一名R语言新手,第一步是要学会对数据进行一个调整处理。现介绍几种常见对数据框架处理的函数: 使用R语言自带的heightweight数据集: library(gcookbook) height weight 可以看到五列代表每个人的...

    作为一名R语言新手,第一步是要学会对数据进行一个调整与处理。现介绍几种常见对数据框架处理的函数:

    使用R语言自带的heightweight数据集:

    library(gcookbook)
    library(tidyverse)
    heightweight

     可以看到五列代表每个人的身体信息,这个时候我们可以用str()来查看数据集的结构。

    str(heightweight)

    这里面可以看到sex为factor因子变量;ageYear,heightIn,weightLb为数值型向量;ageMonth为整型向量;同时还会有character字符型向量。(在画图中,经常要将factor和character相互转化)

    调整一:选择需要的变量列(使用函数select())

    heightweight%>%select(sex,heightIn)

    调整二:对某一变量数据进行排序(arrange())

    heightweight%>%arrange(heightIn)    #(数据heightIn从原始状态变为从小到大排序)
    heightweight%>%arrange(desc(heightIn))  #(从大到小排序)
    

    从小到大                                                               从大到小         

                                             

    可以几个变量一起调整

    heightweight%>%arrange(desc(heightIn,heightLb)) 

     调整三:筛选掉某变量中的值(filter())

    heightweight%>%filter(heightIn>60)  #(筛选出heightIn>60的值)

     heightweight%>%filter(heightIn>60,weightLb>110) #(筛选出heightIn大于60,“且”weightLb大于110的值)
    

     调整四:添加变化的变量到原始数据中(mutate())

    For example:计算weightLb与heightIn的比值,并且将比值数据添加为原始数据的第一列

    heightweight%>%mutate(w_h=weightLb/heightIn)%>%
    + select(w_h,everything())

    如果你想把比值放在第四列

    heightweight%>%mutate(w_h=weightLb/heightIn)%>%
    + select(sex,ageYear,ageMonth,w_h,everything())

     

    数据基本调整函数就这些,关于数据转化,计算,请关注下一次内容。

    如果这些内容对你有帮助,请点个赞啦!

    展开全文
  • 所以要对原始点云数据应进行预处理,通常要经过以下步骤:1、数据平滑,数据平滑的目的是为了消除噪音点,得到精确的模型和良好的特征提取效果,采用平滑法处理方法,应力求保持待求参数所能提供的信息...
  • 数据分析中缺失值的处理方法1、缺失值的分类按照数据缺失机制可分为:(1)完全随机缺失(missing completely at random, MCAR)所缺失的数据发生的概率既与已观察到的数据无关,也与未观察到的数据无关.(2)随机缺失...
  • XPS数据处理时 XPSpeaks 分峰拟合

    千次阅读 2021-07-23 14:29:19
    1第一步:将数据转换为txt格式具体操作:将荷电校正过之后的数据拷贝到一个新建的txt文件中。关键点:第一行要直接以数据开始,最后一行以数据结束,不能有空行或其他文字,否则将无法导入XPSpeak 4.1软件中。2第二...
  • 由于 Homer2 每次处理完数据会在原始数据基础上生成新的变量,因此,可以在 matlab 加载 nirs 文件:load MCKJ.nirs -mat 加载 nirs 文件(.nirs格式只是将 mat 的文件后缀改成.nirs),下图是数据所包含的域以及其...
  • Jiao et al.(2019)[8]先对每一条原始数据使用BERT自带的分词器进行分词,得到若干word piece,为每一个word piece构建其替换词的候选集合,其中构建替换词集合的过程包括前文的基于词向量的方法,以及基于掩码模型...
  • 自然语言处理领域的数据增广方法

    千次阅读 2021-03-09 18:04:56
    本文介绍自然语言处理领域的数据增广方法。数据增广(Data Augmentation,也有人将Data Augmentation翻译为“数据增强”,然而“数据增强”有将数据进行强化之意,而不仅是数量扩充。因此我们将其翻译为“数据增广”...
  • TensorFlow学习笔记——图像数据处理

    千次阅读 2021-01-28 22:18:07
    主要介绍TensorFlow的图像处理、多线程数据处理框架和数据集的概念及应用。
  • 大数据和物联网也共享紧密相连的未来,提供数据驱动的分析和洞察力。 Dataframe: Spark中的DataFrame表示组织在命名列[33]中的分布式数据集合。DataFrame在概念上相当于关系数据库中的一个表、R或Python的Panda ...
  • 原文链接:数据处理中的标准化、归一化,究竟是什么? 大家好,我是小一 今天说一个比较重要的内容,无论是在算法建模还是在数据分析都比较常见:数据归一化和标准化。 开始之前,请你先把网上看到的所有相关的...
  • 数据处理可能是耗时最长的是个一个过程,上一个专题我写到数据的前处理大概占我们平时数据处理的80%以上的时间,这个一点都不假,一定腰有耐心,慢慢来别着急,处理一次就处理好,这是后面数据分析的基础。...
  • 眼动数据分析基础_数据处理

    千次阅读 2020-12-21 19:10:25
    在记录眼动数据的时候,眼动仪按采样率来采集眼动原始数据(采样率30、60、120货300HZ)。每个数据点都将被识别为一个时间标签或者(x,y)的坐标形式并且被发送到与眼动以连接的加算机上运行的分析软件程序的数据库中...
  • 1. 整个框架获取的原始数据不是有camera_device直接提供, 而是单独开设进程打开相机节点(一直执行另一个任务)写入某一个内存块,其他程序要想获取相机图像, 只能读取本地内存块。 2. Web端需要两种数据源, 一种...
  • EEGLAB 脑电数据处理与分析

    千次阅读 2020-12-29 23:25:49
    在数据处理之前,浏览一下原始数据,看数据的好坏。 Plot - Channel data(scroll) 会打开eegplot()窗口,在窗口中可以用Settings和Display的一些选项调整图像: Time range to display(一个窗口的x轴范围); ...
  • 缺失值的处理

    千次阅读 2021-02-01 03:09:55
    机械原因是由于机械原因导致的数据收集或保存的失败造成的数据缺失,比如数据存储的失败,存储器损坏,机械故障导致某段时间数据未能收集(对于定时数据采集而言)。人为原因是由于人的主观失误、历史局限或有意隐瞒...
  • 5个步骤,用SPSS进行数据分析

    千次阅读 2020-12-28 21:30:16
    原标题:5个步骤,用SPSS进行数据分析 SPSS是一款非常强大的数据处理软件,那么该如何用SPSS进行数据分析呢?什么是SPSSSPSS是社会统计科学软件包的简称, 其官方全称为IBM SPSS Statistics。SPSS软件包最初由SPSS ...
  • SWAT模型教程---土地利用、土壤数据、气象数据处理土地利用数据处理数据下载数据处理构建索引表土壤数据库数据下载数据处理土壤类型索引表的建立气象数据处理数据下载数据处理天气发生器 土地利用数据处理 ...
  • 最近一个偶然的机会,我发现了一个可以在短短几秒内处理几十亿数据的python工具包:Vaex, 处于好奇我研究了一下Vaex,下面给大家简单介绍一下Vaex及其基本使用方法。Vaex是什么Vaex是用于惰性核心数据框架(类似于...
  • 第一次使用DEM高程数据的朋友常常遇到这个问题,IMG是压缩包么?怎么不能解压呢?为什么我打开之后数据是灰色的呢?明明是平原地区,为什么显示的高程范围却在-32767-32767之间呢?为什么展示图里是五颜六色的,而我...
  • 插补法可以在一定程度上减少偏差,...热卡填充(Hot deck imputation)也叫就近补齐,对于一个包含空值的对象,热卡填充法在完整数据中找到一个与它最相似的对象,然后用这个相似对象的值来进行填充。通常会找到超出一...
  • 基于pandas,对DataFrame类型数据data的因素列feature_column,目标列target_column提取n_components维特征。 1.1 特征选择 1.1.1 低方差滤波器 例一: def LowVarianceFilter(data,feature_column,n_components=-1)...
  • 蘑菇数据数据挖掘探索-数据处理、SVM、决策树、神经网络背景介绍与实验目标背景介绍实验目标数据挖掘分析与建模分析流程数据初步探索与分析数据预处理数据缺失值处理数据编码模型及算法构建决策树模型sklearn的...
  • 使用 Numpy 加载文件中的数据(二)编程要求(三)参考代码第2关:处理 Numpy 加载到的数据(一)相关知识1>将文字规则用数值表示2>处理从 Data 中获取的数据(二)编程要求(三)参考代码第3关:商品推荐
  • 变形监测与数据处理复习总结

    千次阅读 多人点赞 2021-01-10 15:26:58
    变形分析的研究内容涉及到变形数据处理与分析、变形物理解释和变形预报的各个方面,通常将其划为两部分:1)变形的几何分析; 2)变形物理解释。变形的几何分析是对变形体的形状和大小的变形作几何描述,其任务在于...
  • 从海量的数据资源中提取有价值的信息并反馈给用户是数据处理面临的主要研究方向。本文主要探讨Java这门经典的编程语言在当前的数据环境下,如何实现对大数据的加工及优化处理,来实现数字资产的保值增值。关键词:...
  • 原标题:Origin:数据处理、作图和拟合的利器01数据处理两种获得数据的方法,如果数据量比较少,人工输入;...如下图: 从原始数据出发,我们要通过各种运算得到最终的数据,这个过程就是数据处理。选择空白的Col...
  • 总共7篇关于时空数据处理的文章。 1.Dynamic and Multi-faceted Spatio-temporal Deep Learning for Traffic Speed Forecasting 动态图神经网络(dgnn)已成为最有前途的交通速度预测方法之一。然而,在采用dgnn...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 164,827
精华内容 65,930
关键字:

原始数据调整处理