精华内容
下载资源
问答
  • 详细CK的原始记录要求与审核要点 实验原始记录的9点要求 1、重视原始记录中的签名 原始记录一般有检测人员、校核人员签名。签名意味着签名人已对该原始记录进行了必要的校对或审核,是对原始记录进行的最后把关,...

    详细CK的原始记录要求与审核要点
    实验原始记录的9点要求

    1、重视原始记录中的签名

    原始记录一般有检测人员、校核人员签名。签名意味着签名人已对该原始记录进行了必要的校对或审核,是对原始记录进行的最后把关,以便及早发现检测人员检测的失误。对原始记录中的任何疑点,都应在输入检验报告之前给予解决,必要时进行复测,以确保数据准确无误。

    2、选择适合的检测方法

    CNAS要求实验室应使用适合的方法和程序进行所有检测。

    实验室面对的是产品,不同的产品执行的标准不同,使用的检测方法也不同。对于执行标准明确的产品,直接选取标准中的检测方法即可。

    实际工作中,我们会遇到大量的非标产品,尤其是委托检验时,需要与客户沟通,采用满足客户需求并适用于所进行的检测的方法。

    当客户未指定所用方法时,实验室应从国际、区域或国家、行业标准中发布的,或由知名的技术组织或有关科学书籍和期刊公布的,或由设备制造商指定的方法中选择合适的检测方法。实验室制定的或采用的检测方法如能满足预期用途并经过确认也可使用。对于这样的沟通一定要有记录备查,客户的要求与送检样品的任何差异,应在检测开始之前得到解决,并且应得到实验室和客户双方的接受。如果客户的要求,实验室的能力和资源无法满足,则应对客户说明。

    3、规范记录样品信息

    接收样品后,不要急于检测,要先检查样品状态是否存在影响正常检测的缺陷。对于一些封装的样品,无法直接观察到缺陷的,打开封装发现有缺陷时,也应立即终止检验,对样品进行妥善处理并及时与客户沟通。即便无缺陷,也应在原始记录中对样品状态进行适当描述。

    4、对标准的理解要准确

    标准是检测工作的依据,选择正确的、现行有效的标准进行检测,是不言而喻的。对标准的理解要准确,就不是简单的事了。实验室是依据标准进行检测的,理解标准一定要准确。

    5、有足够的信息量

    CNAS要求观察结果、数据和计算应在产生的当时予以记录,并要求每项检测的记录应包含充分的信息,以便在可能时识别不确定度的影响因素,并确保该检测在尽可能接近原条件的情况下能够重复。

    检测人员每个实测原始数据都写上,不得只写诸如平均值等最终结果。文字要填写具体内容,不得只写符合/不符合或合格/不合格。对原始记录不得随意涂改,如确系需要修改的,应先用横线将错误横向划去(被划改的内容仍应清晰可见),再把正确值填写在其旁边。对记录的所有改动都应在划改处有修改人的签名或印章。

    6、正确进行数据处理

    一般情况下,产品标准对检测数据应保留的小数位数或有效数字都有明确的规定,在检测时应严格按照标准要求读取数据,在原始记录中也应按标准要求进行记录。

    检测后需要进行计算的数据,若产品标准有相关规定,应按照产品标准要求进行计算;若产品标准中无相关规定,则应按照GB8170《数值修约规则》的要求进行计算。

    结果判定是用检验所得的测定值或其计算值与标准规定的极限值进行比较。对检验结果的判定,若产品标准有相关规定,应按照产品标准要求进行判定;若标准中无明确规定的,可按照GB1250《极限数值的表示方法和判定方法》进行判定。

    7、不要忽视计量证书

    一般标准对检测设备都有具体精度要求,选择检测设备一定要满足标准要求,并严格按操作规程使用仪器设备。在原始记录中不但应注明所使用仪器设备的名称,还应填写仪器设备的唯一性编号,以免相同设备发生混淆。

    CNAS要求设备在投入使用前应进行校准或核查,还要求设备在使用前应进行核查和/或校准。期间核查是在两次校准或检定之间的时间内,使用适当的校核方法,以相适应的核查标准进行检查,以确保在用设备在使用期间一直维持良好状态,并获得最佳测量能力,证明检测结果的置信度,增强实验室对在用检测设备保持良好状态的自信心。

    8、对分包方数据的控制

    分包是指实验室在某些情况下,委托其他的实验室为其提供检测数据的业务活动。实验室应就分包方的工作对客户负责,由客户或法定管理机构指定的分包方除外。对由分包方完成的检测,应在原始记录中予以说明,并将分包方提供的数据与原始记录一同存档,并在出具检验报告中证明。

    9、检测人员应具有资格

    CNASCL01:2018要求:实验室管理者应确保所有操作专门设备、从事检测、评价结果、签署检测报告的人员的能力。对从事特定工作的人员,应按要求根据相应的教育、培训、经验和/或可证明的技能进行资格确认。

    实验室首先应根据自身从事检测工作的性质,制定不同人员的能力需求,然后按照能力需求对每个从事检测的人员从接受教育程度、经过的培训、实际工作经历和可证明其技能方面进行资格确认,确认符合条件的人员,发给其相应岗位的资格证书。

    只有具有资格证书的人员才能从事资格证书范围内的检验工作,包括原始记录的编制。

    实验原始记录审核要点

    你是否有这样的疑惑:项目都是真实做的为什么审核人员说存在真实性问题?

    答案是:你的原始记录的不够规范。例如记录中对某一实验结果未处理或未说明就进行下一相关实验,这属于逻辑问题(实际上实验人员是看完结果后才进行的下一实验,只是记录中未说明)。

    为什么要审核原始记录呢?

    原因是:原始记录是申请人或其委托人进行了相应的研制工作的证据性文件,也是药品研究机构撰写药品申报资料的依据。只有客观、准确、及时的记录整个药品研制的过程,真实地反映试验过程和结果,研究轨迹清楚、可追溯,研究过程可重复,才能证明申报资料的真实性,准确性和可靠性。

    原始记录具有真实性、及时性、准确性、完整性、规范性。审核原始资料时从原始记录着手,要求是记录中记载的都能找到出处和去处。尤其是合成部门、制剂部门、分析部门相互配合的记录,一定是有先后顺序的,如合成部门制备的原料药需要分析检验结果出来且合格后,才能送制剂部门。很多问题都是出在不同部门间送检样以及粘贴实验结果的时间上。

    原始记录主要包括项目名称、实验名称、实验目的、实验日期、实验环境、实验依据、实验方案、实验材料、实验方法、实验过程、实验结果、实验人员签字、复核人员签字等。

    下面说一说原始记录核查的要点和常见问题。

    1.项目名称

    一般为了保密用项目代号。

    举例说明:研究过程中代码随意变更,不同研究组、委托研究等使用的代码不一致。对于研究课题较多的研究单位,使用代号的应该有代号的管理制度及相应的文字记录,既能起到保密作用,也可以避免出现差错且可溯源。

    2.实验名称和目的

    简写名称和目的。

    核查其与实验内容是否一致。

    3.实验日期和实验环境

    按年月日顺序记录实验日期,记录实验环境。

    核查实验日期和环境与实验室温湿度记录是否一致(尤其是对环境要求高的实验)。

    举例说明:因环境温度或者湿度不合格导致实验失败,如易吸水易潮解的试剂或样品应该放在指定的环境中保存或使用。

    4.实验依据

    参考标准或者本品的质量标准草案,如中国药典2015年版某品种的含量测定方法。写清楚依据来源,首次出现最好粘贴文献资料。

    举例说明:只写了药典出处,未标明品种。

    5.实验方案

    实验前要有方案,一般要求方案需由领导审核才能执行,方案应该包括文献调研分析及参考文献、前期试验总结、拟解决的问题、初步的实验方法和步骤等,粘贴即可。

    举例说明:无实验方案,直接进行实验,导致出错率偏高。

    6.实验材料

    实验材料包括仪器、试剂、对照品信息、样品信息、重要耗材(色谱柱)等,核查实验材料的资质,核对仪器使用记录、试剂批号、物料信息是否一致,重点是物料的来源、批号、含量/纯度、到货时间、效期等。

    举例说明:实验材料书写信息不全、仪器校验期过期未进行校验、物料资质不齐、物料的领用量和使用量有较大出路等。

    7.实验方法

    实验方法包括制备方法、色谱条件等实验参数,也可与实验方案合并。

    核查该方法与实验依据中的方法是否一致。

    举例说明:无实验方法或方法改变未标明。

    8.实验过程

    实验过程包括流动相的配制,稀释剂的配制,供试品的配制,实验现象的记录、测定法、存储路径、实验数据的记录等。

    核查仪器使用记录,实验过程的逻辑顺序是否合理。

    举例说明:天平的使用记录,要求用几次写几次;贮备液多次使用未标明储存条件;实验过程中样品放置条件和发生的现象未记录,如氧化破坏样品室温避光放置24h,溶液由无色变黄色;未记录实验数据,如水分滴定未记录消耗卡尔费休的体积;用实验方法代替实验过程,未写明具体实验步骤等。

    9.实验结果

    处理数据或图谱,保存电子版图谱和纸质版图谱,以数据或图谱为依据计算出实验数据(需要列出计算公式,并举例说明),粘贴数据并骑缝签名,根据实验结果给出结论或者结果分析,通过计算公式核查图谱和数据的一致性。

    举例说明:无计算公式或者计算公式与数据表中的计算不一致,数据表粘贴不牢固,数据表未骑缝签名,没有明确的实验结论,热敏纸打印的实验数据直接粘贴等。

    10.实验人员、复核人员签字

    参与实验的所有人签字,最后复核人复核记录无误后签字。

    举例说明:实验人员没有及时签名。要加强复核工作,关注人员离职时原始记录和研究工作的交接。

    11.其他问题

    修改问题,修改应符合要求,在错误处划一斜线,保证能看出原始内容,修改人签字,注明时间和原因。

    记录中不得有缺页、多页、不能有空白隔页。

    记录中整体是以时间顺序为基础的,不得有后页时间早于前页。

    不得使用散页等无法控制的记录纸书写原始记录。

    药品注册研制现场核查是在药品研制工作结束后进行的,属于事后核查,对原始记录防爆3C认证进行核查,即要求申请人提供相应的原始记录,证明其进行了相应的研制工作。

    原始记录必须做到真正原始,一要能反映试验现场状态的全部信息,二要能够再现,具备重现性。

    这就要求在研究过程中,应该在进行实验(实验、观察、调查或资料分析)的同时,第一时间将实验依据、所有使用的仪器设备、物料及其量、实验操作步骤、观察到的试验现象、测定的数据、结果记录在试验记录本上;

    对于可以保存电子图谱和电子数据的试验,要及时保存在数据工作站;

    对于一些热敏纸打印的实验数据及时复印保存;电子化原始记录应该保证是第一手记录,对于修改等应该有相应的记录和控制。

    展开全文
  • 天宝DINI03电子水准仪以精度高,...文中软件通过excel函数和VBA编程,对原始数据进行处理,并自动生成满足规范要求的水准测量记录手簿,其操作简单,减轻了水准测量的内业工作量,避免了人工出错,保证了内业资料的无差错。
  • 是出具报告的参考依据,因此,原始记录的重要性不言而喻,原始记录的信息和数据出现错误势必会导致检验报告的数据错误,下面结合实际测试项的原始记录来展开介绍一下原始记录有哪些要求和注意事项: 1、重视原始...

     

    检测原始记录是实验室质量管理体系文件的组成部分,是对已完成工作的一个真实记载,是出具报告的参考依据,因此,原始记录的重要性不言而喻,原始记录的信息和数据出现错误势必会导致检验报告的数据错误,下面结合实际测试项的原始记录来展开介绍一下原始记录有哪些要求和注意事项:

     

    1、重视原始记录中的签名

    原始记录一般有检验人员、复核人员签名。检验人员签名证实该检测项目由自己执行,比如下图的GB9706.1爬电距离和电气间隙的测量原始记录,张三签名意味着张三执行的上述爬电距离和电气间隙的检测工作,且张三宜在签名前对自己的记录进行一个简单复核,查看是否有明显的不合规、不合理、错别字等现象。

    但是由于自己检测自己的,问题很难显现出来,所以有复核人,复核人签名表明已对该原始记录进行了必要的校对或审核,是对原始记录进行的最后把关,以便及早发现检测人员检测的失误。

    其实,除此之外,还有一个责任追溯问题,比如我们这个原始记录不合格,客户提出质疑,请几个相关有资质机构进行复测最后证实确实合格,那么这个责任谁来承担?关于这点,很难遇到,但每个实验室应该会有自己的规章制度来说明这一点,大体是检测人因过失写出离谱错误数据,复核人应当发现而没有发现,或者发现后未予纠正的,由检测人承担主要责任,复核人承担次要责任;复核人未与检测人商议,改变检测人正确数据,导致出具错误数据和报告的,追究复核人的责任;违反法律法规和规定造成错误数据和报告的,追究当事人的责任;弄虚作假和失职渎职造成错误数据和报告的,追究当事人的责任。这么做也可以避免大家只走形式,随便一签了之,督促各负其责。

    注:对原始记录中的任何疑点,都应在输入检验报告之前给予解决,必要时进行复测,以确保数据准确无误。

     

    2、选择适合的检测方法

    CNAS要求实验室应使用适合的方法和程序进行所有检测。

    实验室面对的是产品(包括原材料),不同的产品执行的标准不同,使用的检测方法也不同。比如有源医疗器械的电磁兼容检测,同样的检测项目对于落地式设备和台式设备,试验布置方式不同,试验结果一般也有出入;同样的检测项目对于不同类型的设备测试等级可能也不同,比如符合GB/T18268.1-2010的产品与符合YY0505-2012的产品试验等级便不同,对于执行标准明确的产品,直接选取标准中的检测方法即可。

    但实际工作中,我们会遇到大量的非标产品,尤其是委托检验时,需要与客户沟通,采用满足客户需求并适用于所进行的检测的方法。

    当客户未指定所用方法时,实验室应从国际、区域或国家、行业标准中发布的,或由知名的技术组织或有关科学书籍和期刊公布的,或由设备制造商指定的方法中选择合适的检测方法。实验室制定的或采用的检测方法如能满足预期用途并经过确认也可使用。对于这样的沟通一定要有记录备查,客户的要求与送检样品的任何差异,应在检测开始之前得到解决,并且应得到实验室和客户双方的接受。如果客户的要求,实验室的能力和资源无法满足,则应对客户说明。

    3、规范记录样品信息

    接收样品后,不要急于检测,要先检查样品状态是否存在影响正常检测的缺陷。对于一些封装的样品,无法直接观察到缺陷的,打开封装发现有缺陷时,也应立即终止检验,对样品进行妥善处理并及时与客户沟通。即便无缺陷,也应在原始记录中对样品状态进行适当描述。

    另外一些常见的不规范动作也是要尽量避免的,比如未能及时记录试验数据,事后补记录的;把试验数据记录在一些小卡片或者随手拿的一张纸上面的;用铅笔、圆珠笔等进行记录的。这些都不符合我们的要求。

    正确的做法是原始记录书写字迹清晰,用字规范,所有的记录须用蓝色或黑色字迹的钢笔或签字笔书写。不得使用铅笔、圆珠笔或其他一褪色的书写工具书写

    4、对标准的理解要准确

    标准是检测工作的依据,应选择正确的、现行有效的标准进行检测。对标准的理解要准确,就不是简单的事了。实验室是依据标准进行检测的,理解标准一定要准确。当然有些标准不同实验室间理解也有出入,那么你的产品是否合格取决于你所在的检测员对标准的理解,我们后续文章会谈到这点,当然这种情况也比较少。

    5、有足够的信息量

    CNAS要求观察结果、数据和计算应在产生的当时予以记录,并要求每项检测的记录应包含充分的信息,以便在可能时识别不确定度的影响因素,并确保该检测在尽可能接近原条件的情况下能够重复。

    检测人员每个实测原始数据都写上,不得只写诸如平均值等最终结果。文字要填写具体内容,不得只写符合/不符合或合格/不合格。对原始记录不得随意涂改,如确系需要修改的,应先用横线将错误横向划去(被划改的内容仍应清晰可见),再把正确值填写在其旁边。对记录的所有改动都应在划改处有修改人的签名或印章

    各种检测原始记录的格式、纸张的尺寸大小应规范统一; 每一种记录都应编制页码和总页码。原始记录应尽可能格式化和程序化。合理、严密地设计记录格式, 将基本不变的如检测项目、技术要求、计量单位、样品处理的环境条件、设备名称和编号等事先打印出来。有特殊要求的应按不同的项目分别设计专用的记录表格,设计应合理有序, 内容齐全。对于信息较多的检测项目, 在设计原始记录的格式时, 应给该项中的每个检测数据留出足够的空间, 以便现场检测时记录足够的信息。这不但可以提高工作效率,还可对检测起到提示作用, 提示检测人员严格按检验程序实施检验。

    格式之外关于原始记录的内容,一般包括:样品名称、样品编号、检测项目、检测地点、检测日期、测试依据和方法、检测结果和检测人员签名及检验环境条、仪器名称。后面有GB9706.1的几个测试项原始记录,大家可以简单参考下。

    6、正确进行数据处理

     一般情况下,产品标准对检测数据应保留的小数位数或有效数字都有明确的规定,在检测时应严格按照标准要求读取数据,在原始记录中也应按标准要求进行记录。

    检测后需要进行计算的数据,若产品标准有相关规定,应按照产品标准要求进行计算;若产品标准中无相关规定,则应按照GB8170《数值修约规则》的要求进行计算。

    结果判定是用检验所得的测定值或其计算值与标准规定的极限值进行比较。对检验结果的判定,若产品标准有相关规定,应按照产品标准要求进行判定;若标准中无明确规定的,可按照GB1250《极限数值的表示方法和判定方法》进行判定。 

    7、不要忽视计量证书

    一般标准对检测设备都有具体精度要求,选择检测设备一定要满足标准要求,并严格按操作规程使用仪器设备。在原始记录中不但应注明所使用仪器设备的名称,还应填写仪器设备的唯一性编号,以免相同设备发生混淆。具体可以参见上图。

    CNAS要求设备在投入使用前应进行校准或核查,还要求设备在使用前应进行核查和/或校准。期间核查是在两次校准或检定之间的时间内,使用适当的校核方法,以相适应的核查标准进行检查,以确保在用设备在使用期间一直维持良好状态,并获得最佳测量能力,证明检测结果的置信度,增强实验室对在用检测设备保持良好状态的自信心。关于期间核查,我们后面文章也会谈到更为具体的内容。

    8、对分包方数据的控制

    分包是指实验室在某些情况下,委托其他的实验室为其提供检测数据的业务活动。实验室应就分包方的工作对客户负责,由客户或法定管理机构指定的分包方除外。对由分包方完成的检测,应在原始记录中予以说明,并将分包方提供的数据与原始记录一同存档,并在出具检验报告中证明。

    9、检测人员应具有资格

    CNAS CL01:2018要求:实验室管理者应确保所有操作专门设备、从事检测、评价结果、签署检测报告的人员的能力。对从事特定工作的人员,应按要求根据相应的教育、培训、经验和/或可证明的技能进行资格确认。

    实验室首先应根据自身从事检测工作的性质,制定不同人员的能力需求,然后按照能力需求对每个从事检测的人员从接受教育程度、经过的培训、实际工作经历和可证明其技能方面进行资格确认,确认符合条件的人员,发给其相应岗位的资格证书。

    只有具有资格证书的人员才能从事资格证书范围内的检验工作,包括原始记录的编制。

     

     

    写了这么多,万变不离其宗,原始记录就是做什么写什么,边做边写,做到抓铁有痕、踏石有印,将检测过程中的相关数据和观察到的情况及时、完整、准确的记录到相应表单上,做到真正的原始、真实。 

     

    展开全文
  • 帷幕灌浆原始记录软件,能自动编写手写体原始记录,也可输入原始记录数据,系统自动生成符合规范要求的成果一览表、分序统计表、综合统计表和耗灰量累计频率曲线、透水率累计频率曲线、渗透系数累计频率曲线、综合...
  • 高速摄影机的电控系统主要由同步控制、数据记录、自动调光等系统组成,在摄影时统及摄影频率控制下,实时、清晰地将目标及相关信息记录在胶片上,为事后处理提供原始数据信息。 数据信息是以点阵的形式记录在胶片...
  • 1、DECIMAL是MySQL中存在的精准数据类型,以字符串的形式保存精确的原始数值,而float,double则是非精准类型,在DB中保存的是近似值。 例如语法:column_name DECIMAL(P,D) P是表示有效数字数的精度。 P范围为1〜...

    一、MYSQL数据类型DECIMAL用法:

    1、DECIMAL是MySQL中存在的精准数据类型,以字符串的形式保存精确的原始数值,而float,double则是非精准类型,在DB中保存的是近似值。

    例如语法:column_name DECIMAL(P,D)

    • P是表示有效数字数的精度。 P范围为1〜65。
    • D是表示小数点后的位数。 D的范围是0~30。MySQL要求D小于或等于(<=)P。

    当数值在其取值范围之内,小数位多了,则四舍五入后直接截断多出的小数位。

    若数值在其取值范围之外,则直接报Out of range value错误。

    DECIMAL(P,D)表示列可以存储D位小数的P位数。
    十进制列的实际范围取决于精度和刻度。

    与INT数据类型一样,DECIMAL类型也具有UNSIGNED和ZEROFILL属性。 如果使用UNSIGNED属性,则DECIMAL UNSIGNED的列将不接受负值。

    如果使用ZEROFILL,MySQL将把显示值填充到0以显示由列定义指定的宽度。 另外,如果我们对DECIMAL列使用ZEROFILL,MySQL将自动将UNSIGNED属性添加到列。

    2、以下示例中使用DECIMAL数据类型定义一个amount的列:mysql amount DECIMAL(6,2);

    • 在此示例中,amount列最多可以存储6位数字,小数位数为2位;
    • 因此,amount列的范围是从-9999.99到9999.99。

    3、MySQL允许使用以下语法:

    • mysql column_name DECIMAL(P);
    • 这相当于:mysql column_name DECIMAL(P,0);
    • 在这种情况下,列不包含小数部分或小数点。

    此外,我们甚至可以使用以下语法:

    • mysql column_name DECIMAL;
    • 在这种情况下,P的默认值为10。

    二、MYSQL DECIMAL存储:

    MySQL分别为整数和小数部分分配存储空间。 MySQL使用二进制格式存储DECIMAL值。它将9位数字包装成4个字节。

    对于每个部分,需要4个字节来存储9位数的每个倍数。剩余数字所需的存储如下表所示:

    剩余数字
    0 0
    1-2 1
    3-4 2
    5-6 3
    7-9 4

    例如,DECIMAL(19,9)

    • 对于小数部分具有9位数字,对于整数部分具有19位-9位=10位数字,对照上表小数部分需要4个字节。
    • 整数部分对于前9位数字需要4个字节,1个剩余字节需要1个字节。DECIMAL(19,9)列总共需要9个字节。

    三、MySQL DECIMAL数据类型和货币数据:

    经常使用DECIMAL数据类型的货币数据,如价格,工资,账户余额等。如果要设计一个处理货币数据的数据库,则可参考以下语法:mysql amount DECIMAL(19,2);

    但是,如果您要遵守公认会计原则(GAAP)规则,则货币栏必须至少包含4位小数,以确保舍入值不超过$0.01。
    在这种情况下,应该定义具有4位小数的列,如下所示:mysql amount DECIMAL(19,4);

    四、MySQL DECIMAL数据类型示例:参考文章

    首先,创建一个名为test_order的新表,其中包含三列:id,description和cost。

    CREATE TABLE test_order (
        id INT AUTO_INCREMENT PRIMARY KEY,
        description VARCHAR(255),
        cost DECIMAL(19,4) NOT NULL
    );
    

    第二步,将资料插入test_order表。

    INSERT INTO test_order(description,cost)
    VALUES('Bicycle', 500.34),('Seat',10.23),('Break',5.21);
    

    第三步,从test_order表查询数据。

    SELECT * from test_order;
    

    查询结果:
    在这里插入图片描述

    第四步,更改cost列以包含ZEROFILL属性。

    ALTER TABLE test_order
    MODIFY cost DECIMAL(19,4) zerofill;
    

    第五步,再次查询test_order表。

    SELECT * from test_order;
    

    查询结果:
    在这里插入图片描述
    如上所见,在输出值中填充了许多零。

    因为zerofill,当我们插入负值会报错:

    INSERT INTO test_order(description,cost)
    VALUES('test', -100.11);
    <br>提示:
    [SQL]INSERT INTO test_order(description,cost)
    VALUES('test', -100.11)
     
    [Err] 1264 - Out of range value for column 'cost' at row 1
    
    展开全文
  • 海关165号、179号要求平台开放订单原始数据接入中碰到的问题解决办法和需要注意的细节。 文中只是记录了一些重点,不一定是全部的细节,一些操作部分的内容有所省略,可以留言提问补充。 首发CSDN,总结整理:...

    海关165号、179号要求平台开放订单原始数据接入中碰到的问题解决办法和需要注意的细节。
    文中只是记录了一些重点,不一定是全部的细节,一些操作部分的内容有所省略,可以留言提问补充。

    首发CSDN,总结整理:ccbox.net

    目录

    在开始之前,我们要先做一些准备:

    一、准备好加签要用的卡介质

    二、然后加入微信群:

    三、接着准备好几个熟手的程序员,准备码代码。

    四、要提前阅读的通知和文档:

    五、另外可以参考的一些线上经验教程:

    好了,现在可以开始搞事了:

    业务模式:

    实现前提:

    业务流程:

    业务实现:

    接受海关发起的请求:

    生成报文和上传:

    常见错误结果和解决方法:

    常见问题解读:

    《@所有人 的通知:》

    《数据抓取流程及常见问题.txt》

    报文固定样例


     

    在开始之前,我们要先做一些准备:

    一、准备好加签要用的卡介质

    先开通要用的企业操作员卡或者UKEY,准备好插着操作员卡或者UKEY的主机

    (本地服务器或者办公PC随意,能保证以后能7x24不间断运行就行了。如果这台主机能开通公网访问就更方便。)

    二、然后加入微信群:

    数据中心实时抓取企业联调测试群。

    因为测试环境要找管理员开通的,这里特别注意和留意的是,要关注管理员反复叮嘱发出来的两个内容:一个是 《数据抓取流程及常见问题.txt》 文档(以下简称常见问题),一个是“@所有人”的通知(以下简称群内通知),这个通知基本管理员每天会发好几次。
    仔细阅读这两个内容,能解决开发调试过程中的90%的问题。

     

    三、接着准备好几个熟手的程序员,准备码代码。

    四、要提前阅读的通知和文档:

    1、海关总署公告2018年第165号(关于实时获取跨境电子商务平台企业支付相关原始数据有关事宜的公告)
    附件: 《跨境电子商务零售进口统一版信息化系统原始数据实时获取方案.doc》
    附件文档中简要说明了获取方案的过程。

    2、海关总署公告2018年第179号(关于实时获取跨境电子商务平台企业支付相关原始数据接入有关事宜的公告)
    附件: 《海关跨境电商进口统一版信息化系统平台数据实时获取接口(试行).zip》
    附件中包含了一个接口文档(以下简称为: 接口文档 ),一个控件说明包,一个数据样例。
    主要看接口文档,其他的可以先熟悉。

    3、去群里找人要一个 《加签验签.rar》 的压缩包,这个包具体是谁给出的我也不记得了。
    包里含有一个文档《海关加签调试步骤.docx》(以下简称为: 步骤文档 )、证书导出工具包《debug.rar》、加签样例《html+js加签工具.rar》。

    五、另外可以参考的一些线上经验教程:

    179海关联调服务
    https://blog.csdn.net/u010955036/article/details/88712577
    海关 实时数据 企业联调接口 开发步骤与概要
    https://www.cnblogs.com/whtydn/p/10220209.html


     

    好了,现在可以开始搞事了:

    首先,参考步骤文档 ,将ukey或者操作员卡的证书导出,取得证书编号。
    然后联系群管理员,把证书和相关的资料提交了开通测试环境先,然后再到口岸单一窗口登陆和注册相关所需的内容(可以测试通过之后再去注册)。
    然后就可以开始做开发了。

    业务模式:

    实现前提:

    跨境电商平台在订单支付的时候,需要保存发起的支付请求信息和支付成功的返回信息。
    这个步骤要看目前运行的平台系统有没有对应保存的操作,没有的话,就得改一下平台系统的相关内容,增加支付原文和支付反馈的原文信息了。

    业务流程:

    1、海关发起数据查询通知 – 电商平台收到通知后,返回10000告知已收到通知;
    2、电商平台查找对应订单信息,组成订单实时数据,将数据进行加签(发送到插有ukey的服务器进行加签);
    3、加签(通关)服务器将得到的签名和证书编码追加到订单实时数据中,发送到海关指定的服务器接口。

    参考《跨境电子商务零售进口统一版信息化系统原始数据实时获取方案》配图。从图中我们可以直观的看到,这里面涉及到三个方面的服务器(或者叫做操作方?反正就是这个意思)。

    业务实现:

    接受海关发起的请求:

    电商平台系统需要提供一个80端口的地址供海关随时发起查询。比如: http://open.xxx.com/real_time_data
    【*重点说明:】
    接口文档中对应的为:1.6.1. 企业实时数据获取接口(部署在电商平台)
    但是,文档中只说明了这个接口的参数为三个,并未说明接口数据是怎么发送过来的,所以这里要留意【群里通知】,里面有一句话特别说明:从请求中获取openReq参数的值,该参数值是一个符合json标准的字符串,由于海关提交的请求是post方式(x-www-form-urlencoded),所以在url中是没有参数的,必须要从表单中获取该参数也就是说,这三个参数要从一个openReq的字段中获取,获取后要进行json_decode解析成参数表

    收到海关的请求后,需要返回响应内容,表示接收到通知了,这里注意输出的是json,不是string。
    {“code”:“10000”,“message”:"",“serviceTime”:1533271903898}
    具体格式详情看文档即可。

    生成报文和上传:

    接着,电商平台需要将海关抽查的订单信息找出来,组成接口文档中的【1.6.2. 企业返回实时数据接口(部署在通关服务系统)】所需的申报数据,发送到【插着UKEY或操作员卡的通关服务器】进行数据加签。
    加签(通关)服务器将申报数据按照接口文档说明,组成对应的字符串进行加签,取得签名。

    【*重点说明:这里是大部分人很容易出错的地方】
    接口文档中对应的为:1.6.2. 企业返回实时数据接口(部署在通关服务系统)
    这里要注意阅读群里管理员发出来的【常见问题】,文档里面附有标准的报文固定样例,包括:验签拼接的原文、进行加签之前的报文、加签之后的签名、上传给海关的报文。
    这里要提醒的是:用这里提供的数据,需要修改一个地方【ebpCode改成你自己的】,然后进行加签比对,如果你在你的系统里得到的验签拼接的原文、进行加签之前的报文相同,并且跟样例中的一致(重点:一致!!!除了刚才修改的ebpCode内容,其他的一个字符都不能有差异),那签名出来的就基本没有问题了。
    得到签名后,将得到的certNo和signValue加入数据中,组成报文,再转为json,放到参数payExInfoStrpayExInfoStr中,就可以进行测试了。

    PHP开发的同学需要注意,json字符串需要做一下urlencode,也就是:

    $postdata = 'payExInfoStr='.urlencode($payExInfoJsonStr);

     

    这个时候将报文post到联调接口去就可以了。如果严格按照以上内容去做,前面的工作也做好了,那么一般返回的结果很有可能是:
    {“code”:“20006”,“message”:“上传失败,入库失败 java.sql.SQLException: ORA-00001: 违反唯一约束条件 (sessionID重复)”,“total”:0,“serviceTime”:1500000000000}
    得到这个结果,就恭喜你了,签名和测试工作已经搞定了。这里的错误是因为你用的是样例数据,自己随意生成一个sessionID再跑一遍,基本就成功了。

     

    常见错误结果和解决方法:

    {“code”:“20004”,“message”:“企业实时数据获取验签证书未在服务系统注册”,“total”:0,“serviceTime”:1500000000000}
    得到这个结果,说明证书没有注册,测试环境联系管理员,生产环境需要到单一窗口去注册上传。如果已经上传了的,去看看你填的ebpCode是否是你自己的。

    {“code”:“20000”,“message”:“上传失败 java.lang.IllegalStateException: xxxx这里是错误信息内容”,“total”:0,“serviceTime”:1500000000000}
    这个错误说明上传的数据格式不对,海关系统无法解析,注意看看是否有字段类型或者格式错误,也注意看具体看错误内容,一般都有提示。

    {“code”:“20005”,“message”:“验签失败”,“total”:0,“serviceTime”:1500000000000}
    得到这个信息,说明上传的内容格式没问题了,验签失败,可能加签过程不对,一般都是字符串或者加签格式不对导致的,相见加签部分的细节,注意比对加签内容的格式和样例是否一致。另外也要看看用得证书什么的有没有问题。

    {“code”:“20006”,“message”:“上传失败,入库失败 java.sql.SQLException: ORA-00001: 违反唯一约束条件 (sessionID重复)”,“total”:0,“serviceTime”:1500000000000}
    得到这个消息,恭喜你,测试基本成功了:加签成功、数据格式没有问题了,接下来就可以自己生成模拟数据去测试了。

    {“code”:“10000”,“message”:“上传成功”,“total”:0,“serviceTime”:1500000000000}
    恭喜,测试成功。

     

    常见问题解读:

    前面有提到:仔细阅读管理员频繁提出的两个内容,能解决开发调试过程中的90%的问题
    但是有的时候,越是频繁提醒的内容,大家就是这么容易忽略掉这个问题,所以这里将管理员频繁提到的内容整理和解读一下,因为基本里面的内容都是重点,所以这里只做整理:


    《@所有人 的通知:》

    1、正式环境服务地址已经上线了,注册地址 ceb1.chinaport.gov.cn 企业自行注册。审核的时候系统随机抽查企业三天内的通关清单订单号,发送给企业,企业接收到返回10000为审核通过。跨境企业类型为电商平台才能注册,企业可以去企管科查询自己的企业类型。

    2、审核不通过的原因:

    • 企业收到调用返回的不是10000,【审核的时候如果不返回10000,则无法通过审核】
    • 企业三天内没有订单数据,【没有数据可以抽查,无法审核】
    • 端口需要80,【一定要80端口,不能自定义其他的端口,能通过http访问】
    • 是否配置白名单,【这个自己理解吧,把联调审查接口拉黑了你还想过审?】
    • 需要卡介质登陆【嗯,注册地址要用卡介质登录】

    3、测试环境注册是丁鑫注册,企业自己注册的是正式环境【测试环境人工开通,生产环境自助开通】
    4、证书编号需要小写!!!【注册填写的编号、上传报文中的证书编号都要小写】
    5、从请求中获取openReq参数的值,该参数值是一个符合json标准的字符串,由于海关提交的请求是post方式(x-www-form-urlencoded),所以在url中是没有参数的,必须要从表单中获取该参数【详见文中的相关部分内容,这里与接口文档是有出入的,以这里为准】
    6、需要重新的审核的企业,重新注册下即可【没通过的地址可以直接删除,重新注册,看后面第8条】
    7、payExchangeInfoList 应该为 payExchangeInfoLists【这里与接口文档是有出入的,以这里为准】
    8、!-!!-!企业地址快捷审核:把审核不通过的地址删除从新注册。状态变为未审核提高企业审核效率。!-!
    9、!-!审核通过是接口通了,重要的是企业必须在接收请求后两分钟内上传数据。!-!【划重点:两分钟内上传数据!!!】
    10、!-!上传数据的sessionid 必须和请求的sessionid保持一致。!-!【sessionID是海关识别抽查数据的唯一码,而不是以你的orderNo为准的,我猜这也是为什么上一条要求两分钟内要上传数据,可能sessionID的失效时间就是两分钟,我猜的。。。】


    《数据抓取流程及常见问题.txt》

    联调流程
    1、服务注册:由于企业无法看到联调的注册页面,需要将证书(加签设备的签名证书),证书编号(证书的序列号),电商平台代码(海关十位编码)提交给对接人员完成注册,私信给丁鑫,联调需要企业提供的: 证书、证书编号、电商平台代码、电商企业名称、联系人、联系人电话

    2、企业在联调环境中测试上传数据:企业在联调环境中根据所提供样例,由对接人员协助完成上传,返回“上传成功”,为正确上传状态,通过联调企业返回实时数据接口地址上传请求(1. 将数据内容所有数据一级节点使用||分割符拼接为连续字符串,使用IC卡、Ukey、服务类密码设备进行加签,将certNo(证书编号)、signValue(加签结果)补充入请求中。)

    3、企业模拟请求测试接口连通性
    通过样模拟样例中海关实时数据获取请求,按返回格式正确返回正常调用值。在相应时间内上传支付相关原始数据。
    4、线上注册,将证书和接口地址在注册页面上传注册,注册地址 ceb1.chinaport.gov.cn 企业自行注册
    5、注册完成需要审核,审核的时候系统随机抽查企业三天内的通关清单订单号,发送给企业,企业接收到返回10000为审核通过.
    审核不通过的原因:企业收到调用返回的不是10000,企业三天内没有订单数据,端口需要80,是否配置白名单,需要卡介质登陆
    6、审核通过后企业启用审核通过的地址,确保上传数据在收到请求后两分钟内完成。
    7、保持接口连通。对接完成

     

    1、企业先进行联调测试,165和179公告有测试接口,和报文样例
    2、企业将证书编号和证书和电商平台代码(海关备案十位)发给群里-丁鑫
    3、服务注册正式环境已经上线,注意联调环境需要提交给我们注册(联调环境企业看不到,企业可以自己注册的是正式环境)
    4、企业上传过程中提示:”企业实时数据获取验签证书未在服务系统注册的“,证书和证书编号未提供。
    提供过的还提示未注册,检查上传报文内ebpcode和certno有没有修改为提供的电商平台代码和证书编号。
    证书编号小写.要避免sessionid重复。
    5、上传失败的检查:
    1,上传数据方式有问题,建议可以先把payExchangeInfoHead里的initalRequest和initalResponse先改成简单的字符串试试
    2、验签前json解析失败 注意:json字符串格式 (看公告样例)
    3、如果带特殊字符,payInfostr的value 需要做下urlencode (使用多次就会出现汉字乱码%什么的)

    6、验签失败:
    1、原文不匹配(注意格式 字段顺序 二级字段顺序 必须和固定格式一致 表头表体和时间的value必须添加双引号 totalAmount不带引号)
    2、证书问题(证书如果带-----BEGIN CERTIFICATE与-----END CERTIFICATE独占一行 别跟在后面,影响验签结果。)
    3、加签方式不对(js加签如果证书原文没问题一定可以过,不可以用法人卡要用操作员卡)一般原文不匹配几率大 仔细检查
    7、数据中心请求你们的Content-Type: application/x-www-form-urlencoded,端口默认 80 从请求中获取openReq参数的值,该参数值是一个符合json标准的字符串,由于海关提交的请求是post方式(x-www-form-urlencoded),所以在url中是没有参数的,必须要从表单中获取该参数。。
    8、企业服务地址端口测试环境需要为80。
    9、不知道如何获取证书和证书编号的咨询群内联调成功企业
    10、上传失败入库失败:检查sessionid是否重复,验证字段必填项与长度,详细看公告文档。
    11、审核不通过的几种情况:
    1、接口不通 企业收不到调取信息。
    2、企业收到调用返回的不是10000
    3、企业三天内没有订单数据
    4、端口不是80,是否配置白名单

     

     

    报文固定样例

    验签拼接的原文:

    "sessionID":"fe2374-8fnejf97-55616242"||"payExchangeInfoHead":"{"guid":"9D55BA71-55DE-41F4-8B50-C36C83B3B419","initalRequest":"https://openapi.alipay.com/gateway.do?timestamp=2013-01-0108:08:08&method=alipay.trade.pay&app_id=13580&sign_type=RSA2&sign=ERITJKEIJKJHKKKKKKKHJEREEEEEEEEEEE&version=1.0&charset=GBK","initalResponse":"ok","ebpCode":"3301963K69","payCode":"312226T001","payTransactionId":"2018121222001354081010726129","totalAmount":100,"currency":"142","verDept":"3","payType":"1","tradingTime":"20181212041803","note":"批量订单,测试订单优化,生成多个so订单"}"||"payExchangeInfoLists":"[{"orderNo":"SO1710301150602574003","goodsInfo":[{"gname":"lhy-gnsku3","itemLink":"http://m.yunjiweidian.com/yunjibuyer/static/vue-buyer/idc/index.html#/detail?itemId=999761&shopId=453"},{"gname":"lhy-gnsku2","itemLink":"http://m.yunjiweidian.com/yunjibuyer/static/vue-buyer/idc/index.html#/detail?itemId=999760&shopId=453"}],"recpAccount":"OSA571908863132601","recpCode":"","recpName":"YUNJIHONGKONGLIMITED"}]"||"serviceTime":"1544519952469"
    

    进行加签之前的报文:(这个和上文是一致的,和上面的原文一样,ebpCode值换成你自己的)

    "sessionID":"fe2374-8fnejf97-55616242"||"payExchangeInfoHead":"{"guid":"9D55BA71-55DE-41F4-8B50-C36C83B3B419","initalRequest":"https://openapi.alipay.com/gateway.do?timestamp=2013-01-0108:08:08&method=alipay.trade.pay&app_id=13580&sign_type=RSA2&sign=ERITJKEIJKJHKKKKKKKHJEREEEEEEEEEEE&version=1.0&charset=GBK","initalResponse":"ok","ebpCode":"3301963K69","payCode":"312226T001","payTransactionId":"2018121222001354081010726129","totalAmount":100,"currency":"142","verDept":"3","payType":"1","tradingTime":"20181212041803","note":"批量订单,测试订单优化,生成多个so订单"}"||"payExchangeInfoLists":"[{"orderNo":"SO1710301150602574003","goodsInfo":[{"gname":"lhy-gnsku3","itemLink":"http://m.yunjiweidian.com/yunjibuyer/static/vue-buyer/idc/index.html#/detail?itemId=999761&shopId=453"},{"gname":"lhy-gnsku2","itemLink":"http://m.yunjiweidian.com/yunjibuyer/static/vue-buyer/idc/index.html#/detail?itemId=999760&shopId=453"}],"recpAccount":"OSA571908863132601","recpCode":"","recpName":"YUNJIHONGKONGLIMITED"}]"||"serviceTime":"1544519952469"
    

    加签之后的签名(ebpCode值换成你自己的后,出来的签名肯定不是这个,所以这个值不用看)

    J1shnr986MzgvwOBIMD0QMpkTTTARsGgwM9RkRAAmZOWA1ZAi8KNR+h5WtqXy6qdiW9KTfLyx9kgseWX/udghOOMVJrYlGelhwg26L7bq5gj72AU40zXq69bNoOgH/ccSQzHFRvbGug2gJ4Pv8dSNVVY8rFzX+8AMNnHTdIWo74=
    

    上传给海关的报文(这里的格式是一个标准的json格式,加入了certNo和signValue值,如果带特殊字符,payInfostr的value 需要做下urlencode (使用多次就会出现汉字乱码%什么的))

    {"sessionID":"fe2374-8fnejf97-55616242","payExchangeInfoHead":{"guid":"9D55BA71-55DE-41F4-8B50-C36C83B3B419","initalRequest":"https://openapi.alipay.com/gateway.do?timestamp=2013-01-0108:08:08&method=alipay.trade.pay&app_id=13580&sign_type=RSA2&sign=ERITJKEIJKJHKKKKKKKHJEREEEEEEEEEEE&version=1.0&charset=GBK","initalResponse":"ok","ebpCode":"3301963K69","payCode":"312226T001","payTransactionId":"2018121222001354081010726129","totalAmount":100,"currency":"142","verDept":"3","payType":"1","tradingTime":"20181212041803","note":"批量订单,测试订单优化,生成多个so订单"},"payExchangeInfoLists":[{"orderNo":"SO1710301150602574003","goodsInfo":[{"gname":"lhy-gnsku3","itemLink":"http://m.yunjiweidian.com/yunjibuyer/static/vue-buyer/idc/index.html#/detail?itemId=999761&shopId=453"},{"gname":"lhy-gnsku2","itemLink":"http://m.yunjiweidian.com/yunjibuyer/static/vue-buyer/idc/index.html#/detail?itemId=999760&shopId=453"}],"recpAccount":"OSA571908863132601","recpCode":"","recpName":"YUNJIHONGKONGLIMITED"}],"serviceTime":"1544519952469","certNo":"01010000000019f1","signValue":"J1shnr986MzgvwOBIMD0QMpkTTTARsGgwM9RkRAAmZOWA1ZAi8KNR+h5WtqXy6qdiW9KTfLyx9kgseWX/udghOOMVJrYlGelhwg26L7bq5gj72AU40zXq69bNoOgH/ccSQzHFRvbGug2gJ4Pv8dSNVVY8rFzX+8AMNnHTdIWo74="}
    

     

     

    最后再提醒一句:很多细节需要去慢慢查,一个字符可能都会翻车。


    感谢群管理员丁鑫一直都在不厌其烦的跟进答疑,大家有问题可以留言相互交流,祝大家早日接通。

    首发CSDN,总结整理:ccbox.net

    展开全文
  • 要实现的SQL查询很原始要求从第一个表进行查询得到第二个表格式的数据,上网查询之后竟然能写出下面的SQL:代码如下:select * from userinoSELECT * FROM(SELECT DISTINCT userpartFROM userino)AOUTER APPLY...
  • 数据探索(1)数据质量分析

    千次阅读 2018-11-27 10:02:25
    数据质量分析的主要任务是检查原始数据中是否存在脏数据,脏数据一般是指不符合要求,以及不能直接进行相应分析的数据。 在常见的数据挖掘工作中,脏数据包括如下内容: 缺失值 异常值 不一致的值 重复的值以及包含...
  • 数据质量分析的主要任务是检查原始数据中是否存在脏数据。脏数据一般是指不符合要求以及不能直接就行应用分析的数据。脏数据包括:缺失值、异常值、不一致的值、重复数据以及含有特殊符号(#、¥、*)的数据。 1....
  • 1. 原始数据格式 样式就是这个样式,一共2018,2019,2020三年的数据(数据是我随机生成的),前面两列数据合并在一起的,我是使用pandas读取Excel表的,需要将每个单元格填充,不然数据只会读到一个单元格中,咱们...
  • 数据初识

    2018-03-27 16:14:00
    (4)记录并检测系统数据一致性的要求和执行情况;(5)衡量数据质量。理解:元数据就相当于抛掉原始的一个对象对应一张表的尴尬局面,使用元数据,将所有的参数数据放入同一张表中,新建另一张...
  • 基于python数据分析

    2020-08-20 21:33:38
    数据质量分析的主要任务是检查原始数据中是否存在脏数据,脏数据一般是指不符合要求,以及不能直接进行相应分析的数据。在常见的数据挖掘工作中,脏数据包括如下内容。 口、缺失值。 异常值。 不一致的值。 重复数据...
  • 引言1、RDB持久化方式能够在指定的时间间隔能对数据进行快照存储备份.2、AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始数据,AOF命令以redis协议追加保存每次写的操作到...
  • 数据透视表基础应用

    2021-04-17 20:48:22
    文章目录前言一、数据透视表——原始数据要求二、使用步骤1.创建数据透视表2、字段列表设置数据透视表选项的调整1、字段列表的排序2、刷新时保留单元格格式3、关闭/启动显示明细数据4、下拉框中不显示字段已删除的...
  • 应用场景:一张日志表,记录每天150w左右的数据量,应用要求存储6个月以上,则共计27000w左右的数据规模,表从设计初期就考虑到数据增长会很快,所以采用的是日志表的形似记录的内容,前端应用不需和任何表关联,只...
  • 知识点:new Date问题: safari浏览器 显示 NaN因为 JS中要求Date类型转换的原始数据格式是yyyy/mm/dd之类的,所以横岗 - 要替换掉才可以今天同事来问,我一看果然啊,mac版高级的safari 没问题,就老版本的 ...
  • 样本数据集的数量和质量是否满足模型...主要任务:检查原始数据中是否存在脏数据 脏数据包括:缺失值、异常值、不一致的值、重复值 缺失值分析 缺失包括:记录缺失、某个字段缺失 缺失产生原因 有些信息无法获取...
  • 实验数据的收集和记录贯穿科研活动全过程,是科学研究的原始资料,并为科学研究提供重要信息。...1.将实验数据记录于纸片 实验操作时,由于未携带实验记录本,有时将某些实验现象随手记录于身边的纸片或其他纸质材
  • 主要任务:检查原始数据中是否存在脏数据,脏数据是指不符合要求,以及不能直接进行相应分析的数据。 脏数据包括如下: 缺失值、异常值、不一致的值、重复数据等 缺失值分析 主要任务:处理记录缺失或者记录中某个...
  • 笔试记录

    2016-08-17 22:02:52
    【1】出处:网易有道 已知队列的操作方式如下: ...已知此操作过程要求可以将原始队列的输出序列为1、2、3、...、n. 现给出队列元素个数n(>=1),输出满足要求原始的队列(元素用空格隔开)。输入T(数据组数
  • 润乾——数据集管理

    2014-04-11 16:47:26
    并且可以基于对原始数据的处理生成,比如在SQL中进行关联、过滤、计算,使用存储过程等等。甚至可以通过自定义数据集,由开发者自行处理任意需求的数据来源格式和预计算要求。 目前,必须使用数据集或
  • DBGridEh导出功能详解(SaveDBGridEhToExportFile说明)经常有用户要求数据导出,对此,我们一直用最原始的办法,打开查询,读取每个字段的数据,逐条的的写入文件。 后来发现,其实DBGridEh控件提供...
  • 简介:该项目是一个实时电信呼叫数据记录分析项目,.csv文件的CDR(呼叫数据记录)文件为原始格式(包含由日期,时间,设备信息等组成的原始数据),包含列名,总共有435列。同样,信息分布在多列中。客户的要求包括...
  • 主文件:原始数据记录组成的文件 索引文件:索引数据组成的文件 稠密索引:对每个记录建立一个索引项(特点:主文件不需要按关键码次序排列) 稀疏索引:对一组记录建立一个索引项(特点:要求主文件必须按照关键...
  • 业务背景 因业务快速发展,某天公司的日活用户高达 500 万,基于现有业务模式,业务侧要求我们根据用户的行为做埋点,旨在记录用户在...首先,我们需要收集的原始数据结构如下表所示 指标 备注 IMEI 用户设备
  • 通用数据挖掘系统

    2013-05-13 10:14:53
    DMS3.0项目需要开发这样一个通用的数据采集系统程序,来采集Unix机器记录的用户登入和登出的原始记录,并将这些记录解析匹配成用户的登录记录,然后发送给数据采集服务器,在服务器端将这些数据以日期为单位保存在...
  • 1.数据记录的规定及CRF表提交的方式  1.1 数据记录的规定  a、CRF表的填写:《病例报告表》由临床研究者负责填写,临床研究者要保证数据记录的及时、完整、准确和真实。数据应在CRF要求时限的24小时内填写完毕。...
  • Mapeduce数据去重秒懂

    2019-12-06 11:50:14
    数据去重的目的是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。我们自然想到将相同key值的所有value记录交到一台reduce机器,让其无论这个数据出现多少次,最终结果只输出一次。具体就是reduce的输出...
  • 数据挖掘流程总结及挖掘算法比较

    千次阅读 2018-08-07 15:43:52
    主要任务:检查原始数据中是否存在脏数据 脏数据:不符合要求,以及不能直接进行相应分析的数据。包括:缺失值,异常值,不一致的值,重复数据,含有特殊符号的数据。 1、缺失值处理方式:删除存在缺失值的记录; ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 437
精华内容 174
关键字:

原始数据记录要求