精华内容
下载资源
问答
  • 摘 要:信息技术的发展,很多传统人工手动完成的任务逐渐由计算机信息技术所替代,在数据收集方面,手动收集、输入数据早已被社会所淘汰,机器收集数据是科学技术发展的必然结果。现代机器数据收集,计算机发挥着...

    摘 要:信息技术的发展,很多传统人工手动完成的任务逐渐由计算机信息技术所替代,在数据收集方面,手动收集、输入数据早已被社会所淘汰,机器收集数据是科学技术发展的必然结果。现代机器数据收集,计算机发挥着重要作用,而随着网络技术的发展,基于网络技术应用计算机直接进行数据收集成为现代社会发展的主要数据收集手段。该文从计算机数据输入的类型和评估准则出发,探讨计算机在数据收集中的重要作用。

    关键词:计算机 数据收集 数据输入

    中图分类号:TP3-4 文献标识码:A 文章编号:1674-098X(2016)08(c)-0094-02

    现代社会计算机逐渐普及,走进行业、各个场所和千家万户,数据收集的方式也从传统的人工手动输入向机器数据收集的方式转变。计算机技术的普及和网络技术的发展,应用计算机技术来收集数据更加快速、便捷和准确,人工手动数据输入逐渐被社会所淘汰。计算机实时收集、处理数据是现代信息技术发展的结果,是科学技术为人类发展服务的体现之一。在现代社会海量数据收集的压力下,计算机在数据收集中应用越来越为人们所认可,发展前景十分广阔。

    1 计算机在数据收集中的作用

    传统数据收集主要采取手动输入的方式,先进行手写传票的收集,再人工手动通过计算机键盘输入计算机系统中。这种方式无论是手写传票还是数据键盘输入,一方面工作量大,操作麻烦,另一方面人工操作失误率高,影响数据的准确性。随着回馈输入系统的应用,使手写传票输入式的数据收集方式得到简化,但是回馈输入系统是以传票作为主要的输入媒体。为了有效解决应用传票作为媒体的数据收集方式中存在的不足,计算机终端数据收集应运而生。在很多需要进行数据收集的场所,配置了计算机终端系统,以及可以与计算机系统相连接的附加的终端装置,这样可以免除手写传票的过程,直接就可以对数据进行输入。受环境等多种因素的限制,现代社会很多企业配备的数据收集装置可直接接入计算机系统中,由计算机系统完成数据的收集和管理。数据输入的方法也日益增多,类型丰富,常见的有磁卡、条码卡等,后来又增加声音输入的数据收集装置,其他数据输入的方式也在不断开发和应用,逐渐取代了键盘数据输入。随着技术的不断发展进步,应用计算机直接进行数据收集的方式不断发展起来,特别是随着网络技术的发展,基于网络的计算机直接收集数据已经成为现代社会数据收集的主流方式。

    2 计算机数据输入的类型

    2.1 终端输入

    传统的终端输入,是人工利用键盘将数据按照一定的格式要求输入计算机系统中。在采用这种方式进行数据输入时,需要操作人员按照要求对数据进行程序编制。采用这种方法,一方面人工输入效率不高,需要长时间占用主机的时间,输入成本高,速度慢。而且人工输入失误率高,输入完成还需要进一步进行人工校对。在新的方式开发之前,这种方式是最常见也是应用最为普遍的方式,如何提高终端输入的高效性和准确性,是此种数据收集类型的主要问题。

    2.2 实时数据输入

    实时数据输入的优势在于把数据现场的多种数据,包括现场工作情况、设备运行状态、工作环境等数据信息实时通过数据收集装置输送到计算机系统中。因为是实时性的,有关部门能够快速、及时、准确地收到数据并进行快速的分析处理。但是这种方法需要成本较高,在应用时,经济性问题是需要考虑的重要问题。

    2.3 批量数据输入

    在很多时候,数据的输入都是利用磁带等作为介质以批量的形式定时输送到计算机系统中。在使用此种输入方法时,需要对数据内容首先进行确认,然后进行批量输送,输入后再通过程序对数据正确性进行进一步的检查。这种数据输入方式需要有完备的配套设备,但是容易操作,简单方便。

    2.4 网络数据输入

    网络技术的应用,基于计算机网络,以通信的方式从另一个系统获取相关的数据,这是现代数据输入的一大革新。网络数据输入的方式能够快速获得外界的数据,是网络技术和信息技术发展的产物。但是这种方式对网络的配置、设备的配置都有一定的要求,成本要较其他方法高。

    3 计算机数据收集的关键点

    3.1 成本问题

    计算机数据采集,不能过度追求数据收集的准确性和实时性,成本问题是一个很重要的问题。实时收集、输送问题需要一定的装置配备,这需要花费很高的成本,而且要保证实时传输数据的完整性,也是有一定难度的。因此,成本的问题是需要纳入到考虑范围的,要从多种方案中寻求最佳的方案。

    3.2 适时性问题

    一般来说,数据的录入需要设定一定的时间周期,适时性也就是指处理某种数据的时间周期。对于周期性的数据处理,其重点在于准确性,而不是快速性,因此对于此类定期输入的数据,采用键盘输入的方式是具有可行性的。而对于服务系统来说,需要很快的处理,以满足客户的需求,因此,在建立一个信息系统时,需根据系统要完成的任务而设定处理时间、处理周期。

    3.3 正确性问题

    数据的正确性直接影响结果的正确性。这就要求在进行数据输入的过程中应该对数据的有效性进行必要的检查或核对,这项工作可能是在手工输入数据的环节来进行,也可能在计算机接收输入数据的程序中来进行。手工输入数据的检测主要依靠人工的核查、校对,而计算机程序是对数据类型或者值域进行检查的方式。

    无论是数据的完整性,还是数据的正确性,人工校对方法是之前常用的一种方法,现代计算机数据收集更多的是采用计算机自查的方法。对数据是否规范进行检查,比如按照对齐要求对数据进行自动对齐;输入时增加校验位;值域的合理性检查等。在对批量的数据进行批量处理的过程中,可以将数据按照一定的要求进行分组,按组别进行数据的检查。

    4 算机在数据收集中的应用

    数据的收集和管理,为了保证数据的可靠性,数据收集是最基础的一个环节。在实际的操作中,数据收集要注意的关键点在于:第一,要保证数据本身的正确性。计算机系统的主要工作任务在于对海量的数据信息按照一定的要求进行有效的处理,为各种决策提供信息上的支持和参考。收集的数据本身缺乏正确性,直接会影响计算机处理结果的正确性,那么就无法对决策提供有效的信息依据。第二,数据收集的时间性。决策信息的有效性在很大程度上还取决于收集的时机是否正确,收集的时间长短是否合理。在计算机信息系统汇总,对信息响应速度的快慢,往往会对数据收集系统的工作形式起到决定性的作用,是采取人工收集的方式,还是自动收集的方式,二者涉及的成本差距是很大的。

    数据主要有两大来源:一种是已经建立起来的资料源,一种是实际系统获得的数据。数据的来源不同,数据收集方式也不同。对于来自于资料源的数据,因为是从已经建立起来的资料库中直接获取的资料,很多资料都是先前经过了一定的人工处理,处理人员的主观因素在一定程度上会对资料的正确性具有影响。在对这类数据进行收集的过程中,要对资料员的正确性、可靠性予以充分考虑。对于实际系统中获得的数据,一般都是通过仪器从系统中进行资料收集,不经过人工处理直接输入到计算机系统再进行进一步的处理,因此,对于此类数据的收集需要考虑仪器的先进性、使用方法和数据收集的时间性等问题。

    总之,随着计算机技术和网络技术的发展,基于网络的计算机数据收集会越来越为人们所应用,数据收集的准确性也会随着技术和方案的不断完善而得到不断的提高。

    参考文献

    [1] 陈维雷,刘连忠.数据输入人机接口的动态构建[C]//中国控制与决策学术年会论文集.2013.

    [2] 马力.可用性测试中计算机辅助数据收集和分析机制研究[D].北京邮电大学,2014.

    [3] 石高涛,廖明宏.传感器网络中具有负载平衡的移动协助数据收集模式[J].软件学报,2007,18(9):2235-2244.

    展开全文
  • 为了收集数据,在SDN环境中编写了特定的POX组件,以存储在数据流的文件中。首先,在6个客户端使用Scapy工具生成恶意数据流量。其次,为了获取网络流量,再次使用6个客户端,使用“ping”命令和Scapy工具,生成HTTP...

    To collect the data, a specific POX component was codified in the SDN environment to store in a file of the dataflow. Firstly, in six clients, the Scapy tool was used to generate malicious data traffic. Secondly, to obtain traffic in the network, using six clients again, the ‘‘ping’’ command and the Scapy tool were used, generating HTTP and ICMP normal traffic. In both cases (malicious and normal traffic), the six hosts of the simulated environment were the target.

    为了收集数据,在SDN环境中编写了特定的POX组件,以存储在数据流的文件中。首先,在6个客户端使用Scapy工具生成恶意数据流量。其次,为了获取网络流量,再次使用6个客户端,使用“ping”命令和Scapy工具,生成HTTP和ICMP正常流量。在这两种情况下(恶意流量和正常流量),模拟环境中的6台主机都是目标。

    《Machine learning algorithms to detect DDoS attacks in SDN》

    展开全文
  • 数据收集方法: 公司年报和招股书 重点关注部分 管理层经营分析 财务报表 财务附加注释 获取年报途径 公司官网--投资者关系 对应证券交易所/监管机构 相关数据库:巨浪,新浪财经,巨潮资讯等。。。 搜索...

    数据收集方法:

    公司年报和招股书

         重点关注部分
             管理层经营分析
             财务报表
             财务附加注释
         获取年报途径
             公司官网--投资者关系
             对应证券交易所/监管机构
             相关数据库:巨浪,新浪财经,巨潮资讯等。。。
             搜索引擎
    

    咨询公司研究报告

         获取报告途径
             麦肯锡季刊
             贝恩观点:www.bain.cn/news.php --> 贝恩中国 - 全球视野专栏
             BCG:www.bcg.com.cn --> BCG中国 - 各个行业insights
             www.analysys.cn
         了解不同咨询公司擅长的领域
             市场调研类
                 艾瑞咨询
                 凯度咨询
                 尼尔森
                 益普索
                 盖洛普
                 易观智库
                 欧睿咨询
             战略运营类
                 贝恩观点:消费品,奢侈品,金融
                 波士顿咨询
                 罗兰贝格:汽车,工业制造
                 麦肯锡MGI
                 怡安翰威特
                 德勤咨询
    

    券商研究报告

         报告获取途径
             付费:wind / 慧博智能终端
             免费:乐晴智库 / www.767stock.com / 东方财富网 / 长城证券 / 东兴证券
         选择券商研究报告的方法
             最近几年新财富分析排名
         如何使用研究报告
             快速了解一个行业:阅读10-20份左右的研究报告
             数据Cross Check
    

    专业数据库

         行业常见数据库
             wind 金融信息
             UN Comtrade:贸易
         官方的行业数据库
             国家统计局:www.stats.gov.cn
             工业和信息化部:www.miit.gov.cn(工业行业及信息化数据)
             中国人民银行:www.pbc.gov.cn(金融市场政策运行)
             银监会:www.cbrc.gov.cn(银行金融相关数据)
             国家工商局信息公示系统:gsxt.saic.gov.cn
             中国海关:www.customs.gov.cn(进出口相关)
             国家知识产权局:www.sipo.gov.cn(专利相关)
             中国证监会:www.csrc.gov.cn(招股书,拟上市公司排队每周披露)
             巨潮信息网:www.cninfo.com.cn(中国资本市场制定披露平台,上市公司年报,季报及公告披露)
             各种行业协会
         数据资源平台
             搜数
    

    搜索引擎

         使用技巧
             仔细选择搜索关键字
             文件类型搜索:filetype:类型 关键字
             定位在某网站搜索:site:url -- 冒号为英文 网站前缀不要加
             精准匹配搜索:“关键字” -- 搜索关键字连起来的结果
             限制性网页搜索:intitle:关键字1 关键字2
             微信搜索
    

    网络爬虫

     根据数据特点,快速判断搜集渠道
    
    展开全文
  • 如果数据收集是通过计算机辅助电话访问(简称CATI)或计算机辅助面访(简称CAPI)完成的,这一步就可以跳过,因为数据收集时就已经是电子形式的。数据录入的方式通常有三种:一是利用专用的数据输入软件,这样的软件由一...

    什么是数据录入:数据录入的方法

    数据录入是指调查人员按照某种电脑软件的格式将经过编码的数据输入计算机的过程。如果数据收集是通过计算机辅助电话访问(简称CATI)或计算机辅助面访(简称CAPI)完成的,这一步就可以跳过,因为数据收集时就已经是电子形式的。

    数据录入的方式通常有三种:一是利用专用的数据输入软件,这样的软件由一系列的数据输入窗口组成,数据输入完毕后,软件将自动生成数据文件。二是利用数字处理或表格软件产生无标号的ASCII文件。该文件是一种任何软件都能读取的文件。三是利用统计软件包的数据输入模块,由此产生的标号数据文件只能用于该软件包。在实际的数据录入中,最好是利用第二种方式,除非是有非常好的数据输入软件可用。因为这些文件相对可以快速做成,而且不会使调查人员限制在任何一个特定的数据软件中。

    目前通用的录入方法是直接用计算机键盘输入编码。除此之外,数据录入还可以通过机读卡、光学扫描和计算机控制的传感器分析完成。机读卡要求调查对象用一种特殊铅笔按照编码填写答案,然后这种卡片可以直接用计算机读出;光学扫描就是用机器直接读代码,同时进行转换;计算机控制的传感器分析系统则能够自动操作数据收集过程,利用传感装置直接记录调查对象的信息。至于选择何种录入方法,要根据调查方式和可用设备而定。

    如果采用键盘输入法,就有可能发生错误,影响数据录入的质量,因此就需要采取一定的方法对数据库进行检查或控制。一般控制录入质量的方法主要有三种:

    1.重复录入两次甚至三次,录入后指示计算机将两者进行比较检查,当发现同一位置的数字前后录入不同时,计算机将给予显示,以便纠正。

    2.预值控制,就是事先依据编码手册规定输入编码的范围,并编制自动对照程序。当输入的数字超出规定范围时,计算机自动拒绝接受并发出警告信号。

    3.对于数值类报表和统计表,在输入时可采用平衡检测法控制输入的质量。就是把表中某组数值相加作为平衡项,如果录入的平衡项数值与计算机的数值相同,则计算机接受;如果数值不相等,则计算机不接受并发出警告信号。

    展开全文
  • “对统计学家来说,当今是统计学一切最重要活动的最重要的时期。...费歇第二章 统计数据的收集、整理与显示本章阐述统计数据收集、整理与显示的理论与方法,具体要求:①理解统计数据收集的含义与要求,掌握...
  • 目前,数据输入方法比较多,常见的有人工输入、计算机辅助系统转换和光电输入等方式,我们在这里介绍日常工作中易于出现、便于操作的Excel中数据输入的方法。通过市场调研采集到调查问卷或者其他形式的数据之后,在...
  • 那么网站数据采集数据方法有哪些呢?我给大家分享一下,我爬虫的个人经验,我们在采集类似网站数据的时候会遇到什么技术问题,然后再根据这些问题给大家分享采集方案. 一、写爬虫采集网站之前: 为什么经常听到...
  • 数据收集是程序员在监控软件运行状态的时候会经常用到的一个工具,而今天我们就通过案例分析来了解一下,数据收集器的实现原理都有哪些。1、状态监听优势快速实现利用状态管理和wacth的机制很快就知道不同模块的状态...
  • 如果我们把从这两个渠道收集上来的数据进行集成、挖掘。无论使用什么算法,结果也不是正确的。因为这两个分数,代表的含义完全不同。所以说,有时候数据变换比算法选择更重要。数据错了,算法再正确也是错的。那么,...
  • 10种网站数据的采集方法

    千次阅读 2021-05-18 15:31:10
    如何收集网站数据,来实现数据分析、AI数据训练、数据拓客使用,是目前所有人面临的一个技术问题。如果市场上有个技术或者有个工具可以聚合这些数据的话,我觉得将会促进大数据+AI的发展。数据采集根据采集数据的...
  • 《谷歌数据分析方法》脑图笔记

    千次阅读 2021-11-13 22:59:07
    目录壹、脑图笔记贰、《谷歌数据分析方法》脑图文稿[^1]一、 反思数据分析二、选择数据分析工具的最佳策略第一步:选择数据分析工具前要回答的3个关键问题第二步:选择数据分析工具前要问供应商的10个问题第三步:...
  • 那么企业数据采集的方法有哪些呢?我给大家分享一下,我爬虫的个人经验,我们在采集类似企业网站数据的时候会遇到什么技术问题,然后再根据这些问题给大家分享采集方案. 一、写爬虫采集网站之前: 为什么经常听到...
  • 一、 重复值处理数据录入过程、数据整合过程都可能会产生重复数据,直接删除是重复数据处理的主要方法。pandas提供查看、处理重复数据方法duplicated和drop_duplicates。以如下数据为例:>sample = pd.DataFrame...
  • 关于NLP数据收集、数据增强、数据清洗、预处理的一些整理收集
  • 数据缺失值的4种处理方法

    千次阅读 2021-06-24 09:38:37
    机械原因是由于机械原因导致的数据收集或保存的失败造成的数据缺失,比如数据存储的失败,存储器损坏,机械故障导致某段时间数据未能收集(对于定时数据采集而言)。 人为原因是由于人的主观失误、历史局限或有意...
  • 自然语言处理领域的数据增广方法

    千次阅读 2021-03-09 18:04:56
    本文介绍自然语言处理领域的数据增广方法数据增广(Data Augmentation,也有人将Data Augmentation翻译为“数据增强”,然而“数据增强”有将数据进行强化之意,而不仅是数量扩充。因此我们将其翻译为“数据增广”...
  • 数据资产价值评估常用方法及对比

    千次阅读 2020-12-21 09:45:23
    一般而言,数据资产价值的常用评估方法包括成本法、收益法和市场法三种基本方法及其衍生方法。中国资产评估协会2019年制定的《资产评估专家指引第9号——数据资产评估》对这些常用方法予以了简要介绍。 利用成本法...
  • 数据采集的几种方法

    2021-02-09 18:36:29
    数据采集的背景用户每天通过不同的终端设备在系统A上做出一系列的操作,比如在新闻系统上的看一些文章,进行收藏或者点赞、评论等等,会触发A系统下不同的微服务,如abc等,如何记录好用户的行为信息,并将其保存...
  • 1.1 如何理解数据 可从以下两个方面理解数据: 每一列的含义 数据分类 从数据分类里,进一步地可以分为: 用户数据:比如用户的姓名、年龄、职业等; 行为数据:如浏览了哪些产品,停留时长等; 产品数据:如产品...
  • 电商数据采集的10个经典方法

    千次阅读 2021-07-21 17:11:29
    那么电商数据采集的方法有哪些呢?我给大家分享一下,我爬虫的个人经验,我们在采集类似电商数据网站的时候会遇到什么技术问题,然后再根据这些问题给大家分享采集方案. 一、写爬虫采集网站之前: 为什么经常听到...
  • 史上最全主数据方法论分享!
  • 数据分析小白往往在学了一大通数据分析工具,比如Excel/SQL/Python /java/SPSS什么的之后总感觉分析数据没思路,一是没有数据可供你分析,网上找的一堆数据都不是你“理想”的数据形态,因为学习用的数据好像都是...
  • 任何一家公司都会面对或多或少的客户,产生千万甚至上亿的数据来洞察客户的...第三步:分析所用数据收集、处理等,确定数据分析的数据 第四步:采用统计、数据挖掘等技术,提取有用信息 第五步:采用文字、表格、可.
  • Pandas进行数据清洗的方法介绍,数据清洗是一项复杂且繁琐的工作,同时也是整个数据分析过程中最为重要的环节。Pandas中常见的数据清洗操作有空值和缺失值的处理、重复值的处理、异常值的处理、统一数据格式等。前期...
  • 数据分析的12个挑战及解决方法

    千次阅读 2021-12-07 10:22:46
    俗话说得好“说起来容易做起来难。...1.数据量的收集 随着现如今数据驱动组织和大数据的引入,一个组织每天都会收到新的交换信息,因此分析师们每日都需要进行大量的数据分析。 我们需要一种自动收集和组织信息的数
  • 如何收集AI训练数据,来实现数据分析、AI数据训练、数据拓客使用,是目前所有人面临的一个技术问题。如果市场上有个技术或者有个工具可以聚合这些数据的话,我觉得将会促进大数据+AI的发展。数据采集根据采集数据的...
  • 数据聚合方法:DAGGER

    2021-03-21 15:56:01
    罗斯等人[2011]提出了一种名为DAGGER的元算法,该算法试图在学习策略诱导的... 随后,该策略被用来收集轨迹数据集,这些新获得的轨迹和演示的轨迹被聚合成数据集DDD,用于训练策略π2Lπ_2^Lπ2L​。 在迭代nnn,使用
  • 接着进行第一次收集,也就是将不同队列中的数据依次进行出队,得到的一个新的序列就是542,053,014,214,005,748.此时可以看到关键字已经按照个位数进行排序了。接着就是针对十位数再次进行上述操作。因为我们要...
  • 常用SPSS数据处理方法,你都会吗?

    千次阅读 2020-12-28 21:30:16
    数据处理是在统计和分析数据时,第一步要做的。尤其是当面对大量数据时,数据处理是一个重要的过程,可以达到提高处理效率及精度的目的。为配合进行更好的分析,研究过程过可能涉及到以下数据处理工作:定义变量名、...
  • 用户行为数据采集——埋点

    千次阅读 2021-01-13 14:58:42
    无埋点的优点: 可视化埋点只能收集到你埋点以后的数据,如果你想对某个按钮进行点击分析,则只能分析增加可视化埋点以后的数据,之前的数据收集不到,而无埋点在你部署SDK的时候数据就一直在收集。 因为无埋点对...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 612,398
精华内容 244,959
关键字:

数据收集的方法