数据采集 订阅
数据采集(DAQ),是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析,处理。数据采集系统是结合基于计算机或者其他专用测试平台的测量软硬件产品来实现灵活的、用户自定义的测量系统。 展开全文
数据采集(DAQ),是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析,处理。数据采集系统是结合基于计算机或者其他专用测试平台的测量软硬件产品来实现灵活的、用户自定义的测量系统。
信息
别    称
数据获取
英    译
Data acquisition
简    称
DAQ
数据范围
电力系统
释    义
利用一种装置,从系统外部采集数据并输入到系统内部的一个接口
中文名
数据采集
采集方式
传感器和计算机
数据采集简介
数据采集,又称数据获取,是利用一种装置,从系统外部采集数据并输入到系统内部的一个接口。数据采集技术广泛应用在各个领域。比如摄像头,麦克风,都是数据采集工具。被采集数据是已被转换为电讯号的各种物理量,如温度、水位、风速、压力等,可以是模拟量,也可以是数字量。采集一般是采样方式,即隔一定时间(称采样周期)对同一点数据重复采集。采集的数据大多是瞬时值,也可是某段时间内的一个特征值。准确的数据测量是数据采集的基础。数据量测方法有接触式和非接触式,检测元件多种多样。不论哪种方法和元件,均以不影响被测对象状态和测量环境为前提,以保证数据的正确性。数据采集含义很广,包括对面状连续物理量的采集。在计算机辅助制图、测图、设计中,对图形或图像数字化过程也可称为数据采集,此时被采集的是几何量(或包括物理量,如灰度)数据。在互联网行业快速发展的今天,数据采集已经被广泛应用于互联网及分布式领域,数据采集领域已经发生了重要的变化。首先,分布式控制应用场合中的智能数据采集系统在国内外已经取得了长足的发展。其次,总线兼容型数据采集插件的数量不断增大,与个人计算机兼容的数据采集系统的数量也在增加。国内外各种数据采集机先后问世,将数据采集带入了一个全新的时代。
收起全文
精华内容
下载资源
问答
  • 数据采集平台之ZDH_SERVER部署

    万次阅读 2021-02-27 21:48:01
    目录 项目源码 下载源码 打包 部署 运行 ...数据采集平台管理端 ...数据采集平台服务 ...界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情 如.

    目录

     

    项目源码

    下载源码

    打包

    部署

    运行


    项目源码

    数据采集平台管理端

    https://github.com/zhaoyachao/zdh_web

    数据采集平台服务

    https://github.com/zhaoyachao/zdh_server

    web端在线查看

    http://zycblog.cn:8081/login

    用户名:zyc
    密码:123456

    界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情

    如果觉得项目不错记得分享给同伴和点star!!!

    SERVER端安装

    1 基础构建环境

      gradle: 4.10.2

      jdk:jdk8

      mysql8或者mariadb10.2.14+

      git:选择性安装看个人需要

    下载源码

     

    1 http下载:https://github.com/zhaoyachao/zdh_server.git

    2 git 下载:git clone https://github.com/zhaoyachao/zdh_server.git

    打包

    进入下载好的项目目录下执行,所有的jar 会在release 目录下生成

     windows:

    gradlew.bat release -x test

     linux:

    ./gradlew release -x test

     

    部署

      1: 先安装 2.4.4 版本spark,这里不具体介绍spark 安装

      2:修改release/bin 目录下的start_server.sh 脚本 中BASE_RUN_PATH 路径为release 目录

      3:修改release/conf 目录下 log4j.properties 中数据库连接,datasource.properties 中数据连接 同样修改

      4:修改application.conf 文件中online 参数为1, 默认为0 不可被zdh_web 发现

    运行

     进入release/bin 目录执行start_server.sh 脚本,默认单机后端执行,如果需要连接已有yarn 集群修改start_server.sh 脚本中的spark-submit 部分

    sh start_server.sh

     

     

    展开全文
  • 数据采集

    千次阅读 2019-01-26 20:43:09
    我们知道,做数据分析,数据是第一位,所以首先我们应该拥有自己的数据,如果我们自身没有足够的数据,那就需要做大量的数据采集,现在用python做数据采集也就是我们常说到的爬虫是最广泛的,基本上可以会经历三个...

    我们知道,做数据分析,数据是第一位,所以首先我们应该拥有自己的数据,如果我们自身没有足够的数据,那就需要做大量的数据采集,现在用python做数据采集也就是我们常说到的爬虫是最广泛的,基本上可以会经历三个过程:
    1. 使用request库爬取网页内容,这个时候网页已经拉到我们本地了。
    2. 使用XPath解析内容。XPath是XML+Path的缩写,也就是XML路径语言。它是一种用来确定XML文档中某部分位置的语言,在开发中经常用来当作小型查询语言。XPath可以通过元素和属性进行位置索引。
    3. 使用Pandas保存数据。Pandas是让数据分析工作变得更加简单的高级数据结构,我们可以用Pandas保存爬取的数据。最后通过Pandas再写入到XLS或者MySQL等数据库中。

    具体的使用python做爬虫的实现可以自行上网搜一下,网上有大量资料关于这方面的介绍。
    或者可以看下我的github上面的几个例子:
    https://github.com/xiaoyuan199/Baike_Scrapy

    另外我们也可以不编程就抓取到网页信息,这里介绍三款爬虫工具:
    火车采集器
    八爪鱼
    集搜客
    一些比较简单的任务都可以通过这种软件进行抓取,因为不需要编程,所以入门比较简单,可以作为一种辅助工具。

    展开全文
  • APP数据采集 / 网站页面数据采集 / 小程序数据抓取定制软件采集数据服务 【服务介绍】 对国内外APP、网站、小程序数据进行采集,并可以按照您的要求把采集好的数据整理成需要的格式(txt/excel/sql/pdf), 从事...

    APP数据采集 / 网站页面数据采集 / 小程序数据抓取定制软件采集数据服务

    【服务介绍】
          对国内外APP、网站、小程序数据进行采集,并可以按照您的要求把采集好的数据整理成需要的格式(txt/excel/sql/pdf),

    从事数据采集多年,各种难度的网站/APP/小程序都有采集过。

    【服务承诺】
    服务让您满意,我们真诚、尽力完成您的要求!

    联系方式:微信: calljia  

    展开全文
  • 上篇文章讲述了Fanuc数据采集的必备库的说明以及调用方式,此片文章开始真正的实战操作 首先看下上图,所有的公开函数都会有一个FlibHndl参数,次参数的含义为大家解释: 开发者开发客户端程序和Fanuc系统连接,...

    上篇文章讲述了Fanuc数据采集的必备库的说明以及调用方式,此片文章开始真正的实战操作

    首先看下上图,所有的公开函数都会有一个 FlibHndl参数,次参数的含义为大家解释:

    开发者开发客户端程序和Fanuc系统连接,客户端为TCP Client,Fanuc数控系统为TCP Server,那么我们将这里的FlibHndl参数定义为Socket实列,只不过Fanuc厂家为了我们开发方便,用数字代替了Socket,我们拿着FlibHndl去和函数做调用的时候,内部函数会根据和FlibHndl绑定的Socket进行和数控系统通讯实际Socket是由fwlibe1.dll来进行统一管理。

    那么既然我们用到一个句柄,我们就为句柄定义为一个静态变量,同时为了对fwlib32函数的扩展,我们写一个类继承f2lib32,如下图:

    那么上图我们写了一个FanucOpe类,该类继承focas类库,这样我们又可以在FanucOpe添加我们想要的功能,同时可以通过FanucOpe类调用Focas类里面的所有方法、变量、枚举等,又不去改写原有的类库。

    那么以上类库建立完成,下面开始做连接操作

    fanuc连接函数为如下函数,

      public static extern short cnc_allclibhndl3( [In,MarshalAs(UnmanagedType.AsAny)] Object ip,
            ushort port,int timeout, out ushort FlibHndl);

    ip代表数控系统的通讯IP,Port代表数控系统的通讯端口,timerout代表着连接超时,单位为秒,如设置为10S,则代表10秒钟没连接成功代表通信失败,类似socket中的阻塞模式下的waitone功能,

    同时函数返回short类型的结果,以及out出来ushort类型的通讯句柄,以后每次和函数连接时候都拿着句柄和系统进行通讯。

     

    开始调用此函数,如下

    ret代表函数执行结果,与函数枚举进行匹配,FanucOpe.Handle代表函数返回值,

    博主现在没有和数控系统进行连接,返回-16,代表socket通信错误,如果成功返回值是0。同时Handle的值>0

    如果连接成功我们尝试读取一个加工总数测试一下

    ,如下图,cnc_rdparam是读取fanuc系统参数的公共函数,6712代表我们要读取的点在fanuc数控系统里面的参数位置,此方法返回一个IODBPSD_1,我们不用去管他是什么,我们就先去定义一个此类型的参数,让他从cnc_rdparam中回调出来,我们直接拿其结果即可。

    以上就是fanuc函数的连接操作和读取操作方法,如有需要,可以在评论区留邮箱,我会将fanuc所有的函数库代表的是读取什么数据解释出来,如读取主轴倍率,就是pmc_rdpmcrng函数。调用方式是

     

    以下demo解决了fanuc各种 坑:如负载内存泄漏、报警版本问题、程序新老版本指定目录问题、大文件传输丢包问题等

    谢谢支持,有需要的留邮箱,有测试demo。同时博主有多线程并发数据采集架构可供参考

    下一篇文章开始写西门子数控系统(无需opc)、新代数控系统、广数数控系统、三菱数控系统以及兄弟数控系统等。

    西门子采集如下图:支持828D,840dsl,808,802dsl,840d,810d

     

    加qq 验证入群

    展开全文
  • prometheus数据采集

    千次阅读 2020-03-03 15:57:45
    prometheus数据采集 Exporter将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server,Prometheus Server通过访问该Exporter提供的Endpoint端点,即可获取到需要采集的监控数据。 Prometheus通过HTTP...
  • 电商图书数据采集-ISBN数据采集

    千次阅读 2018-04-12 14:49:08
    ISBN是International Standard Book Number(国际标准书号)的一个英文缩写,是国际上通用的出版物标识编码。图书采集与一般商品信息需求不同,他们的...因为这个是页面显示出来的东西,一般电商数据采集软件都能爬...
  • 数据运营平台-数据采集

    千次阅读 2020-11-20 18:29:38
    行为数据采集 业务数据采集与转换 第三方系统API对接 用户数据关联 人工数据采集 数据输出 行为数据采集 1.埋点采集 ①跨平台打通 确定性方法识别 利用用户帐号体系中,可以是系统生成的 UserID,可以是...
  • Hass数据采集

    千次阅读 2019-07-23 16:03:52
    哈斯机床数据采集分享 本着网络资源共享的理想,本人将开始工业机床数据采集的方法分享,为广大已投身工业采集或即将投入工业采集的同仁理一些思路。 哈斯机床数据采集是一个相对简单的采集类机床,没有专用的开发包...
  • 简介数据采集就是搜集符合数据挖掘研究要求的原始数据(Raw Data)。原始数据是研究者拿到的一手或者二手资源。数据采集既可以从现有、可用的无尽数据中搜集提取你想要的二手数据,也可以经过问卷调查、采访、沟通等...
  • 数据采集:如何自动化采集数据?

    万次阅读 2019-01-27 20:33:54
    上一节中我们讲了如何对用户画像建模,而建模之前我们都要进行数据采集数据采集是数据挖掘的基础,没有数据,挖掘也没有意义。很多时候,我们拥有多少数据源,多少数据量,以及数据质量如何,将决定我们挖掘产出的...
  • 前一段时间一直在做用研华数据采集卡的PCI-1710来进行数据采集然后将数据采集的信号通过LabView显示在工控机中,在进行实验的过程中发现了许多问题,这些问题好像在网上看到了其他的人也有疑惑的,这里说一点经验,...
  • iOS无埋点数据采集

    千次阅读 2017-03-10 17:24:16
    数据采集
  • 数据采集

    千次阅读 多人点赞 2018-04-03 14:52:12
    二、大数据采集设备 1.科研数据 (1)大型强子对撞机 (2)射电望远镜 (3)电子显微镜 2.网络数据 我们可以利用数据中心采集网络中的数据。 三、大数据采集方法 1.科研数据 2.网络数据 爬虫(慎用) 3....
  • 一个数据的走势是由多个维度影响的,我们需要通过多源的数据采集,手机到尽可能多的数据维度,同时保证数据的质量,这样才能得到高质量的数据挖掘结果 数据源可分为以下四类: 开放数据源:政府、企业、高校 爬虫...
  • 数据采集平台管理端 https://github.com/zhaoyachao/zdh_web 数据采集平台服务 https://github.com/zhaoyachao/zdh_server web端在线查看 http://zycblog.cn:8081/login 用户名:zyc 密码:123456 界面只是...
  • 数据采集是什么

    2020-12-19 12:27:52
    数据采集的目的是什么 数据采集,是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据采集系统是结合基于计算机的测量软硬件产品来实现灵活的、用户自定义的测量系统。 用什么采集 比如...
  • 日志数据采集

    千次阅读 2018-02-06 20:41:31
    日志数据采集 1. 需求在网站 web 流量日志分析这种场景中,对数据采集部分的可靠性、容错能力要求通常不会非常严苛,因此使用通用的 flume 日志采集框架完全可以满足需求。 2. Flume 日志采集系统
  • 抖音小店数据采集

    千次阅读 2020-10-30 10:44:34
    一款安卓手机APP,基于快手/抖音APP的商家数据采集,可以采集到用户,小店,粉丝数等数据,可过滤蓝V。支持一键导出数据到Excel文件,一键导入数据到手机通讯录。 软件功能: 基于快手抖音APP的数据采集。 内置...
  • LabView数据采集

    千次阅读 2019-08-12 15:15:52
    LabView数据采集 文章目录1. LabView 基础 1. LabView 基础 求极差、组距与数组、分点、频率分布表、频率分布直方图 数据质量分析的任务是检测原始数据 ... ...
  • 数据采集 复习题

    千次阅读 2020-12-29 11:41:47
    如何运用传感器节点构造一个数据采集系统?(第二章作业) 6.常用的数据采集命令行:hadoop命令行 ** 第一章作业 ** 1.数据采集系统主要实现哪些基本功能? 1)采集传感器输出的模拟信号,经过调整,采样,量化,编码...
  • 大数据之数据采集

    万次阅读 2018-07-30 20:24:30
    大数据之数据采集 大数据体系一般分为:数据采集、数据计算、数据服务、以及数据应用 几大层次。 在数据采集层,主要分为 日志采集 和 数据源数据同步。 日志采集 根据产品的类型 又有可以分为: - 浏览器...
  • PMAC数据采集

    千次阅读 2015-06-12 15:58:13
    PMAC的数据采集和曲线绘制是分析程序运行结果的重要手段。本文以prog5为例介绍PMAC的数据采集方法。  END GATHER DELETE GATHER &1 CLOSE #1->27.77777777777778x OPEN PROG 5 CLEAR LINEAR ABS TA500 TS250 ...
  • NI公司有很多款性能比较好的数据采集卡  刚开始学数据采集卡时,关于数据采集卡的C语言程序时不好找,大多数是通过NI公司的labview控制的,用C语言进行控制的挺少的,所以写这篇博客,希望能对大家有帮助。
  • 总的来说目前互联网常用的数据采集分为APP采集和web端采集对于APP采集最常用的方式就是通过集成SDK,进行埋点采集对于这种方式,目前分为有无埋点采集,可视化埋点采集,手工埋点采集大类分别针对于:日志的全量收集...
  • 数据采集方法

    千次阅读 2020-07-18 16:59:51
    数据采集 是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。 数据 数据包括RFID数据、传感器数据、用户行为数据、社交网络交互数据及移动互联网数据等各种类型的结构...
  • 数据采集及采集工具八爪鱼的使用

    千次阅读 2019-05-13 21:58:06
    数据采集及采集工具八爪鱼的使用 一个数据的走势是由多个维度影响的,因此我们需要通过多源的数据采集,尽可能收集到更多的数据维度,公司保证数据质量,才能得到高质量的数据挖掘结果。 数据源分类: 开放数据源:...
  • 数据采集与埋点

    千次阅读 2019-04-12 16:14:35
    在这篇文章里面,我们会对数据采集的一些基本概念进行阐述,然后,会针对目前市面上新增的一些前端埋点技术,如可视化埋点与“无埋点”的技术细节做一个具体的介绍,并且阐述我们自己对于这些技术的理解和认识。...
  • python数据采集3-开始采集

    千次阅读 2018-10-02 22:14:27
    文章目录python数据采集3-开始采集遍历单个域名采集整个网站通过互联网 python数据采集3-开始采集 遍历单个域名 写一段获取百度百科网站的任何页面并提取页面链接的 Python 代码了 # -*- coding: utf-8 -*- "&...
  • 测试工作为了方便快捷造真实的数据,朋友...安装完成进行数据采集,将你要采集的数据目标地址输入到如下框中: 点击智能采集按钮,页面跳转到该页面点击采集按钮设置采集时间等 设置完成点击启动 自动或者手动结...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 84,687
精华内容 33,874
关键字:

数据采集