数据流 订阅
数据流(data stream)是一组有序,有起点和终点的字节的数据序列。包括输入流和输出流。数据流最初是通信领域使用的概念,代表传输中所使用的信息的数字编码信号序列。这个概念最初在1998年由Henzinger在文献87中提出,他将数据流定义为“只能以事先规定好的顺序被读取一次的数据的一个序列”。 展开全文
数据流(data stream)是一组有序,有起点和终点的字节的数据序列。包括输入流和输出流。数据流最初是通信领域使用的概念,代表传输中所使用的信息的数字编码信号序列。这个概念最初在1998年由Henzinger在文献87中提出,他将数据流定义为“只能以事先规定好的顺序被读取一次的数据的一个序列”。
信息
外文名
data stream
提出时间
1998年
发展原因
2个
计算类型
可分为两类:基本计算和复杂计算
释    义
以规定顺序被读取一次的数据序列
中文名
数据流
数据模式
4个
概念提出人
Henzinger
数据流产生背景
数据流应用的产生的发展是以下两个因素的结果:已经能够持续自动产生大量的细节数据。这类数据最早出现于传统的银行和股票交易领域,后来则也出现为地质测量、气象、天文观测等方面。尤其是互联网(网络流量监控,点击流)和无线通信网(通话记录)的出现,产生了大量的数据流类型的数据。我们注意到这类数据大都与地理信息有一定关联,这主要是因为地理信息的维度较大,容易产生这类大量的细节数据。需要以近实时的方式对更新流进行复杂分析。对以上领域的数据进行复杂分析(如趋势分析,预测)以前往往是(在数据仓库中)脱机进行的,然而一些新的应用(尤其是在网络安全和国家安全领域)对时间都非常敏感,如检测互联网上的极端事件、欺诈、入侵、异常,复杂人群监控,趋势监控(track trend),探查性分析(exploratory analyses),和谐度分析(harmonic analysis)等,都需要进行联机的分析。在此之后,学术界基本认可了这个定义,有的文章也在此基础上对定义稍微进行了修改。例如,S. Guha等[88]认为,数据流是“只能被读取一次或少数几次的点的有序序列”,这里放宽了前述定义中的“一遍”限制。为什么在数据流的处理中,强调对数据读取次数的限制呢?S. Muthukrishnan[89]指出数据流是指“以非常高的速度到来的输入数据”,因此对数据流数据的传输、计算和存储都将变得很困难。在这种情况下,只有在数据最初到达时有机会对其进行一次处理,其他时候很难再存取到这些数据(因为没有也无法保存这些数据)。
收起全文
精华内容
参与话题
问答
  • 什么是数据流

    千次阅读 2018-11-06 17:00:56
    数据流定义 想象一条河。河流从哪里开始?河流在哪里?我们对河流的理解本质上是流动的概念。这条河没有开始也没有结束。流数据非常适合于没有离散开头或结尾的数据。例如,交通灯的数据是连续的,没有“开始”或...

    数据流定义

    想象一条河。河流从哪里开始?河流在哪里?我们对河流的理解本质上是流动的概念。这条河没有开始也没有结束。流数据非常适合于没有离散开头或结尾的数据。例如,交通灯的数据是连续的,没有“开始”或“完成”。数据流是连续而不是分批发送数据记录的过程。通常,数据流对于在生成数据时在连续流中以小尺寸(通常以千字节为单位)发送数据的数据源类型是有用的。这可能包括各种各样的数据源,例如来自连接设备的遥测,客户使用您的Web应用程序生成的日志文件,电子商务交易或来自社交网络或地理空间服务的信息。

    传统上,数据是分批移动的。批处理通常同时处理大量数据,具有长时间的延迟。例如,该过程每24小时运行一次。虽然这可以是处理大量数据的有效方法,但它不适用于要流式传输的数据,因为数据在处理时可能是陈旧的。

    数据流是时间序列和随时间检测模式的最佳选择。例如,跟踪Web会话的长度。大多数物联网数据非常适合数据流。交通传感器,健康传感器,交易日志和活动日志等都是数据流的理想选择。

    此流数据通常用于实时聚合和关联,过滤或采样。通过数据流,您可以实时分析数据,并深入了解各种活动,例如计量,服务器活动,设备地理位置或网站点击。

    请考虑以下方案:

    • 金融机构跟踪市场变化并根据配置的约束(例如达到特定股票价值时的卖出)调整客户组合的设置。
    • 电网监控吞吐量并在达到某些阈值时生成警报。
    • 新闻源从各种平台流式传输点击流记录,并使用人口统计信息丰富数据,以便它可以提供与受众人口相关的文章。
    • 电子商务站点流式传输点击流记录以查找数据流中的异常行为,并在点击流显示异常行为时生成安全警报。

    数据流挑战

    数据流是一种功能强大的工具,但在使用流数据源时,有一些常见的挑战。以下列表显示了数据流时要规划的一些事项:

    • 规划可扩展性。
    • 规划数据持久性。
    • 在存储层和处理层中加入容错。
    展开全文
  • 数据流概述

    2018-03-29 13:19:00
    数据流(也称为流)是一个用于传输数据的对象,数据的传输有两个方向,如果是数据从外部源传输到程序中 ,就称为读取流:如果输数据从程序传输到外部源,就称为写入流: System.IO.Stream类是所有流的抽象基类,...

    数据流(也称为流)是一个用于传输数据的对象,数据的传输有两个方向,如果是数据从外部源传输到程序中 ,就称为读取流:如果输数据从程序传输到外部源,就称为写入流

    System.IO.Stream类是所有流的抽象基类,Stream类及其派生类提供这些不同类型的输入和输出的一般视图,使程序员不必了解操作系统和基础设备的具体细节。

     

    根据基础数据源和储存库,流可能只支持这些功能中的一部分,用户通过使用CanRead、CanWrite和Canseek属性,可实现应用程序查询流的功能。

     

    Read和Write方法读写各种不同格式的数据,对于支持查找的流,使用Seek和Setlength方法以及Position和Length属性可以查询和修改流的当前位置和长度。

     

    有些流用于实现执行基础数据的本地缓冲以提高性能。对于这样的流,Flush方法可用于清除所有内部缓冲区并确保将所有数据写入基础数据源或存储库。

     

    在Stream上调用Close将刷新所有讲过缓冲区处理的数据,本质上使为用户调用Flush方法。Close也会释放操作系统资源,如文件句柄、网络连接或用于任何内部缓冲的内存。BufferedStream类提供了将一个讲过缓冲的流环绕另一个流功能,一遍提高读写性能。

     

    如果需要不带后备存储区(即位存储桶)的流,应使用NUll

     

    在实现Stream的派生类时,必须提供Read和Write方法的实现,异步方法BeginRead、EndRead、BeginWrite和EneWrite通过同步方法Read和Write实现。同样,Read和Write的实现也将与异步方法一起正常工作。ReadByte和WriteByte的默认实现创建一个新的单元素字节数组,如果有内部字节缓冲区,则强烈建议重写这些方法以访问内部缓冲区,这样性能将得到显著的提高。

     

    还必须提供CanRead、Canseek、CanWite、Flush、Length、Position、Seek和setLength的实现。不要重写Close方法,而应将所有流清理逻辑放入Dispose方法中。

     

    C#语言中提供的主要数据流类有NetWorkStream网络流,BufferedStream缓冲区流,MemoryStram内在流,FileStrram文件流,CryptoStream加密流等。

    转载于:https://www.cnblogs.com/xiaowie/p/8669242.html

    展开全文
  • 数据流的基本概念

    千次阅读 2018-09-19 18:50:41
    数据流是一串连续不断的数据的集合,就象水管里的水流,在水管的一端一点一点地供水,而在水管的另一端看到的是一股连续不断的水流。数据写入程序可以是一段、一段地向数据流管道中写入数据,这些数据段会按先后顺序...
        数据流是一串连续不断的数据的集合,就象水管里的水流,在水管的一端一点一点地供水,而在水管的另一端看到的是一股连续不断的水流。数据写入程序可以是一段、一段地向数据流管道中写入数据,这些数据段会按先后顺序形成一个长的数据流。对数据读取程序来说,看不到数据流在写入时的分段情况,每次可以读取其中的任意长度的数据,但只能先读取前面的数据后,再读取后面的数据。不管写入时是将数据分多次写入,还是作为一个整体一次写入,读取时的效果都是完全一样的。 
      “流是磁盘或其它外围设备中存储的数据的源点或终点。”
    在电脑上的数据有三种存储方式,一种是外存,一种是内存,一种是缓存。比如电脑上的硬盘,磁盘,U盘等都是外存,在电脑上有内存条,缓存是在CPU里面的。外存的存储量最大,其次是内存,最后是缓存,但是外存的数据的读取最慢,其次是内存,缓存最快。这里总结从外存读取数据到内存以及将数据从内存写到外存中。对于内存和外存的理解,我们可以简单的理解为容器,即外存是一个容器,内存又是另外一个容器。那又怎样把放在外存这个容器内的数据读取到内存这个容器以及怎么把内存这个容器里的数据存到外存中呢?
     在Java类库中,IO部分的内容是很庞大的,因为它涉及的领域很广泛:
         标准输入输出,文件的操作,网络上的数据流,字符串流,对象流,zip文件流等等,**java中将输入输出抽象称为流**,就好像水管,将两个容器连接起来。将数据冲外存中读取到内存中的称为输入流,将数据从内存写入外存中的称为输出流。
    流是一个很形象的概念,当程序需要读取数据的时候,就会开启一个通向数据源的流,这个数据源可以是文件,内存,或是网络连接。类似的,当程序需要写入数据的时候,就会开启一个通向目的地的流。
      总结的基本概念如下:
    

    1) 数据流
    一组有序,有起点和终点的字节的数据序列。包括输入流和输出流。


    2) 输入流(Input Stream):
    程序从输入流读取数据源。数据源包括外界(键盘、文件、网络…),即是将数据源读入到程序的通信通道


    ** 3) 输出流
    程序向输出流写入数据。将程序中的数据输出到外界(显示器、打印机、文件、网络…)的通信通道。


    采用数据流的目的就是使得输出输入独立于设备。
    Input Stream不关心数据源来自何种设备(键盘,文件,网络)Output Stream不关心数据的目的是何种设备(键盘,文件,网络)
    4 数据流分类:
    流序列中的数据既可以是未经加工的原始二进制数据,也可以是经一定编码处理后符合某种格式规定的特定数据。因此Java中的流分为两种:
    1) 字节流:数据流中最小的数据单元是字节 2) 字符流:**数据流中最小的数据单元是字符, Java中的字符是Unicode编码,一个字符占用两个字节。

    作者:zcoolbb
    链接:https://www.jianshu.com/p/2a4a4056eae7
    來源:简书
    简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

    展开全文
  • 数据流图案例

    万次阅读 多人点赞 2019-03-12 22:30:57
    数据流图(DFD)是结构化系统分析方法的主要表达工具,数据流图,主要是为了说明在一个项目中,数据的处理与流动情况。     一:数据流图的基本成分:   &...

    转载自:https://blog.csdn.net/Shaft_/article/details/79727065

        数据流图(DFD)是结构化系统分析方法的主要表达工具,数据流图,主要是为了说明在一个项目中,数据的处理与流动情况。

        一:数据流图的基本成分:

                                            

        (1)数据加工: 表示对数据进行的操作, 如“处理选课单” 、“产生发票”等 ,命名时最好使用动宾短语或者主谓词组

        (2)外部实体:位于系统之外的信息提供者,数据输入的源点或是数据输出的终点。

        (3)数据流:数据流可从加工流向加工,也可在加工与数据存储或外部实体之间流动;两个加工之间可有多股数据流 。数据 流的命名尽量使用简洁易懂的名词。 流向数据存储或从数据存储流出的数据流不必命名

        (4)数据存储文件:表示需要保存的数据流向。

        二:数据流图的设计原则:

        (1):父图-子图平衡原则:

    子图可以理解为父图中部分环节的细化。例如我们给出父图:

                                           

    我们想对其中的成绩处理环节进行细化,画成如下数据流图:

                                    

    其中一定要保证父图输入输出数据流 = 子图输入输出数据流

        (2)数据守恒原则:

    所有的输出数据流必须是通过加工的,且通过加工能直接产生。一般情况下要注意一下3个错误:

        *1* 外部实体与外部实体间无数据流。

        *2* 外部实体与数据存储文件无数据流。

        *3* 数据存储文件间无数据流。

        (3)守恒加工原则:

    对于同一个加功,其输入与输出的名字必须不同。通常来说要注意一下2点:

        *1* 对于每一个加工,都应该有输入、输出。

        *2* 数据流与加工有关,且必须进过加工。

        三:实战:简单的考务处理系统

    有如下的一个简单考务处理系统,要求完成一下工作:

    1. 对考生送来的报名单进行检查; 

    2. 对合格的报名单编好准考证号后将准考证送给考生,并将汇总后的考生名单送给阅卷站

    3. 对阅卷站送来的成绩单进行检查,并根据考试中心制定的合格标准审定合格者; 

    4. 制作考生通知单(含成绩及合格/不合格标志)送给考生; 

    5. 按地区进行成绩分类统计和试题难度分析,产生统计分析表

    我们对需求进行关键字提取,并用红色标出实体,绿色标出关键的数据流。

    (1)顶层数据流图:

                                

    (2)一层数据流图:

                            

    (3)二层数据流图:

                           

                           


    展开全文
  • 数据流数据流框架

    千次阅读 2018-07-29 15:39:38
    1,数据流是行为与响应的抽象。 用户在页面上输入表单、按下按钮、拖拽等行为,页面会根据用户的行为给出一些响应,如刷新、跳转、局部刷新、Ajax局部刷新、数据更新等。以对象、方法来把它们抽象出来,这就是数据...
  • 一、数据流 注意:使用data输出流写出数据后,在使用Data输入流读取时一定要保证读取的顺序和写出的顺序一致,否则数据出现错乱。 (一)、使用数据输入流完成数据的读取操作 1.声明数据输入流对象 DataInputStream ...
  • 数据流

    2019-05-05 23:27:36
    数据流: 与机器无关的操作Java的基本数据类型 好处: 与机器底层无关,根据java字节大小进行读写 DataInputStream: 数据输入流允许应用程序以与机器无关方式从底层输入流中读取基本Java数据类型。应用...
  • 软考下午题数据流

    2019-10-02 23:28:41
    以下我们看看数据流图基本图形符号、设计原则、应用和总结。 基本图形符号 设计原则 我们重点研究数据流图的三大设计原则。这三大设计原则是解题的法宝。 (1)父图与子图的平衡原则 子图的...
  • 数据流

    万次阅读 多人点赞 2018-06-25 10:38:04
    数据流图(DFD- Data Flow Diagram)让系统分析者弄清楚“做什么”的问题,其重要性就不言而喻了。那么我们怎么画数据流图呢?数据流图与系统流程图又有什么区别呢?步骤1数据流图里包含的内容数据流图描述的是系统...
  • 数据流图的画法

    万次阅读 多人点赞 2015-06-28 09:48:30
    一、数据流图的基本组成成分 数据流:是由一组固定成分的数据组成,表示数据的流向。值得注意的是,数据流图中描述的是数据流,而不是控制流。除了流向数据存储或从数据存储流出的数据不必命名外,每个数据流必须要...
  • 数据库设计--数据流图(DFD)

    万次阅读 多人点赞 2015-08-01 12:56:19
    1、数据流图的定义 数据流图(DFD)是结构化分析方法中使用的工具,它以图形的方式描绘数据在系统中流动和处理的过程,由于它只反映系统必须完成的逻辑功能,所以它是一种功能模型。在结构化开发方法中,数据流图是需求...
  • 数据流图解析

    万次阅读 2015-05-21 15:53:19
    (一)分层数据流图的设计方法 : ===== 第一步,画子系统的输入输出 把整个系统视为一个大的加工,然后根据数据系统从哪些外部实体接收数据流,以及系统发送数据流到那些外部实体,就可以画出输入输出图...
  • 某高校欲开发一个成绩管理系统,记录并管理所有选修课程的学生的平时成绩和考试成绩,其主要功能描述如下:  1. 每门课程都有3到6个单元构成,每个单元结束后会进行一次测试,其成绩作为这门课程的平时成绩。...
  • 软件工程——数据流图

    千次阅读 2013-06-10 13:12:04
    数据流图的画法 数据流图也称为数据流程图date flow diagram , DFD,是一种便于用户理解和分析系统数据流程的图形工具,他摆脱了系统和具体内容,精确的在逻辑上描述系统的功能、输入、输出和数据存储等,是系统...
  • 软件工程-数据流图

    万次阅读 2019-01-10 08:39:57
    阅读以下说明和,回答问题1至问题3。 某时装邮购提供商拟开发订单处理系统,用于处理客户通过电话、传真、邮件或 Web站点所下订单。其主要功能如下: (1)增加客户记录。将新客户信息添加到客户文件,并分配一个客户...
  • 补充数据流图的缺失部分,包括补充数据流、补充外部实体、补充数据存储。 数据流图的改错,包括修正数据流名称、数据流的起点与终点、删除多余数据流。 目录 一、数据流图技术 1. 数据流图的基本元素 2. 分层...
  • 软件工程之数据流图

    千次阅读 2015-05-27 16:28:43
    数据流图   数据流图( Data Flow Diagram , DFD )以图形的方式描绘数据在系统中流动和处理的过程,它只反映系统必须完成的逻辑功能,所以是一种功能模型。 数据流图强调的是数据流和处理过程,...
  • 最好也请说说数据流程图与数据流图的联系 数据流程图的基本成分 系统部件包括系统的外部实体、处理过程、数据存储和系统中的数据流四个组成部分 数据流程图中有以下几种主要元素: →:数据流。数据流是...
  • 如何画数据流图

    千次阅读 2013-11-16 08:50:43
    数据流图的画法 数据流图也称为数据流程图date flow diagram , DFD,是一种便于用户理解和分析系统数据流程的图形工具,他摆脱了系统和具体内容,精确的在逻辑上描述系统的功能、输入、输出和数据存储等,是系统...
  • 需求分析之数据流图学习

    万次阅读 2017-02-19 12:21:08
    以前眼里的软件工程,虽然重要,但是却一直不太了解其用处到底有多大。现在开始渐渐接触大工程了,才开始真正体验到软件工程的威力。 没有好的需求分析,软件等于白做;没有好的系统设计,做了也要重做。...
  • 软考专题模块:数据流图

    千次阅读 2015-03-09 21:07:41
    数据流图(DFD)是一种便于用户理解、分析系统数据流程的图形工具,是软件系统分析阶段用于描述系统逻辑模型的图形描述工具,用于回答软件系统“做什么”的问题,它摆脱了系统的物理内容,精确地在逻辑上描述系统的...
  • (一)2. 数据流图的示例

    万次阅读 多人点赞 2018-08-06 20:58:03
    画法:  第0层DFD称为系统基本模型,可以将整个软件系统表示为一个具有输入和输出的黑匣子。用一个圆圈表示。... 每一层数据流图必须与它上一层数据流图保持平衡和一致,因此,子图的所有输入输出流要...
  • uml:什么是数据流图

    千次阅读 2019-05-19 11:04:52
    什么是数据流图数据流图 (DFD) 用于表示业务信息系统中的数据流,它表达了系统中的据传从输入到存储间所涉及的程序。 数据流图可以分为逻辑形和物理形。逻辑数据流图描述了用以完成某业务功能所涉及的、业务...
  • 数据流图笔记

    千次阅读 2014-12-14 20:55:52
    数据流图笔记
  • UML数据流图(带作业)

    万次阅读 多人点赞 2017-09-17 16:39:54
    数据流图(Data Flow Diagram):简称DFD,它从数据传递和加工角度,以图形方式来表达系统的逻辑功能、数据在系统内部的逻辑流向和逻辑变换过程,是结构化系统分析方法的主要表达工具及用于表示软件模型的一种图示...
  • DARTS 数据流图与数据词典

    千次阅读 2009-07-22 23:28:00
    1.数据流图 数据流图也称为Bubble Chart或data Flow Graph。是描述数据处理过程的工具。数据流图从数据传递和加工的角度,以图形的方式刻画数据流从输入到输出的移动变换过程。 (1)数据流图的主要图形元素 从...

空空如也

1 2 3 4 5 ... 20
收藏数 1,740,035
精华内容 696,014
关键字:

数据流