精华内容
下载资源
问答
  • 数据库技术发展现状及趋势.doc
    2021-07-03 06:05:54

    数据库技术发展现状及趋势

    数据库技术发展现状及趋势

    摘要:数据库技术已发展成为信息科学里一项十分重要的技术,其应用领域之宽引人瞩目。本文介绍了数据库技术发展的现状及最新研究动态。

    关键词:数据库技术 发展现状 趋势  1.引言  数据库技术从20世纪70年代流行的层次、网状数据库系统到80年代的关系数据库,在很多领域都取得了巨大的成功;随着应用领域的不断扩展,关系数据库的限制和不足日益显现出来,随着面向对象技术的出现,面向对象数据库系统成为数据库系统领域研究和发展的新方向。数据库技术与网络技术、人工智能技术、面向对象技术、并行计算技术、多媒体技术等的相互融合,为数据库技术的应用开拓了更广阔的空间。  2.数据库技术发展现状  数据库技术与多学科技术的有机结合是当前数据库技术发展的重要特征。  2.1 面向对象方法和技术正逐步融入数据库  人们将面向对象的??法引入数据库领域,形成了面向对象数据库管理系统(OODBMS)。它实际上是数据库技术(DB)和面向对象技术(OO)结合的产物。OODBMS首先是一个数据库系统,即系统具备数据库系统的处理能力,其次又是一个面向对象的系统,即包含对象的概念、方法和技术。与传统的数据库相比, OODBMS在复杂系统的模拟、表达和处理能力等方面具有优势,不足之处是理论技术还相当不成熟、不够完善。但随着数据库技术和面向对象技术的不断发展和完善, OODBMS必将得到广泛应用。  2.2 网络技术与数据库技术的融合  分布式数据库系统是数据库技术与计算机网络技术相结合的产物。分布式数据库就有局部数据库和全局数据库的概念,它具有以下优点:既能对数据进行全局管理,又能使各节点自主管理本节点数据;数据具有独立性且分布透明;增大了数据的容量;提高了数据的可靠性与可用度;改善了系统的性能和并行处理能力。当然也具有以下缺点:花在通信部分的系统开销较大;复杂的存取结构;数据的安全性和保密性较难处理。不过这些缺点正随着计算机其他技术的发展逐步得到解决。  2.3 多媒体技术进入数据库领域  随着多媒体技术的发展,无论是PC机还是在网络上都充斥着各种多媒体信息,如声音、图象、视频、超文本信息等等,当这些信息增加时,就需要数据库来组织和管理这些信息。多媒体数据库是计算机技术、影像技术和通信技术相结合的产物,多媒体数据具有类型复杂、信息量大、实时性、分布性和交互性等特点。  2.4 人工智能与数据库技术的结合  人工智能是研究计算机模拟人的大脑思维和模拟人的活动的一门科学,因此逻辑推理和判断是其最主要的特征,但对于信息检索则效率很低。数据库技术是数据处理方面的技术,对于数据的存储、管理、检索有其独特的优势,但对于逻辑推理却无能为力。造成这种局面的原因是过去这两方面的研究视野均局限于本领域,人工智能只追求逻辑推理正确无误,不注意空间和时间的限制,因而研制的语言和专家系统效率低是必然的。而数据库开发者拼命争取时间和空间,但他们只考虑数据库实际存放的数据,而不考虑库中虽无但通过推理可得出的数据。智能数据库系统是人工智能与数据库技术相结合的产物。它具有两种技术的优点而避免了他们的缺点,是一种新型的数据库系统。  3.数据库技术的发展趋势  经过30多年的发展,数据库技术已经得到了极大的完善,尤其是关系型数据库管理系统。随着数据库技术不断向新的应用领域的渗透,新技术的不断涌现,数据库技术将在以下几个方面得到更大的发展:  3.1 对象——关系数据库(ORDB)  关系数据库几乎是当前数据库系统的标准,关系语言与常规语言一起几乎可完成任意的数据库操作,但其简洁的建模能力、有限的数据类型、程序设计中数据结构的制约等却成为关系型数据库发挥作用的瓶颈。面向对象方法起源于程序设计语言,它本身就是以现实世界的实体对象为基本元素来描述复杂的客观世界,但功能不如数据库灵活。因此将面向对象的建模能力和关系数据库的功能进行有机结合是数据库技术的一个发展方向。  3.2 数据仓库(DW)与数据挖掘(DM)  数据仓库技术是从数据库技术发展而来的,是面向主题的、稳定的、综合的、随时间变化的数据集合。创建数据仓库的主要目标是使各种各样的数据源数据对于那些急需的人——执行官、经理、分析家易于访问以帮助他们作出符合发展规律的决策。随着商业竞争愈来愈激烈,我们相信,数据仓库、数据发掘技术的应用会越来越普遍,其产品会更加成熟。  3.3 实时数据库(RTDB)技术  实时数据库管理系统(RTDBMS)是数据库系统发展的一个分支,它适用于处理不断更新的快速变化的数据及具有时间限制的事务处理。实时数据库技术是实时系统和数据库技术相结合的产物,利用数据库技术来解决实时系统中的数据管理问题,同时利用实时技术为实时数据库提供时间驱动调度和资源分配算法

    更多相关内容
  • 数据库技术新进展PPT学习教案.pptx
  • 数据库技术新进展,+数据库技术新进展,+讲述最新的数据库技术。述最新的数据库技数据库技术新进展,+讲述最新的数据库技术数据库技术新进展,+讲述最新的数据库技术
  • 数据库技术新进展 空间数据库 地理信息系统 XML数据库 数据仓库 挖掘 三维模型
  • 武汉大学数据库课件,讲述最新的数据库技术。数据仓库 分布式数据库 主动数据库 面向对象数据库等。
  • 云时代数据库迁移 & 容灾技术新进展与应用.pdf
  • 随着大数据时代的到来,数据库技术成为当前计算机技术领域最活跃的版块之一.从面向云计算、多核等新型计算平台的数据...基于知识库、众包、数据挖掘等的数据智能处理技术3个方面对数据库技术研究的最新进展进行介绍.
  • 近日,腾讯云和中国人民大学在数据库基础研究上有了进展,聚焦在“数据异常”领域,这是数据库可串行化理论体系中的重要概念。

    近日,腾讯云和中国人民大学在数据库基础研究上有了进展,聚焦在“数据异常”领域,这是数据库可串行化理论体系中的重要概念。

    数据异常是打开并发访问控制技术大门的金钥匙。在数据库行业中,以往只发现了10多种数据异常现象,但腾讯云TDSQL数据库团队对数据异常做了体系化研究,证明了数据异常是无穷多的。同时,开发出一款数据检测工具,可以检测识别出任何种类的数据异常,现已开源,GitHub地址为https://github.com/Tencent/3TS。据悉,目前这项基础研究已经申请专利,并正在申报行业学术论文。

    过去在数据库基础研究中,文献讨论的都是通过一个一个的数据异常案例(case by case)来进行讨论、提出有限个数的异常,缺乏全局观,并不利于认识数据异常,也不利于掌握并发访问控制算法。腾讯云数据库的科学家们,将数据异常做了定义:并发事务的一个History中,如存在一个依据偏序对构成的有向环,则称为数据异常在定义了数据异常后,进一步据此简明易懂地定义了事务的一致性:不存在数据异常则称为数据符合一致性

    该基础研究的核心意义在于,可探究到数据异常的本质和内在规律,并揭示出隔离级别和并发算法的本质,使得基于该项基础技术工作可进一步系统地研究各种并发访问控制算法、改进并发算法。

    这对于数据库领域,属于基础开创性工作。与传统对的可串行化理论相对,该新方法具有诸多优势,如下图:

    (腾讯云数据库团队TDSQL数据异常体系化研究方向及新理论应用)

    作为三大基础软件之一,数据库的安全可控和技术创新关乎国计民生,在国家大力发展新基建以及倡导走“更高水平的自力更生之路”背景下,加快实现新兴国产数据库的安全可控。

    近年来,腾讯云数据库的研究主要聚焦在数据库核心基础理论层面的研究与实践,例如分布式一致性与事务性一致性融合的体系化的研究;再如事务性数据异常的体系化研究,重新对事务一致性做了定义等。

    展开全文
  • 数据库新技术前沿总结

    万次阅读 多人点赞 2018-12-31 08:14:26
    该模型克服了传统数据模型的局限性,促进了数据库技术在一个的技术基础上继续发展。 (2)数据库技术与多学科技术的有机结合 计算机领域中其他新兴技术的发展对数据库技术产生了重大影响。传统的数...

    来源:《数据库系统概论》、中国知网

    1.数据库技术发展进程来看,特点:
    (1)面向对象的方法和技术对数据库发展的影响最为深远数据库研究人员借鉴和吸收了面向对象的方法和技术,提出了面向对象数据模型(简称对象模型)。该模型克服了传统数据模型的局限性,促进了数据库技术在一个新的技术基础上继续发展。
    (2)数据库技术与多学科技术的有机结合
    计算机领域中其他新兴技术的发展对数据库技术产生了重大影响。传统的数据库技术和其他计算机技术,如网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术、移动计算技术等的互相结合、互相渗透,使数据库中新的技术内容层出不穷。
    (3)面向应用领域的数据库技术的研究
    在传统数据库系统基础上,结合各个应用领域的特点,研究适合该应用领域的数据库技术,如数据仓库、工程数据库、统计数据库、科学数据库、空间数据库、地理数据库等,这是当前数据库技术发展的又一重要特征。

    2.大数据时代下数据管理技术面临的挑战
    (1)数据
    数据方面面临挑战包括数据量大,数据类型越来越多样与异构
    (2)应用和需求
    应用与需求已经从OLTP(联机事务处理,传统型)为代表的事务处理扩展到OLAP(联机分析处理,新型),也就是说 重视分析处理
    (3)计算机硬件技术是数据库系统的基础

    3.大数据时代下数据库发展趋势
    大数据给数据处理、分析、管理提出了全新的挑战,对于伸缩性(动态按需来)、容错性(可用性)、可扩展性(满足数据增长需求)等,传统关系型数据库实在受不鸟了啊!此时,NoSQL出现了,NoSQL是指非关系型的、分布的、不太满足ACID特性的一类新一代数据库;科学家为了兼顾可扩展性以及ACID,又搞出来个NewSQL,NewSQL=NoSQL+传统数据库,科学家针对大内存多核多CPU等新型硬件,又搞出内存数据库系统,总之一句话,未来数据管理发展趋势是:各类技术的相互借鉴、融合、发展

    4.大数据时代新型数据库发展
    针对大数据 时代下数据特点,有以下几种数据库:
    在这里插入图片描述
    下面,几种数据库一个个分析:

    (1)分布式数据管理系统。移动互联网时代下,数据规模大在诸多数据处理场景中都有所体现.例如社交媒体应用中的用户关系数据,如用图数据模型进 行建模,其涉及的结点数可高达几亿.为了处理这类大规模的数据,一个朴素的想法是分而治之,即,将数据分布 式地存储在多台机器上分别处理.据此,人们提出了各类分布式数据管理系统.

    • 主要研究问题
    • 数据强一致性:银行交易系统等金融领域往往有数据强一致性和零丢失的需求
    • 系统高可用性:
      在分布式数据库中,系统的高可用性和数据强一致性往往不可兼得.当存在不超过一台 机器故障的时候,要求至少能读到一份有效的数据,往往需要牺牲数据的强一致性来保证系统的高可 用性.
    • ACID 事务支持:ACID 指的是事务层面的原子性(atomicity)、一致性(consistency)、隔离性(isolation) 和持久性(durability).如何有效地支持 ACID 事务属性,一直是分布式数据库的难点很多 NoSQL 数据库都是放弃支持事务 ACID 属性来换取性能的提 升.近年来,新型数据库(NewSQL)的出现给分布式数据库的发展带来新的方向,它的目标是提供与 NoSQL 相同的可扩展性和性能,同时支持事务的 ACID 属性.这种融合一致性和可用性的 NewSQL 已 经成为分布式数据库的研究热点.
    • 国内外研究现状
    • 基于分布式集群或云平台的关系数据库
      与传统数据库相比,这 些云数据库往往同时支持 MySQL,SQL Server 及PostgreSQL 等数据库引擎,具有低成本、易运维、可伸缩、高 可用等优势,并提供容灾、备份、恢复、监控、迁移等数据库运维全套解决方案.
    • NoSQL 数据库
      由于事务处理过程对 ACID 属性的严格要求,云关系数据库的可扩展性相对有限.为提升系统存储和处理 海量数据的能力,NoSQL 从底层数据模型进行考虑,放弃关系模型,也不保证支持 ACID 事务处理.它采用 schema-free 的数据模型
    • NewSQL 数据库
      以 Spanner[27]为代表的新型数据库(NewSQL)的出现,给数据存储和分析带来了 SQL,NoSQL 之外的
      新思路.NewSQL 指的是提供与 NoSQL 相同的可扩展性和性能,并同时能支持满足 ACID 特性的事务.这保留了 NOSQL 的高可扩展和高性能,且支持关系模型.融合一致性和可用性的 NewSQL 可能是未来大数据存储新的发 展方向.
    • 总结与展望

    在大数据环境下,NoSQL 分布式数据库与传统分布式数据库最终目标都是对用户提供完善的数据存储和 查询功能,并且在运营上能够实现可伸缩和高可用等特性,并提供容灾、备份、恢复、监控等功能.两者最大的 区别在于 传统分布式数据库追求数据强一致性,并且需要提供 ACID 事务支持,导致其在峰值性能、伸缩性、容 错性、可扩展性等方面的表现不尽如人意,很难满足海量数据的柔性管理需求.NoSQL 则是以牺牲支持 ACID 为代价,换取更好的可扩展性和可用性. NewSQL 是一种相对较新的形式,旨在将 SQL 的 ACID 保证与 NoSQL 的可扩展性和高性能相结合.

    未来几年,融合关系数据库和 NoSQL 优势的 NewSQL 将继续在分布式数据库领域大放光彩,并成为一个重 要的研究热点.以 OceanBase 和 DCDB 为代表的国内 NewSQL 系统也将在海量复杂业务推动下持续发展和优 化,并作为国家大数据发展战略提供有力支撑.这也意味着我国有可能在下一波数据库技术潮流当中占领先机, 进入第一梯队.

    (2)流数据处理系统。 数据变化快这一特征具体体现在数据实时到达、规模庞大、大小无法提前预知,并且数据一经处理,除非 进行存储,否则很难再次获取.在金融应用、网络监控、社交媒体等诸多行业领域,都会产生这类变化极快的数 据.为了解决这一问题,人们提出了流数据处理系统.

    • 主要研究问题
      流数据有众多不同的定义,但统一起来可以用随时间不断增长的数据模型来概括.除了基本的数据查询统 计等操作外,主要有 3 方面的研究问题——流数据采样、持续性数据查询和流数据并行计算.
    • 流数据采样.基于有限的存储来管理无限的动态数据是流数据管理中的基本挑战之一,应对这一挑战 的最经典的思路则在于流数据上的高效采样.将高速更新的流数据采样到有明确规模边界的有限存 储中,通过对采样数据的计算和挖掘来反映流数据所蕴含的重要信息.一方面需要研究不同流数据场 景下采样策略的选取,进而能够利用有限的资源尽可能地反映原流数据的特征信息;另一方面需要结 合计算需求,精准分析采样数据上的计算与挖掘结果相对于精确解的近似程度,控制计算结果的偏移 范围;
    • 持续性数据查询.流数据模型所对应的最核心的现实场景是实时监控.对不断生成的现实数据进行高 效的计算挖掘,能够及时获取现实世界中的重要信息.例如银行对实时的交易数据进行监控,及时规避 欺诈风险和追踪洗钱等违法行为.因此,给定基于结构特征、统计特征的数据查询模式,实时地监控流 数据中匹配的目标,一直都是研究的热点.一方面需要保存已计算的中间结果来减少重复性的计算,另 一方面,又需要避免中间结果维护带来过高的额外开销;
    • 流数据并行计算.应对流数据高速生成的一个重要策略就是利用数据和计算的独立性进行并行处理, 提高系统吞吐量.系统日志数据、银行流水数据以及大量的移动应用产生的用户数据等在其初期的归 整处理上都可以利用数据独立性进行流水线式的并行处理.在更复杂的数据计算和分析过程中,针对 计算独立性和流场景的一致性要求,设计锁机制来实现计算分析的并行化.
    • 国内外研究现状
    • 早期以关系型数据为主的数据流管理系统(DSMS);
    • 近期针对大规模复杂数据的流式计算系统
    • 目前兴起的对图数据流管理系统

    (3)图数据管理系统。针对数据种类杂的特征,人们采取“各个击破”的手段,针对各类数据分别提出专门的数据管理系统,图数据管理系统和时空数据管理系统是典型代表.图数据模型是一种具有高度概括性的数据模型,近年来,随着社交网络与语义网的发展,基于互联网的图数据规模越来越大.截止到 2017 年底,微信已经有 了将近 10 亿活跃用户,这些用户相互关联与通信,仅在 2016 年春节期间,用户之间就互相分发了 32 亿个红包.在语义网的 Linked Open Data 项目中,已经有超过 1 184 个 RDF 图数据集,合计超过 800 亿条边.针对这些规 模巨大的图数据,设计与实现高效的图数据管理系统成为一个很重要的研究热点.

    • 主要研究问题
    • 图搜索:给定一个图,从一个点出发沿着边搜索其他所有节点.常见的图搜素方法有宽度优先、深度优 先和最短路径等.
    • 基于图的社区发现:社区发现是社交网络分析中一个重要的任务,用于分析网络图中的密集子图.这对 于理解社交网络中的用户行为和朋友推荐等都具有非常重要的应用价值
    • 图节点的重要性和相关性分析:计算图中某个节点的重要程度,例如在网页链接图中分析网页的重要 程度;衡量图上两个节点的相关性,例如社交网络中两个人之间的关系,
    • 图匹配查询:给定数据图和查询图,图匹配查询找出所有在数据图上与查询图同构的子图,这个问题常 用于描述针对图结构的查询.
    • 国内外研究现状
    • 低层次抽象的提供编程接口的图数据管理系统:这类系统会针对图数据管理中的基本操作设计并实 现相应的编程接口,用户利用这些编程接口来实现相应的管理功能;
    • 高层次抽象的提供描述性查询语言的图数据管理系统:这类系统设计图数据管理描述性查询语言,用 户将相应的管理需求用描述性查询语言表达,系统解析这些描述性查询语句并生成相应的查询计划 来进行执行处理.

    (4)时空数据管理系统。时空数据在人们的日常生活中也十分常见,例如各类地图应用在提供导航服 务时,都需要对大量的时空数据进行高效地处理.

    • 时空数据库种类

    • 空间数据库:主要处理点、线、区域等二维数据

    • 时态数据库:管理数据的时间属性,包括有效时间(valid time)、事务时间(transaction time)等.

    • 移动对象数据库:管理位置随时间连续变化的空间对象,主要有移动点和移动区域:前者仅是位置随时 间变化,后者还包括形状和面积的变化.移动对象具有数据量大、位置更新频繁、运算操作复杂等特点. 近年来,随着定位设备的不断普及例如智能手机,采集这类数据越来越容易.同时,与地图兴趣点(例如 酒店、餐馆等)相结合,使得移动对象具有语义信息,带来各种新的应用,例如基于位置服务、最优路径 规划等.

    • 主要研究问题

    • 数据模型和查询语言
      数据模型包含数据类型和运算操作两个方面.时空数据类型包含多个,有些为定长记录存储(例如点、区间),
      有些为变长记录存储(例如区域、移动点).运算操作定义时空拓扑运算(例如相交 intersect、重合 overlap).时空数据类型可作为关系属性嵌套在关系模式下,从而对查询语言 SQL 扩展(运算操作、谓词), 以得到时空数据查询语言,支持形式化查询描述.

    • 索引结构
      根据不同时空数据的特点设计访问结构,以支持快速查询处理,常见的空间和时态索引有 R-tree,K-d Tree, Interval-tree 等.不同的索引结构有相应的运算操作,包括创建、插入、删除、更新及查询.其中,R-tree 是最为广 泛使用的结构,为提高查询效率,需对数据排序(例如 z-order),目的是将相似数据存储在邻近结构里,以减少搜索 的 I/O 代价.同时,基于该结构的预测模型可以估计查询的 I/O 代价,为进一步优化提供分析的依据.时空数据索引可以融入语义描述,从而拓展时空数据管理能力,以支持具有语义的时空查询.

    • 查询处理及优化
      选择查询和最近邻查询是空间和移动对象数据库最常见的两类查询:前者返回在空间/时空查询窗口内的
      对象,后者返回距离查询目标最近的对象.与选择查询、最近邻查询相比,连接查询的复杂性更高,相关优化技术有数据划分、索引创建、排序等.时空数据查询还包括聚类查询、模式匹配、距离查询等.

    • 时空数据管理系统
      在定义了抽象模型的基础上,需要有系统实现模型包括数据结构和算法、逻辑设计及实现,同时需要将时
      空数据模型和关系模型有效融合,从而扩展数据库处理能力.
      除上述研究问题,时空数据库管理还涉及时空数据仓库、时空图数据、时空数据流、基于位置服务(最优 路径规划和交通预测)、轨迹数据压缩、时空数据挖掘和分析等方面.

    • 国内外研究现状

    • 空间数据库
      依据不同的环境,空间数据库的研究包括自由空间和受限空间(例如道路网、有障碍空间),主要区别在于距离函数,受限空间的距离计算依赖于最短路径求解,比自由空间复杂.相关查询有范围查询、最近邻(反向最近邻)、skyline 查询、动态道路网下最短路径查询和路径规划等,索引技术和搜索策略在查询中起到了关键性作 用.查询过程一般包括过滤和提炼两个阶段:过滤阶段借助于索引和估计值找到一组备选对象,提炼阶段对 每个备选对象进行准确值求解.空间数据库查询还包括最大范围求和、容量受限分配等.在基于位置服务的应 用中,隐私保护是一个重要的研究内容,已有的工作包括基于位置隐私的攻击及保护方法,如模糊表示、匿名等. 近 10 年来,空间关键字查询(spatial keyword search)得到了广泛和深入的研究[100],通过将空间位置与文本 结合,用户可以查询同时符合空间和语义条件约束的对象,常见查询有 Top-k,k-NN 等.由于传统的空间数据索引 不支持文本数据管理,一般将空间索引与文本索引或位图技术相结合构成混合索引结构,支持同时对空间和文
      本数据的查询以减少搜索范围.

    • 时态数据库
      在过去的 20 年里,时态数据管理一直是数据库的活跃领域之一,研究内容包括数据模型、查询语言、索引 结构及高效查询算法,各种查询语言也被提出以支持时态数据查询的形式化描述.Enderle 等人基于常见的时态 数据索引之一 Interval-tree 设计了相应的外存结构以及在关系数据库系统中的实现方法,可以有效支持相交查 询和连接查询[100];Top-k 查询用于返回与查询点(区间)相交且权重最大的 k 个对象.Dignös 等人将时态数据运算 操作、转换原则及查询优化方法集成到关系数据库系统内核中(PostgreSQL)以扩展其处理能力[99],商用数据库 Oracle 提供了数据类型 PERIOD 及相关谓词和函数.
      近几年, 时态数据库的研究主要在高效处理各种连接查询( 例如 overlap join,merge join)、 聚类查询 (aggregation)以及数据划分和排列方法(partition/splitter,align).同时,硬件技术(例如多核 CPU)的发展也有助于 提高查询效率.不确定性时态数据将时态数据和不确定性结合,也有不少相关研究工作,包括数据表示及建模、 不确定性时态数据查询等;时态数据集成是根据用户指定优先规则对多源时态数据融合.

    • 移动对象数据库 早期的移动对象数据库研究主要在数据模型、索引和查询处理等[99],代表性索引结构有 TB-Tree、SETI、
      TPR-tree、STRIPES 等[101],这些结构的差异主要体现在时空数据的管理方法(例如插入原则、时空优先权),常见 的移动对象查询有范围查询、(连续)最近邻、相似性轨迹、连接查询等.针对大规模移动对象位置的实时更新, 有学者提出了有效的更新策略及监控方法,也有学者对不确定性移动对象进行了研究[105].近年来,面向特定应 用的移动对象查询得到了广泛的关注,例如轨迹模式匹配、异常现象分析、基于轨迹的用户行为推荐、轨迹压 缩等.由于大规模移动对象数据获取已相对容易,对历史数据分析其结果可为应用提供支撑,例如最优路径推 荐、最优出行方式及路线规划、交通流量预测等.除了支持时空查询,系统也需要对用户的位置信息进行有效 保护,针对这一问题,有学者开展了基于位置隐私保护的研究.

    人的运动除了在自由空间下,更多时候是在受限空间下,例如道路网[100]、有障碍空间[101]和室内环境.不同 环境的主要区别在移动对象位置表示和距离函数:自由空间的位置通过坐标表示,距离函数基于欧式距离;而受 限空间下的位置依赖底层空间环境,距离函数与最短路径相关,求解过程相对复杂.例如,道路网环境下采用 Map-matching 技术,将 GPS 位置(经纬度)映射到道路网从而得到道路网移动对象;在室内环境,移动对象位置获 取一般依靠 RFID,WiFi 等技术,位置表示则采用基于符号的表示方法.上述工作均是针对单个空间环境下的移 动对象,也有学者将多个环境的不同位置表示方法融合,形成统一的位置表示方法,支持人的完整运动轨迹表示 以及不同运动方式的移动对象数据管理,例如步行公交车步行室内.

    在大数据背景下,新应用要求数据包含更多的信息以全面理解用户行为,移动对象数据也从传统的时空数 据拓展到具有语义信息和行为描述[108,109].语义轨迹是将 GPS 数据和时空场景结合,例如兴趣点或用户行为,给 移动对象赋予相关描述(可通过数据挖掘算法得出并以标签形式存储),丰富移动对象表示.基于语义轨迹的常 见查询有模式挖掘和匹配[108]、时空语义关键字查询、top-k 查询以及移动用户行为分析(规律性的访问某些位 置、规避和会合等).基于硬件的技术也被用于大规模轨迹数据查询和分析,例如基于主存的轨迹存储和查询方 法、分布式/并行轨迹数据处理平台(基于 Spark 和 Hadoop)、基于 GPU 的交互式时空数据查询等,轨迹数据可 视化技术也有相关研究.
    4.3.4 时空数据管理系统 时空数据管理系统的设计主要有两种思路:一种是对传统关系数据库管理系统的内核修改或扩展以支持
    时空数据管理,包括数据类型、访问方法、查询语言等;另一种则通过在应用层和传统数据库管理系统层之间 构建一层结构,用于时空数据和传统数据的相互转换,即,在应用层以时空数据处理而在系统存储层还是以传统 数据形式.第一种方法能够保证效率最优,第二种方法则在能够在较短时间内达到实际可行的效果.
    并行处理技术在时空数据库领域也得到了快速发展,主要用于大规模数据查询处理[103].在空间数据库方 面,SpatialHadoop 和 HadoopGIS 均是基于 Hadoop 的空间数据处理系统,Simba 是基于 Spark 技术的空间数据分 析系统[106],其对 SparkSQL 进行了扩展,能有效支持并发查询.在时态数据库方面,有基于 PostgreSQL 的时态数

    据查询原型系统和在线实时时态数据分析系统 OceanRT.在移动对象数据库方面,有针对轨迹数据处理的引擎 Hermes、支持多种轨迹数据挖掘操作及可视化系统 MoveMine、基于内存的分布式系统 SharkDB,DITA[102]、 轨迹数据在线分析系统 T-Warehouse、大规模轨迹数据管理和分析平台 UlTraMan[107].SECONDO 是一个开源 可扩充性数据库管理系统,能对空间、时态和移动对象数据有效管理且支持并行处理[101].

    • 总结与展望
      时空大数据具有多维度、多类型、变化快等特点,给数据库管理系统提出了新的挑战:一方面,需要提供数 据类型和运算操作以支持时空数据查询;另一方面,高效查询处理对数据库性能有较高的要求.迄今,时空数据 库的发展趋势包含以下几点.

    • 具有语义描述的时空数据管理,可分为时空数据和流数据两类:前者针对包含关键字的时空数据进行 查询,后者针对高频率的流数据进行连续查询.为增加用户满意度,交互式和探索式查询也是进一步研 究的方向之一;

    • 并行/分布式环境下的大规模时空数据管理系统.现有的时空数据库原型系统需要在支持的查询种类 和通用性数据表示上进一步提升.同时,随着越来越多的时空数据管理系统被研发,需要在统一标准下 对系统的功能及性能进行全面测试和评估(benchmark).新型存储设备(例如 SSD 具有快速随机写等特 点)的发展,将给位置频繁更新的移动对象研究带来新的契机;

    • 具有智能性的时空数据库系统.在人工智能技术快速发展的背景下,如何融入机器学习方法以增加系 统的智能性,是新一代时空数据库管理系统研究的内容,即,系统根据当前处理数据及查询的特点自动 进行索引结构和相关算法的调整以使性能最优,例如参数配置、数据划分、缓存设置等.

    (5)众包数据管理系统。大数据的价值密度通常较低,例如社交媒体中大量的图片数据在未经标注之前,并不具备显著的价值.众包 正是解决该问题的有效手段之一.众包通常是指“一种把过去由专职员工执行的工作任务通过公开的 Web 平台 以自愿的形式外包给非特定的解决方案提供者群体来完成的分布式问题求解模式”,是完成大规模的对计算机 较为困难而对人类相对容易任务的有效手段,例如数据标注.为了有效地对众包过程中的数据和众包参与者群 体进行有效管理,人们提出了众包数据管理系统.

    总 结
    数据相关技术的发展给整个社会带来了巨大的变革,也给相关的技术领域带来了巨大的挑战.不同领域的 学者均尝试从自身的角度出发来解决大数据的种种问题,基于这些成果构建了若干实际可行的新型系统.但随 着数据规模以及应用需求的进一步发展,未来的数据管理技术仍旧面临着新的问题和转变.

    • 新型数据管理系统需要更自然、更高效地支持不同类型、不同来源的数据.针对应用中出现的不同类 型数据管理需求,现有的系统大多是通过构建专用系统来解决,例如图数据管理系统、时空数据管理系 统等.而应用中,这些数据是混杂在一起,按照数据类型划分到不同数据系统中,这种管理方式不高效也 不自然.新型数据管理系统需要提供通用的底层数据模型,统一支持不同类型数据的存储、查询、分析、 优化等操作;
    • 新型数据管理系统需要在体系结构方面实现扩展.为减少系统复杂性,提高系统稳定性,在现阶段通过 松耦合包容不同类型数据的管理系统,为用户提供统一的数据管理和分析服务,是支持不同数据模型 的可行技术路线.此外,数据管理系统需要考虑异构的计算资源.异构计算环境广泛存在于真实应用场 景中,包括资源共享与竞争、网络和计算能力差异以及新型硬件带来的异构性.异构计算环境会对新型 数据管理系统的效率带来极大的影响,同时,新型硬件的发展也为新型数据管理系统提供了新的机遇;
    • 新型数据管理系统需要在计算模型方面实现扩展,满足不同数据模型管理需求,支持系统松耦合管理 体系.机器学习是目前的技术热点,在自然语言处理、计算机视觉等方面取得突破.新型数据管理系统 需要和机器学习实现融合,包括在数据库内核层面实现机器学习方法,深度分析数据,提供更加强大友 好的用户接口.此外,机器学习技术为现有数据操作实现带来新的思路,如通过学习构建索引、自然语 言查询等,需要在数据管理内核方面融入更多的机器学习技术,通过紧耦合提升现有数据管理系统的 效率和可用性.

    论文下载链接:https://pan.baidu.com/s/1nWv3VdIb40JwMSUQuUXR2g

    展开全文
  • 高温环境下在用压力容器检测与安全评估技术研究进展———检测技术数据库.pdf
  • 「安全架构」光纤量子隐形传态技术最新进展 - 风险评估 企业安全 安全人才 防火墙 NGFW 系统安全
  • 无缝钢管生产技术新进展.pdf
  • 在信息资源日渐庞大的环境下,数据库技术得到广泛的应用。而网络环境的不稳定性和数据库本身的软硬件故障的可能性,都使得数据库必须保证 资料的安全与稳定。复制技术在数据库中的应用,不但能保证数据库的复用,还...
  • 数据库技术是计算机科学技术中发展最快的领域之一,也是应用最广泛的技术之一,目前,它已成为计算机信息系统与应用系统的核心技术和...按照数据模型的进展数据库技术或以分为个发展阶段,即第一代、第二代和第三代。
  • 数据库技术发展史

    千次阅读 2018-12-22 00:45:16
    数据库技术依据数据模型的进展可分为三个发展阶段:第一代的网状、层次数据库系统;第二代的关系数据库系统,以及一代的数据库大家族。 一、第一代数据库系统 层次和网状模型都是格式化模型。它们从体系结构、...

    数据库技术发展史

    数据模型是数据库系统的核心和基础。数据库技术依据数据模型的进展可分为三个发展阶段:第一代的网状、层次数据库系统;第二代的关系数据库系统,以及新一代的数据库大家族。

    一、第一代数据库系统

    层次和网状模型都是格式化模型。它们从体系结构、数据库语言到数据存储管理均具有共同特征,是第一代数据库系统。
    第一代数据系统的代表:

    1. 1969年由IBM公司研制的层次模型数据库管理系统IMS。
    2. 美国数据库系统语言研究会(CODASYL)下属的数据库任务组(DBTG)对数据库方法进行了系统的研究和探讨,20世纪60年代提出的DBTG报告。DBTG所提的方法是基于网状结构的,是网状模型数据库的典型代表。

    第一代数据库系统的特点:

    1. 支持三级模式(外模式、模式、内模式)的体系结构。模式之间具有转换(或映射)功能。
    2. 用存储路径来表示数据之间的联系。这是是数据库系统和文件系统的主要区别之一。数据库不仅存储数据,而且存储数据之间的联系。数据之间的联系在层次和网状数据库系统中都是用存取路径来表示和实现的。
    3. 独立的数据定义语言。层次数据系统和网状数据库系统有独立的数据定义语言,用以描述数据库的三级模式以及相互映像。
    4. 导航的数据操纵语言。层次和网状数据库的数据查询和数据操纵语言是一次一个记录的导航式的过程化语言。

    导航式操纵语言的优点是按照预设的路径存取数据,效率高;缺点是编程繁琐,应用程序的可移植性交差,数据的逻辑独立性也较差。

    二、第二代数据库系统

    支持关系数据模型的关系数据库系统是第二代数据库系统。
    1970年,IMB公司的研究员提出了数据库的关系模型,开创了数据库关系方法和关系数据理论的研究,为关系数据库技术奠定了理论基础。
    20世纪70年代是关系数据库理论研究和原型开发的时代。

    1. 奠定了关系模型的理论基础,给出了人们一致接受的关系模型的规范说说明。
    2. 研究了关系数据语言,包括关系代数、关系演算、SQL及QBE等,确立了SQL为关系数据库语言标准。
    3. 研制了大量的关系数据库管理系统原型,攻克了系统实现中查询优化、事务管理、并发控制、故障恢复等一系列关键技术。这不仅大大丰富了数据库管理系统实现技术和数据库理论,更促进了数据库的产业化。

    第二代关系数据库系统具有模型简单清晰、理论基础好、数据独立性强、数据库语言非过程化和标准化等特色。

    三、新一代数据库系统

    第一、二代数据库系统的数据模型虽然描述了显示世界数据的结构和一些重要的相互联系,但是仍然不能捕捉和表达数据对象所具有的丰富而重要的语义。
    新一代数据库系统以更丰富多样的数据模型和数据管理功能为特征,满足广泛复杂的新应用的要求。第三代DBMS应具有的三个基本特征(三条基本原则):

    1. 第三代数据库系统应支持数据管理、对象管理和知识管理。
      除提供传统的数据管理服务外,第三代数据库系统将支持更加丰富的对象结构和规则,应集数据管理、对象管理和知识管理为一体。
    2. 第三代数据库必须保持或继承第二代数据库系统的技术。
      第三代数据库系统应继承第二代数据库系统已有的技术;保持第二代数据库系统的非过程化数据存取方式和数据独立性,这不仅能很好的支持对象管理和规则管理,而且能更好地支持原有的数据管理,支持多数用户需要的查询等。
    3. 第三代数据库必须对其他系统开放。
      数据库系统的开放行表现在支持数据库语言标准;在网络上支持标准网络协议;系统具有良好的可移植性、可连接性、可扩展性和可互操作性等。

    数据库管理技术的发展趋势

    数据、应用需求和计算机硬件技术是推动数据库发展的三个主要动力。

    一、数据管理技术面临的挑战

    随着数据获取手段的自动化、多样化与智能化,数据量越来越巨大,对于海量数据的存储和管理,要求系统具有高度的可扩展性和可伸缩性,以满足数据量不断增长的需要。传统的分布式数据库和冰箱数据库在可扩展性和可伸缩性方面明显不足。
    数据类型越来越多样和异构,从结构化数据扩展到文本、图形图像、音频、视频等多媒体数据,HTML、XML、网页等半结构化/非结构化数据,还有流数据、队列数据和程序数据等。传统数据库对半结构化/非结构化数据的存储、管理和处理能力十分有限。
    数据处理和应用的领域已经从OLTP为代表的事务处理扩展到OLAP分析处理,从数据仓库中结构化的海量历史数据的多维分析发展到对海量非结构化数据的复杂分析和深度挖掘;并且希望把数据仓库的结构化数据与互联网上的非结构数据结合起来进行分析挖掘,把历史数据与实时流数据结合起来进行处理。
    数据的海量异构、形式繁杂、高速增长、价值密度低等问题阻止了数据价值的创造。对数据的组织、检索和分析都是基础的挑战。
    计算机硬件技术是数据库系统的基础。当今计算机硬件体系结构的发展十分迅速,利用新的硬件技术来满足海量数据存储和管理的需求,一方面要对传统数据库的体现结构包括存取策略、存取方法、查询处策略、查询算法、事务管理等进行重新设计和开发,要研究和开发面向大数据分析的内存数据库系统;另一方面,针对大数据需求,以集群为特征的云存储称为大型应用的架构,研究与开发新计算平台上的数据管理技术与系统。

    二、数据管理技术的发展与展望

    传统的关系数据库在系统伸缩性、容错性和可扩展性方面难以满足海量数据的柔性管理需求,NoSQL技术顺应大数据发展的需要,蓬勃发展。
    NoSQL是指非关系型的、分布式的、不保证满足ACID特性的一类数据管理系统。它具有以下特点:

    1. 对数据进行划分,通过大量节点的并行处理获得高性能,采用的是横向扩展的方式。
    2. 方式对数据的ACID一致性约束,允许数据暂时出现不一致情况,接收最终一致性。它遵循BASE原则,是一种弱一致性约束框架。
    3. 对各个数据分区进行备份,应对节点可能的失败,提供系统可用性等。

    NoSQL技术依据存储模型可分为基于Key-Value存储模型、基于列分组存储模型、基于文档模型和基于图模型。分析型NoSQL技术的主要代表是MapReduce技术。MapReduce技术框架包含:高度容错的分布式文件系统,并行编辑模型和并行执行引擎。MapReduce并行编程模型的计算过程分解为Map和Reduce阶段。Map函数处理Key/Value对,产生一系列的中间Key/Value对;Reduce函数合并所有具有相同Key值的中间Key/Value对,计算最终结果。
    各类技术的互相借鉴、融合和发展是未来数据管理领域的发展趋势。

    展开全文
  • #资源达人分享计划#
  • 数据库技术发展报告 Report of DataBase Technology Development 目录... 数据库技术重要进展 288 2 数据库技术 1.数据库技术 1.1. 数据库概念 数据库是按一定的结构和规则组织起来的相关数据的集合是综合各用户数 据形
  • 人脸识别关键技术及最新进展 报告提纲人脸识别进展图像采集人脸检测人脸配准预处理匹配结果特征提取人脸数据库特征数据库特征训练人脸识别系统框图 人脸识别进展报道单位图片数量百万个体数量万脸谱公司(facebook)...
  • 数据挖掘是一个多学科交叉融合而形成的新兴的学科。笔者介绍了数据挖掘的一些基本知识及有关概念,阐述了数据挖掘的一些...并提出了一些难点(数据质量、信息可视化、极大数据库、信息分析员技能)和今后的研究方向。
  • 数据嘉年华,技术分享:杨廷琨_从自动化到自治数据库 - 从 Oracle 12c 到 18c 的新进展
  • 消防服的研究进展——基于Web of Science数据库的CiteSpace分析.pdf
  • 那个时代的数据库技术是当代数据库技术的基本原型,也称为数据库技术的三次“革命”,七十年代左右出现的层次网状数据库,到八十年代早期出现的关系数据库。随着应用领域的扩展,关系数据库突出了很多自身限制,以...
  • 通过搜集CNKI数据库中1986年至2012年与水资源利用效率评价密切相关的文献,从各文献的主要研究对象、空间尺度和指标分类3方面开展了文献发表量的频率分析,重点对不同文献所采用的评价指标和评价方法开展了统计与...
  • 在上述关键环节上均取得了重要进展。需要解决的问题包括提高人脸检测算法的鲁棒性、人脸特征提取的针对性和准确性、人脸刚性运动分离和三维表情识别。人脸表情数据库建设和应用研究,也是今后研究的重点。提出了人脸...
  • 引言随着计算机和网络技术的迅猛发展以及向各行业的不断渗透,如今数据的产生方式和产生来源相比以前都有了极大的丰富,比如:来自传感器的数据、网站上的用户活动数据、来自移动终端和智能设备的数据、...
  • 综述了实时数据流聚类的最新研究进展,在介绍实时数据流聚类的相关理论和常用技术的基础上,对现有各种代表性算法的优势和不足进行了系统地分析,从处理速度、聚类形状、演化分析、高维性及噪声健壮性5个方面对算法的...
  • 【数据库系统】数据库系统概论====第十三章 数据库技术发展 13.1数据库技术发展概述 数据库技术产生于20世纪60年代中期,发展了以数据...按照数据模型的进展数据库技术可分为3个发展阶段: 第一代的网状、层次数据
  • 硫化氢制酸的生产技术进展.pdf
  • 首先回顾了电信网告警数据库中数据挖掘技术应用的研究进展,然后对告警模型进行了形式化描述,并阐述了告警模式挖掘算法WINEPI的基本思想,接着讨论了时间窗宽度改变情况下对候选集规模削减的两个约束条件,基于此...
  • 国内外己内酰胺生产技术进展.pdf

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 42,556
精华内容 17,022
关键字:

数据库技术新进展

友情链接: inozof.rar