结构化数据和非结构化数据是大数据的两种类型，这两者之间并不存在真正的冲突。客户如何选择不是基于数据结构，而是基于使用它们的应用程序：关系数据库用于结构化数据，大多数其他类型的应用程序用于非结构化数据。
 
然而，结构化数据分析的难易程度与非结构化数据的分析难度之间的关系日益紧张。结构化数据分析是一种成熟的过程和技术。非结构化数据分析是一个新兴的行业，在研发方面有很多新的投资，但不是一项成熟的技术。了解两者之间的差异是充分利用这两者的关键，特别是在从Web数据中获益时。
 
什么是结构化数据
 
大多数人都熟悉结构化数据的工作原理。结构化数据，可以从名称中看出，是高度组织和整齐格式化的数据。它是可以放入表格和电子表格中的数据类型。它可能不是人们最容易找到的数据类型，但与非结构化数据相比，无疑是两者中人们更容易使用的数据类型。另一方面，计算机可以轻松地搜索它。
 
结构化数据也被成为定量数据，是能够用数据或统一的结构加以表示的信息，如数字、符号。在项目中，保存和管理这些的数据一般为关系数据库，当使用结构化查询语言或SQL时，计算机程序很容易搜索这些术语。结构化数据具有的明确的关系使得这些数据运用起来十分方便，不过在商业上的可挖掘价值方面就比较差。
 
典型的结构化数据包括：信用卡号码、日期、财务金额、电话号码、地址、产品名称等。
 
什么是非结构化数据
 
非结构化数据本质上是结构化数据之外的一切数据。它不符合任何预定义的模型，因此它存储在非关系数据库中，并使用NoSQL进行查询。它可能是文本的或非文本的，也可能是人为的或机器生成的。简单的说，非结构化数据就是字段可变的的数据。
 
非结构化数据不是那么容易组织或格式化的。收集，处理和分析非结构化数据也是一项重大挑战。这产生了一些问题，因为非结构化数据构成了网络上绝大多数可用数据，并且它每年都在增长。随着更多信息在网络上可用，并且大部分信息都是非结构化的，找到使用它的方法已成为许多企业的重要战略。更传统的数据分析工具和方法还不足以完成工作。
 
典型的人为生成的非结构化数据包括：
 
文本文件：文字处理、电子表格、演示文稿、电子邮件、日志。
电子邮件：电子邮件由于其元数据而具有一些内部结构，我们有时将其称为半结构化。但是，消息字段是非结构化的，传统的分析工具无法解析它。
社交媒体：来自新浪微博、微信、QQ、Facebook，Twitter，LinkedIn等平台的数据。
网站： YouTube，Instagram，照片共享网站。
移动数据：短信、位置等。
通讯：聊天、即时消息、电话录音、协作软件等。
媒体：MP3、数码照片、音频文件、视频文件。
业务应用程序：MS Office文档、生产力应用程序。
典型的机器生成的非结构化数据包括：
 
卫星图像：天气数据、地形、军事活动。
科学数据：石油和天然气勘探、空间勘探、地震图像、大气数据。
数字监控：监控照片和视频。
传感器数据：交通、天气、海洋传感器。
结构化数据与非结构化数据：有何区别
 
从上文的解释中，结构化和非结构化数据之间的差异逐渐变得清晰。除了存储在关系数据库和存储非关系数据库之外的明显区别之外，最大的区别在于分析结构化数据与非结构化数据的便利性。针对结构化数据存在成熟的分析工具，但用于挖掘非结构化数据的分析工具正处于萌芽和发展阶段。
 
并且非结构化数据要比结构化数据多得多。非结构化数据占企业数据的80%以上，并且以每年55%~65%的速度增长。如果没有工具来分析这些海量数据，企业数据的巨大价值都将无法发挥。
 
 
随着储存成本的下降，以及新兴技术的发展，行业对非结构化数据的重视程度得到提高。比如物联网、工业4.0、视频直播产生了更多的非结构化数据，而人工智能、机器学习、语义分析、图像识别等技术方向则更需要大量的非结构化数据来开展工作。
 
 
 
文章来源：探码科技
 
参考文章：
 
《Structured vs. Unstructured Data》
 
《What’s the Difference Between Structured and Unstructured Data?》
 
《大数据可能“说谎”，非结构化将呈现更丰富的世界》

 当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询，尤其是当今非结构化数据的快速增长，对其数据的存储，处理，查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技巧是云计算的根基,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。
 
        对于大量的半结构化数据（semi-structure data）和非结构化数据，，对其存储和并发计算以及扩展能力而设计出了NoSQL，像有google的Bigtable，Amaze 的Dynamo，以及Apache的Hbase。NoSQL支持强大的水平扩展能力和高性能，与关系数据库不同的是，NoSQL可以采用松弛一致性(relax consistant)，但是供给最终一致性保证数据的读的不一致。像在Dynamo中为了供给高的写的能力（购物时不会因为并发而不会添加购物车不能成功，而影响用户体验），不得不采取最终一致性。根据CAP原理，一致性、高可用性、分区容忍性(Partition-tolerance)三者中最多择其二，舍其一。在Dynamo牺牲了一致性，但是供给高的可用性[6]。另外Dynamo采用非集中化管理，使得每个节点都是同等地位，充分利用分布式哈希表（DHT）的一种实现即一致性哈希，使得Dynamo供给强大的可扩展性。Hbase可以说供给强的一致性，但是牺牲掉了一定的高可用性，比如存在单点故障，在当一个Regionserver出问题或失去联系时，需要master来重新部署原Regionserver下面的是Region到别的空闲的服务器下。这段时间无法与下面的Region联系。Hbase是Apache的顶级项目Hadoop的一个组成部分，hadoop是一种分布式系统根基架构。它可以充分利用集群的威力高速运算和存储。下面着重介绍Hbase。
 
 一、非结构化数据存储结构
 
        Hbase是Apache的顶级子项目，它的理念来自于Google的Bigtable。它是分布的、面向列的、多维的数据库系统，它供给高的容错性和可扩展性，它是建立HDFS（Hadoop分布式文件系统）之上。Hbase的表的每一行有行键（row key）和任意多的列（column）组成，其中多个列可以组成列族（column family）。每个数据单元（cell）可以拥有数据的多个版本（version)，这个是使用时间戳来区分。所以Hbase是拥有map:(行键，列族：列，时间戳)对应一个值[2][7]。
 
        Hbase是应用在分布式系统之中，他将大量的行分成行区域(Region)，将化分后的区域分布到集群中去。Hbase与HDFS同样是使用master-slave结构，在Hbase中slave对应是Regionserver，负责管理master分下来的Rregion。同时master还负责负载平衡以及当Region出现错误时，master会收到Regionserver的请求消息，会重新分配到新的空闲的节点（这涉及到HLog）。
 
 正如上所说，Hbase是面向列的存储，它在实际的物理存储器中是以列族的存储，所以在列族相同的会在存储在一起。在与面向行的关系数据库比较，这会节省了大量为空的属性。Hbase也是一种NoSQL，它不像关系数据库那样供给结构化查询语句来访问其中的数据。NoSQL是一种模式自由（schema-free）的数据库，良好是设计会提升数据结构而不存在表的重写[3]。
 
 Hbase的容错性不得不提到HDFS，HDFS是Hadoop 分布式文件系统，它可以部署在廉价的机器上，提高系统的容错性和高的吞吐量。HDFS分为一个Namenode和多个Datanode，Namenode管理文件系统的名字空间，它维护着文件系统树以及整个树内所有的文件和目录。Datanode存储着数据块，负责删除添加等操作。Hbase的文件被分为固定大小的块（默认的为64M），块服务器是存储块和对指定块的读写操作。在分布式的集群中，机器故障乃是常态，为了安全问题，所以不断的检测机器的状况和数据的备份时必须的。HDFS的副本一般的情况下分为3份，一份是同个节点中，第二份放在不在机架上的另一个节点，最后一份是放在第二份相同机架的不同节点中[4]。Master存储着文件系统元数据（metadata），主要分为3种元数据：文件和块的名字空间、文件到块的映射和块副本的位置。块服务器存储着数据，所以master必要和块服务器保持者联系。Master定期发送心跳（heartbeat）与块服务器了解块服务器的状况。客户读写数据是都首先和master先取得联系然后再与块服务器完成读写操作。
 
 在一致性上，HDFS 是一个松散的一致性检查的模型。他主要是为了追加(append)操作而不是覆盖重写（overwrite）操作。因为覆盖重写的话可能在一次读的操作会读到与其他副本不一致的数据，而在追加操作，其中一个副本的不一致也不会导致客户端读到不一致的数据。同时HDFS在追加操作时采用租用（Lease）机制，即将块的写操作授权给主块服务器（primary chunk server），另外的副本称为次块服务器（secondary chunk server）。当多个客户端的并发写操作时，主块服务器缓存其写的顺序，之后联系次服务器进行追加操作。从这里可以看出，在HDFS的根基之上供给版本一致性。而不同Dynamo采用矢量时钟即（节点，计数器）（node,counter）列表来钟捕捉同一不同版本的对象是否有因果关系。当客户端更新一个对象，它必须指定它正要更新哪个版本，当存在因果关系，直接覆盖之前的版本。若是两个独立的版本，更新其矢量时钟，使得存在多个版本。同事Dynamo采用了NRW机制（N: 复制的节点数量，R: 成功读操作的最小节点数，W: 成功写操作的最小节点数），当R+W>N时可以说明至少有一个版本是最新的版本，这样在数据的读操作就可以保证数据的一致性。[6]当然在这里也体现出了Dynamo的高可用行，比如设置W=1，即表明只要正确读入一个节点即可，不须保证写入的值全部传给副本。
 
 二、非结构化数据的读写操作
 
 对Hbase中数据的读写首先是根据行键值或行键值域（row key range）来检索，行键值是按照字典序排列的，针对同时访问的数据设计好相似的行键值会相应地减少I/O操作。上面提过，由于行区域到达一定大小时会分解并分布到集群中去，在Hbase中使用B+树来存储某个区域的位置信息。在树顶是root表，其保存META表的Region信息,并且root表只有一个，META表中存储着各个被划分的区域的信息，所以通过行健访问时首先访问root再一次访问META表。由此客户端访问数据需要经过多次的网络交互，所以客户端可以使用缓存来缓解。客户端是采用RPC机制与服务器端即master或RegionServer进行通信。另外Hbase还采用缓冲池来保持每次的连接，保证通信不必产生重新连接的时间开销。
 
 客户端要求更新数据的时候，为了容错性，数据首先是HLog中，当HLog写成功是，之后数据是写入到menstore，当数据达到一定的大小时，数据会将内存刷新（flush）到本地磁盘中，形成存储文件（storefile），此时文件只是可读的。当存储文件的大小到达一定的大小，会进行合并（compact），这个合并将行键值相同的合并到一起形成一个比较大的存储文件，其过程是对版本的合并与删除的过程，所以从这个角度来看，Hbase是一个追加的过程。当然存储文件的大小到达一定的阀值时，会分裂（split）成两个存储文件[2]。存储文件在组织成HFile以块的形式存在底层的HDFS上。
 
 在[5]中介绍Hbase作为HDFS上层的来评估在大规模数据中随机读和随机写的性能，文中是利用MySQL作为HDFS上层来存储与此作对比。结果显示在多用户多并发读和写时Hbase--HDFS组合负载表现更加的理想。
 
 三、数据的搜索与查找法子探索
 
     如今数据的以PB级别的，海量数据不断增长，怎样快速的存储以及搜索和查找指定的文件所需的时间问题。在关系数据库中，利用索引减少I/O次数来减少读指定的数据的时间，在Hbase中同样可以使用索引。
 
    Hbase一般设置行键作为主键来查找数据，而行键是按照字典序排的，同时Hbase支持利用前缀来，所以合理利用行键会提高查找效率的。在[2]中提到二级索引（secondary index）解决不只是利用行键最为自己的主键，比如购物网站用户Hbase表的行键是用户ID，但是网站为了统计某个时间段的交易记载，在原来表的表上进行扫描可能会扫描整个表。为此我们可以设计另一张表，而这张表的主见是时间+用户，在Hbase进行按前缀扫描时，所需要的数据可能是放在同一块中，减少了I/O次数。
 
    在[9]中是利用Hbase来存储来处理资源描述框架（RDF）的WEB数据，针对PDF的三元（triple）结构(S,P,O)，其中该文章中S代表行键，P代表列，O代表单元（cell）的值。数据检索默认是按照行键值进行的，文章中建立了6个索引表（ PSO, POS, SPO, SOP, OPS and OSP），这包含了所有行键与列的组合。当然这样做，会产生了数据的冗余，因为多建了5个索引。但是多出的索引满足多种查找。这也是二级索引的应用。
 
    在[11]中利用Hadoop架构对半结构化数据和非结构化数据的存储、索引构建、数据查询的整体设计。
 
          
 
 
 
 
 
 整体分为两个过程，第一步原始需要存储的数据经过Uploader形成Hbase面向列结构的表，下一步通过indexer形成对数据整理后的索引。第一步与第二步中中涉及到MapReduce操作，MapReduce是google提出的一种编程模型，是来处理大规模数据集的并行运算模型，它分为两个部分：map操作和reduce操作。Map操作将数据进行处理形成一个中间数据，且数据是（key,value）形式，reduce操作将map操作的结果作为输入数[8]，即：
 
                    map (k1,v1) ——————> list(k2,v2)
 
                    reduce (k2,list(v2)) ————>list(v2)
 
 其中在第一步中的MapReduce操作根据索引规则（index rule）进行操作（索引规则是利用半结构化数据或结构化数据的某种边界特征来分解原数据集）。客户端API可以通过index table进行对特定值或某个范围值进行检索。再从内容表（content table）中寻找指定的值。
 
   在Hbase中为客户端供给一系列的API来访问数据，get(byte[] row)来获取指定的行对应的数据，然后实际上是客户端在指定的Region中收集到的行后在客户端来进一步执行。另外利用mapreduce虽然供给了强大的计算能力，但是它并不是在线业务的很好的方案。在[10]中提到一种协处理(Coprocessor)框架，它允许HBase 管理员在Region server中载入定制的代码，使的可以实现一些聚拢函数像行计数器、求最大值、最小值等。Coprocessor的机制可以理解为，Regionserver端添加了一些回调函数。客户端可以在多个节点调用并且可以并行执行。这样使得客户端不像以前那样请求到的数据在客户端进一步执行，而是请求在各个Region中并发执行后的结果直接返回给客户端，大大提高了效率。
 
 

 
 

结构化数据、半结构化数据和非结构化数据
 
结构化数据
 
结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。举一个例子：
 
id		name	age		gender
1		lyh		12		male
2		liangyh	13		female
3		liang	18		male
 
所以，结构化的数据的存储和排列是很有规律的，这对查询和修改等操作很有帮助。但是，显然，它的扩展性不好（比如，我希望增加一个字段，怎么办？）。
 
半结构化数据
 
半结构化数据是结构化数据的一种形式，它并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。因此，它也被称为自描述的结构。
 
半结构化数据，属于同一类实体可以有不同的属性，即使他们被组合在一起，这些属性的顺序并不重要。
 
常见的半结构数据有XML和JSON，对于对于两个XML文件，第一个可能有
 
<person>
	<name>A</name>
	<age>13</age>
  	<gender>female</gender>
</person>
 
第二个可能为：
 
<person>
	<name>B</name>
	<gender>male</gender>
</person>
 
从上面的例子中，属性的顺序是不重要的，不同的半结构化数据的属性的个数是不一定一样的。有些人说半结构化数据是以树或者图的数据结构存储的数据，怎么理解呢？上面的例子中，<person>标签是树的根节点，<name>和<gender>标签是子节点。通过这样的数据格式，可以自由地表达很多有用的信息，包括自我描述信息（元数据）。所以，半结构化数据的扩展性是很好的。
 
非结构化数据
 
顾名思义，就是没有固定结构的数据。各种文档、图片、视频/音频等都属于非结构化数据。对于这类数据，我们一般直接整体进行存储，而且一般存储为二进制的数据格式。

计算机信息化系统中的数据分为结构化数据和非结构化数据、半结构化数据。
 
 
 
结构化数据
 
结构化数据，是指由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。
 
也称作行数据，一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。
 
 比如：
 
 
id
 
 
name
 
 
gender
 
 
phone
 
 
address
 
 
1
 
 
张一
 
 
female
 
 
3337899
 
 
湖北省武汉市
 
 
2
 
 
王二
 
 
male
 
 
3337499
 
 
广东省深圳市福田区
 
 
3
 
 
李三
 
 
female
 
 
3339003
 
 
广东省深圳市南山区
 
 
 
非结构化数据
 
非结构化数据，是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、HTML、各类报表、图像和音频/视频信息等等。
 
非结构化数据更难让计算机理解。
 
 
 
半结构化数据
 
半结构化数据，是结构化数据的一种形式，虽不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。因此，也被称为自描述的结构。
 
常见的半结构数据有XML和JSON，比如：
 
<person>

    <name>A</name>

    <age>13</age>

    <gender>female</gender>

</person>