1.  OLAP和OLTP的特点
 
     OLAP (联机分析处理)  和 OLTP (联机事务处理) 在查询方面的特点：
      1) OLTP  单次查询返回数据量小，但是经常会涉及服务器端简单的聚合操作，要求查询响应速度快，一般应用于在线处理；
      2) OLAP 单次查询返回数据量巨大，服务器端进行的处理复杂，经常包含上卷(从细粒度数据向高层的聚合)、下钻(将汇总数据拆分到更细节的数据)类似的操作；
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 

 
文章目录
 
1. 登录方式
1.1 SQL交互式查询工具login登录方式
1.2 SQL交互式查询工具conn登录方式
1.3 linux系统方式登录
    
2. 模式和表的查询
2.1 所有模式的查询
2.2 所有表的查询
2.3 查看某个模式下的所有表
2.4 获取当前模式名
2.5 查看表结构
    
3. 执行sql脚本
3.1执行sql脚本的两种方式
   
  
 

 
1. 登录方式
 
1.1 SQL交互式查询工具login登录方式
 
  1.Windows/Linux(已经安装达梦图形化工具)使用login命令登录达梦数据库，如下图所示：
 
   2.点击Enter键，点击后，提示输入服务名(既DM所在服务器节点IP地址)，如下图所示：
 
   3.点击Enter键，点击后，提示输入用户名(也等同于模式名字，一般情况下模式名和用户名是保持一致的)，这里使用超级用户‘SYSDBA’登录就可以了，如下图所示：
 
   4.点击Enter键，点击后输入该用户对应的密码，输入密码时是不可见的，输入完直接点击Enter就可以，如下图所示：
 
   5.会提示输入端口号，这里的端口号一般情况下是5236，想连接不同的数据库实例则输入对应的端口号(在没有创建新的数据库实例的情况下，默认端口号就是5236)，如下图所示：
 
   6.点击Enter就可以了，在输入完端口号后，后面提示输入的信息一直点击Enter键就可以了，登录成功后，会有提示信息，如下图所示：
 
 
1.2 SQL交互式查询工具conn登录方式
 
  首先打开DM的“交互式查询工具”，输入如下命令：
 
conn 用户名/密码@IP地址(示例：conn SYSDBA/SYSDBA@localhost)
 
然后点击Enter就可以，登录成功的信息和使用login登录的提示信息是相同的。
 
 
1.3 linux系统方式登录
 
  这种登录方式是在linux系统没有安装达梦的‘SQL交互式查询工具’的情况使用的，这种情况下就需要我们找到disql进入到交互式命令窗口，首先我们要先进入到达梦在Linux系统安装位置的bin目录当中，然后执行如下命令：
 
./disql 用户名/密码@IP地址(示例：./disql SYSDBA/SYSDBA@localhost)
 
这样就可以进入到交互式查询窗口。
 
2. 模式和表的查询
 
2.1 所有模式的查询
 
  在达梦数据库中，严格上来说不同的数据库代表了不同的数据库实例，每个数据库实例都有自己的端口号，在一个数据库实例中的不同模式可以理解为mysql中的不同的库(只是这么理解就以了了，严格上说并不是，不同的模式对应的是不同的用户，模式严格上来说是为更好的对用户进行权限的划分)，所以我们是没办法像mysql可以使用show databases命令的，但是达梦数据库给我们提供几个视图，方便我们可以查看模式的详细信息，查询语句如下所示：
 
/*因为达梦数据库中创建一个用户就会自动创建和用户名保持一致的模式名，所以
一般情况下，下面这个sql中的USERNAME就是库中所有的模式名。*/
SELECT USERNAME FROM DBA_USERS;
 
查询结果如下图所示：
 
 
2.2 所有表的查询
 
  我们可以通过下面的查询语句来查看当前库中的所有表，如下所示：
 
/*OWNER代表的就是模式名字,TABLE_NAME就是表名*/
SELECT OWNER,TABLE_NAME FOM ALL_TABLES;
 
查询结果如下图所示：
 
 这会列出当前库中的所有数据表，不过一般很少这样使用，因为系统表就有很多，实际很少会查看全量表。
 
2.3 查看某个模式下的所有表
 
  我们在查看有哪些表的时候，一般都是想看某个模式下有哪些数据表，比如说我想查询查询JL模式下的所有表，语句如下所示：
 
/*这种查询语句相信大家应该都是掌握的，只是需要了解需要查询哪张表来得到自己
需要的结果，实际ALL_TABLES是一个达梦库提供的视图*/
SELECT TABLE_NAME FROM ALL_TABLES WHERE OWNER='JL'
 
查询结果如下图所示：
 
 
2.4 获取当前模式名
 
  在使用交互式命令窗口时，我们可以通过命令获取当前所在模式，如下所示：
 
SELECT SYS_CONTEXT ('userenv', 'current_schema') FROM DUAL;
 
查询结果如下图所示：
 
 
2.5 查看表结构
 
  在命令行中我们可以通过DESC来查看表结构，如下所示：
 
/*DESC 模式名.表名字*/
DESC JL.T_P2;
 
查询结果如下图所示：
 
 
3. 执行sql脚本
 
3.1执行sql脚本的两种方式
 
1. 通过start命令执行脚本，如下所示：
 
start F:\test.sql
 
脚本内容如下所示：
 
SELECT * FROM JL.T_P2;
 
执行结果如下所示：
 
 2. 通过“飘”–>[`]命令执行脚本，如下所示：
 
` F:\test.sql;
 
执行结果如下所示：
 
 通过以上两种方式都可以执行SQL脚本。

 

我们将大数据处理按处理时间的跨度要求分为以下几类
 
    基于实时数据流的处理，通常的时间跨度在数百毫秒到数秒之间
 
    基于历史数据的交互式查询，通常时间跨度在数十秒到数分钟之间
 
    复杂的批量数据处理，通常的时间跨度在几分钟到数小时之间
 
1.流处理
 
流是一种数据传送技术，它把客户端数据变成一个稳定的流。正是由于数据传送呈现连续不停的形态，所以流引擎需要连续不断处理数据
 
流处理的主要应用场景：金融领域和电信领域
 
1.1 Stom
 
Storm是一个免费开源、分布式、高容错的实时计算系统。
 
Storm主要分为两种组件Nimbus和Supervisor。这两种组件都是快速失败的，没有状态。任务状态和心跳信息等都保存在Zookeeper上的，提交的代码资源都在本地机器的硬盘上。
 1）Nimbus负责在集群里面发送代码，分配工作给机器，并且监控状态。全局只有一个。
 2）Supervisor会监听分配给它那台机器的工作，根据需要启动/关闭工作进程Worker。每一个要运行Storm的机器上都要部署一个，并且，按照机器的配置设定上面分配的槽位数。
 3）Zookeeper是Storm重点依赖的外部资源。Nimbus和Supervisor甚至实际运行的Worker都是把心跳保存在Zookeeper上的。Nimbus也是根据Zookeerper上的心跳和任务运行状况，进行调度和任务分配的。
 4）Storm提交运行的程序称为Topology。
 5）Topology处理的最小的消息单位是一个Tuple，也就是一个任意对象的数组。
 Topology由Spout和Bolt构成。Spout是发出Tuple的结点。Bolt可以随意订阅某个Spout或者Bolt发出的Tuple。Spout和Bolt都统称为component。
 

 
1.2 Spark Streaming
 
Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。
 
Spark Streaming的基本原理是将输入数据流以时间片（秒级）为单位进行拆分，然后以类似批处理的方式处理每个时间片数据
 
2.交互式查询（Adhoc Query）
 
在商业智能领域少量更新和大量扫描分析场景，目前是Impala+Kudu/Hive/Spark SQL/Greenplum Mpp数据库在混战。
 
3.批处理技术
 
3.1 MapReduce（Hadoop）
 
MapReduce模式的主要思想是自动将一个大的计算拆解成Map和Reduce
 

 
3.2 Spark
 
Spark的中间数据放到内存中，对于迭代运算效率更高。
 Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。
 Spark比Hadoop更通用
 Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Reduce两种操作。比如map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup, mapValues, sort,partionBy等多种操作类型，Spark把这些操作称为Transformations。同时还提供Count, collect, reduce, lookup, save等多种actions操作。

 
 
 
  
StreamingPro目前已经涵盖流式/批处理，以及交互查询三个领域，实现配置和SQL化
 
 
 
 
前言
 
 
StreamingPro 原来仅仅是用来作为Spark Streaming的一个配置化+SQL封装，然而不经意间，已经涵盖了批处理，交互式查询等多个方面。今天就讲讲如何使用StreamingPro构建一个交互式查询引擎。
 
 
准备工作
 
 
下载StreamingPro
 
README中有下载地址
 
 
如果你使用了 Spark 2.0 版本，则要下载对应页面上的Spark 安装包。因为目前Spark 2.0 默认支持Scala 2.11。我提供了一个机遇Scala 2.10版本的。
 
 
我们假设您将文件放在了/tmp目录下。
 
 
同时建立一个只有test.json,下里面的内容有：
 
 
{}
 
 
假设你把它放在了/tmp目录。
 
 
启动StreamingPro
 
 
Local模式：
 
 
cd  $SPARK_HOME

./bin/spark-submit   --class streaming.core.StreamingApp \
--master local[2] \
--name sql-interactive \
/tmp/streamingpro-0.4.1-SNAPSHOT-online-1.6.1.jar    \
-streaming.name sql-interactive    \
-streaming.job.file.path file:///tmp/test.json \
-streaming.platform spark   \
-streaming.rest true   \
-streaming.driver.port 9004   \
-streaming.spark.service true
 
 
访问
 
 
http://127.0.0.1:9004/sqlui
 
 
后可进入查询界面:
 
 
 
  
 
   
 
   

    
   
 
  
 
  

   Snip20160709_5.png
  
 
 
 
 
目前支持elasticsearch 索引,HDFS Parquet 等的查询，并且支持多表查询。
 
 
除了交互式界面以外，也支持接口查询：
 
 
http://127.0.0.1:9004/runtime/spark/sql
 
 
参数支持：
 
 
参数名
示例
说明
tableName.abc
hdfs://cluster/tmp/a.parquet
索引或者parquet路径,其中abc是SQL中的表名称
sql
SELECT count(distinct(mid)) as a ,floor(floor(time/100)/5)5 as b FROM abc group by floor(floor(time/100)/5)5
查询SQL
loader_clzz.abc
org.elasticsearch.spark.sql
驱动类，如果是parquet文件则可简写为parquet
loader_param.abc.es.nodes
node1
不同驱动可能会有自己一些特定的参数，比如es类的需要通过es.nodes传递ES集群在哪
 
上面的参数都是成套出现，你可以配置多套，从而映射多张表。
 
 
集群模式：
 
 
cd  $SPARK_HOME

./bin/spark-submit   --class streaming.core.StreamingApp \
--master yarn-cluster \
--name sql-interactive \
/tmp/streamingpro-0.2.1-SNAPSHOT-dev-1.6.1.jar    \
-streaming.name sql-interactive    \
-streaming.platform spark   \
-streaming.rest true   \
-streaming.job.file.path file:///tmp/test.json \
-streaming.driver.port 9004   \
-streaming.spark.service true
 
 
接着进入spark-ui界面获取driver的地址，就可以访问了。
 
 
服务发现
 
 
因为集群模式，driver的地址是变化的，所以一旦集群启动后我们需要注册到某个地方，从而能然前端知道。目前支持zookeeper的方式，在启动命令行中添加如下几个参数：
 
 
-streaming.zk.servers 127.0.0.1:2181 \
-streaming.zk.conf_root_dir  /streamingpro/jack
 
 
之后前端程序只要访问
 
 
/streamingpro/jack/address
 
 
就能获取IP和端口了。