精华内容
下载资源
问答
  • 1、 Hive核心概念架构原理1.1、 Hive概念Hive由FaceBook开发,用于解决海量结构化日志的数据统计。Hive是基于Hadoop的数据仓库工具,可以将结构化数据映射为一张表,提供类似SQL语句查询功能本质:将Hive SQL转化...

    1、 Hive核心概念和架构原理

    1.1、 Hive概念

    Hive由FaceBook开发,用于解决海量结构化日志的数据统计。

    Hive是基于Hadoop的数据仓库工具,可以将结构化数据映射为一张表,提供类似SQL语句查询功能

    本质:将Hive SQL转化成MapReduce程序。

    2f9c6b3fa99d6acf704377fb632a8bdf.png

    1.2、Hive与数据库的区别

    6698374ed1fdca22061b71fa879dcf32.png

    读时模式:Hive在加载数据到表中的时候不会校验.

    写时模式:Mysql数据库插入数据到表的时候会进行校验.

    总结:Hive只适合用来做海量离线的数据统计分析,也就是数据仓库。

    1.3、Hive的优缺点

    优点:操作接口采用了类SQL语法,提供快速开发的能力,避免了去写MapReduce;Hive还支持用户自定义函数,用户可以根据自己的需求实现自己的函数。

    缺点:Hive不支持纪录级别的增删改操作;Hive查询延迟很严重;Hive不支持事务。

    1.4、Hive架构原理

    cf65935b1264fad70cec0f2ba66ff5a5.png

    ​ (1)用户接口:CLI(hive shell);JDBC(java访问Hive);WEBUI(浏览器访问Hive)

    ​ (2)元数据:MetaStore

    元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段,标的类型(表是否为外部表)、表的数据所在目录。这是数据默认存储在Hive自带的derby数据库中,推荐使用MySQL数据库存储MetaStore。

    (3)Hadoop集群:

    使用HDFS进行存储数据,使用MapReduce进行计算。

    (4)Driver:驱动器

    解析器(SQL Parser):将SQL字符串换成抽象语法树AST,对AST进行语法分析,像是表是否存在、字段是否存在、SQL语义是否有误。

    编译器(Physical Plan):将AST编译成逻辑执行计划。

    优化器(Query Optimizer):将逻辑计划进行优化。

    执行器(Execution):把执行计划转换成可以运行的物理计划。对于Hive来说默认就是Mapreduce任务。

    通过Hive对数据进行数据分析过程

    22619a7536b7e106713dcd218dde2bfd.png

    2、 Hive交互方式

    需要先启动hadoop集群和MySQL服务

    2.1、Hive交互shell

    cd  /opt/bigdata2.7/hive (hive的安装路径,根据自己实际情况改变)
    bin/hive

    16ed15487f40758e9640bc45d98b15ee.png

    ​ 可以在命令端口写上HQL语句:show databases;验证是否可用。

    2.2、JDBC交互

    输入hiveserver2相当于开启了一个服务端,查看hivesever2的转态

    670b0a9b033d017ea22a1dbe3ecf9e8b.png
    输入netstat  –nlp命令查看:

    5a5a76ce095621e563bf75b7cec86b87.png

    ​ 运行hiveserver2相当于开启了一个服务端,端口号10000,需要开启一个客户端进行通信,所以打开另一个窗口,输入命令beeline.

    cbd1110e68b6a26729825061be1e6a13.png

    Beeline连接方式:!connect jdbc:hive2://node1:10000

    主意不要省略!

    当然了hiveserver2服务端可以运行在后台:

    nohup hiveserver2 &

    3、 Hive数据类型

    3.1基本数据类型

    92a570aa5272c2735aa9aa92e1d9c61a.png

    3.2复合数据类型

    ​ (1)Array字段的元素访问方式:下标获取元素,下标从0开始

    比如:获取第一元素:array[0]

    (2)Map字段的访问方式:通过键获取值

    比如:获取a这个key对应的value:map[‘a’]

    (3)struct字段的元素获取方式:

    定义一个字段c的类型为struct(a int;b string)

    获取a和b的值:

    create table complex(
         col1 array<int>,
         col2 map<string,int>,
         col3 struct<a:string,b:int,c:double>
         )

    4、 Hive数据类型转换

    4.1、隐式类型转换

    ​ 系统自动实现类型转换,不需要客户干预

    如:tinyint可以转换成int,int可以转成bigint

    所有整数类型、float、string类型都可以隐式转转换成double

    tinyint、samllint、int都可以转成float

    boolean不可以转成其他任何类型

    4.2、手动类型转换

    ​ 可以使用cast函数显示的进行数据类型转换

    ​ 例如:cast(‘1’ as int)把字符串’1’转成整数1

    ​ 如果强制转换类型失败,如执行cast(‘x’ as int)表达式返回NULL。

    展开全文
  • Hive中定义变量内置命名空间Hive内置命名空间包含了hivevar、hiveconf、systemenv。在Hive中写入hivevar变量hive --define/--hivevar key=value显示变量set env:HOME set hivevar:key set key给变量赋值set key=...

    b9bd1c9e7e3e32c1696e2ee0749f7f06.png

    Hive中定义变量

    • 内置命名空间

    Hive内置命名空间包含了hivevar、hiveconf、system和env。

    77a88438b7019f0896a7361c63bbb461.png
    • 在Hive中写入hivevar变量
    hive --define/--hivevar key=value
    • 显示变量
    set env:HOME
    set hivevar:key
    set key
    • 给变量赋值
    set key=value
    set hivevar:key=value
    • 在sql语句中调用变量
    create table table_name(i int, ${hivevar:key} string)
    create table table_name(i int, ${key} string)

    只执行一次的Hive脚本

    echo "one row" > /root/path/myfile 
    hive -e "load data local inpath '/root/path/myfile' into table table_name"

    在Hive中执行shell命令

    hive>!pwd

    在Hive中使用hadoop

    hive>dfs -ls

    JDBC时间和UTC时间之间的相互转换

    • 指定了格式的转换
    from_unixtime(unix_timestamp('20180930',"yyyyMMdd"),'yyyyMMdd')
    • 为空生成当前的unix时间戳
    hive> select unix_timestamp();
    unix_timestamp(void) is deprecated. Use current_timestamp instead.
    OK
    1547438004
    • 转换成当前的UTC时间戳
    hive> select from_unixtime(unix_timestamp());
    unix_timestamp(void) is deprecated. Use current_timestamp instead.
    OK
    2019-01-14 13:27:12
    • UTC时间格式为
    YYYY-MM-DD hh:mm:ss.ffffffff

    集合数据类型

    • struct:需要事前定义好格式
    • map: 类似于struct,但不是事前定义好格式的
    • array: 数组数据类型
    create table employees( 
    name string, 
    salary float, 
    subordinates array, 
    deductions map<string, float>, 
    address struct<street:string,city:string,state:string,zip:int> 
    )

    Hive数据库的基本操作

    • 指定Hive数据库的路径
    create database database_name
    location '/my/preferred/directory'
    • 查看Hive数据库的路径
    describe database database_name
    • 创建Hive数据库的扩展信息
    create database database_name
    WITH DBPROPERTIES ('creator' = 'name', 'date' = '2019-01-09');
    • 查看所创建的扩展信息
    describe database extended database_name
    • 修改数据库属性
    ALTER DATABASE database_name SET DBPROPERTIES ('edited-by' = 'tjm', 'date' = '2019-01-09')

    Hive数据表的基本操作

    • 表的创建
    create table if not exists employee(
    name string comment 'Employee name',
    salary float comment 'Employee salary',
    subordinates array<string> comment 'Names of subordinates',
    deductions map<string, float> comment 'Keys are deductions name,values are percnetages',
    address struct<street:string, city:string, state:string,zip:int> comment 'Home address')
    COMMENT 'Description of the table'
    TBLPROPERTIES ('creator'='name', 'date'='2019-01-09')
    • 用复制表结构的方式创建表
    create table if not exists employee2
    LIKE employee
    • 查看所创建表的基本信息

    关键字:show、describe、formatted、extended

    show tables in database_name  --查看指定库内的所有表
    
    describe employees  --描述表的字段信息
    
    describe extended employees  --显示所创建表的扩展信息
    
    describe formatted employee2  --最全面的信息查看方式,能够显示出最多的信息
    
    show create table employee  --显示建表时候的建表脚本
    
    show tables 'empl.*' --通过模糊匹配的方式进行查询
    • 使用外部表来建表

    外部表的重要作用是当我们对一张表进行删除的时候,仅仅对表结构进行删除,不会影响到建表时使用到的原始数据。

    关键字:external

    create external table if not exists stocks (
    exchange string,
    symbol string,
    ymd string,
    price_open float,
    price_high float,
    price_low float,
    price_close float,
    volume int,
    price_adj_close float)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
    • 使用分区来管理表

    关键字:partitioned by

    create table employees(
    name string,
    salary float,
    subordinates array<string>,
    deductions map<string, float>,
    address struct<street:string, city:string, state:string, zip:int>
    )
    PARTITIONED BY (country string, state string);
    • 通过分区来载入数据

    关键字:load、local

    load data local inpath '${env:HOME}/directory' into table employees
    partition (country='US',state='CA')
    • 表重命名

    关键字:alter

    alter table table_name rename to new_table_name;
    • 增加、修改和删除表分区

    增加表分区

    alter table table_name add if not exists 
    partition(year=2011, month=1, day=1) location '/logs/2011/01/01' 
    partition(year=2011, month=1, day=2) location '/logs/2011/01/02'
    partition(year=2011, month=1, day=3) location '/logs/2011/01/03';

    修改表分区

    alter table table_name partition(year=2011, month=12, day=2)
    set location 'hdfs://ip_address/logs/2011/01/02';

    删除表分区

    alter table table_name drop if exists 
    partition(year=2011, month=1, day=1);
    • 增加和修改表的列信息

    修改列

    alter 

    增加列

    alter table employees add columns(
    app_name string comment 'application name',
    session_id bigint comment 'session_id name'
    )
    • 更新表的属性
    alter table employees set tblproperties(
    'creator'='name',
    'date'='2019-01-10'
    )

    操作完成后旧表的属性会被新表的属性所覆盖。

    数据的导入

    • 向已经创建的表中导入数据

    指定的路径是一个目录或者文件,如果创建的表不是分区表那么就不需要添加partition。 导入使用了overwrite字段的话,如果要导入的表在数据库中不存在,那么首先进行新建,如果表在数据库中已经存在,就进行重写,如果没有overwrite关键字,仅仅是把新文件增加到目标文件夹中而不会删除之前的数据。

    load data local inpath '${env:HOME}/directory' overwrite into table employees
    partition (country='US',state='CA')
    
    load data local inpath '${env:HOME}/directory' into table employees
    partition (country='US',state='CA')
    • 通过查询语句向表中插入数据
    insert overwrite table employees
    partition (country='US',state='CA')
    select * from staged_employees se
    where se.city='US' and se.st='CA'
    
    insert into table employees
    partition (country='US',state='CA')
    select * from staged_employees se
    where se.city='US' and se.st='CA';

    这里可以选用overwrite或者into,这两个字段的意义和之前所说的一样。

    • 一次扫描完成全部分区数据的插入

    都从原表读取数据的情况。

    insert overwrite table sales select * from history where action='purchased'
    insert overwrite table credits select * from history where action='returned'

    只进行一次查询的情况。

    from history 
    insert overwrite table sales select * where action='purchased'
    insert overwrite table credits select * where action='returned'

    区别于对数据完成一次扫描然后进行一次数据插入,我们还可以在进行一次扫描之后完成我们想要的全部数据的插入。

    • 使用单个查询语句创建表并导入数据

    关键字:create...as...

    create table table_name as 'select no,age from
    use_table where age>50'

    数据的导出

    • 使用hadoop命令
    hadoop fs -cp source_path target_path

    这个命令适用于同一个服务器之间的数据拷贝,如果是不同的服务器之间通过hadoop来进行数据的拷贝,如下:

    hadoop fs -get file_path --原服务器
    hadoop fs -put file_path --目标服务器
    • 使用insert...directory...导出文件到指定目录
    insert overwrite/into local directory '/tmp/ca_employees'
    select name.salary,address 
    from table_name 
    where se.cnty-''US and se.st='OR';
    • 同时对多个文件进行导出
    from staged_employees se
    insert overwrite/into local directory '/tmp/or_employees'
    select *  where se.city='US' and se.st='OR';
    insert overwrite/into local directory '/tmp/ca_employees'
    select *  where se.city='US' and se.st='CA';

    Hive中的类型转换

    使用关键字cast进行数据类型的转换。

    hive> select cast(anum as float) from littlebigdata;
    OK
    NULL
    2.0

    此例是将整型数据转换为了浮点型数据。

    Hive中的抽样查询

    • 随机抽样
    select * from table_name tablesample(bucket 3 out of 10 on rand()) s;

    10表示对整个数据划分出的bucket个数,3表示从第三个bucket开始抽样。

    • 基于百分比的数据块抽样
    select * from table_name tablesample(0.1 percent) s;

    注:这种抽样并不适用于所有文件的格式。

    Hive创建查询视图

    使用Hive的视图,可以避免select语句的多重嵌套,增加可读性。

    • 不使用视图的脚本
    select a.head_no,a.bank_name from (select no, name from table_name) a limit 2;
    • 视图脚本

    关键字:create view

    create view table_view as (select no,name from table_name)  --创建视图
    
    select no, name from table_view limit 2  --基于视图的查询

    查看Hive函数的描述

    • 发现所有函数
    hive> show functions;
    OK
    !
    !=
    $sum0
    %
    &
    *
    +
    -
    /
    <
    <=
    <=>
    <>
    =
    ==
    >
    >=
    ^
    abs
    acos
    add_months
    aes_decrypt
    .
    .
    .
    • 查看指定函数的描述
    hive> describe function abs;
    OK
    abs(x) - returns the absolute value of x
    • 查看带有实例的更详细的描述
    hive> describe function extended abs;
    OK
    abs(x) - returns the absolute value of x
    Example:
      > SELECT abs(0) FROM src LIMIT 1;
      0
      > SELECT abs(-5) FROM src LIMIT 1;
      5
    Function class:org.apache.hadoop.hive.ql.udf.generic.GenericUDFAbs
    Function type:BUILTIN
    • 表生成函数
    hive> select array(1,2,3);
    OK
    [1,2,3]
    
    hive> select explode(array(1,2,3));
    OK
    1
    2
    3

    自定义Hive文件和记录格式

    修改如下语句,替代为指定的格式以更改存储格式。

    STORED AS 
    INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' 
    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
    • 记录格式:SerDe

    SerDe是序列化、反序列化的简写,一个SerDe是将一条记录的非结构化字节转化成Hive可以使用的一条记录的过程。

    • 以ORC文件格式进行存储

    ORC格式:

    ROW FORMAT SERDE 
      'org.apache.hadoop.hive.ql.io.orc.OrcSerde' 
    STORED AS INPUTFORMAT 
      'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' 
    OUTPUTFORMAT 
      'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'

    参考:《Hive编程指南》

    ----------------------------关注我们的公众号,一手干货快速送达----------------------------

    3638cf1b1745ebe6cb6e45495c8e4044.png
    展开全文
  • 主要介绍了解决SQLServer中bigintint带符号时报错问题的函数,需要的朋友可以参考下
  • Hive到0.13.0版本为止已经支持越来越多的数据类型,像传统数据库的...数值类型 Hive中的数值类型与Java的数值类型很相似,区别在于有些类型的名称不一样,可以概括为如下的表格: 默认情况下,整数常量被当做INT...

    Hive到0.13.0版本为止已经支持越来越多的数据类型,像传统数据库中的VCHAR、CHAR、DATE以及所特有的复合类型MAP、STRUCT等。Hive中的数据类型可以分为数值类型、字符串类型、日期时间类型、复合类型以及其它类型,下面分别予以介绍。

    数值类型

    Hive中的数值类型与Java中的数值类型很相似,区别在于有些类型的名称不一样,可以概括为如下的表格:

    64a436c175a26c16243acd0c60231a40.png

    默认情况下,整数常量被当做INT处理,除非整数常量超出了INT类型的取值范围或者在整数常量跟着Y、S、L等后缀,则常量将会作为TINYINT、SMALLINT和BIGINT处理。Hive中的浮点数常量默认被当做DOUBLE类型。

    DECIMAL类型是在Hive-0.11.0版本中引入的,在Hive-0.13.0版本中做了改进。Hive中的DECIMAL基于Java中的BigDecimal,BigDecimal用于表示任意精度的不可修改的十进制数字。所有常规数字操作符(如+、-、*、/)和相关的UDFs(如Floor、Ceil、Round等)用于处理DECIMAL类型,可以转换DECIMAL为其它数值类型或者将其它基本类型转换为DECIMAL。DECIMAL类型支持科学计数法,所以不管数据集中是否包含1E+44或者4000或者二者的组合,都可以使用DECIMAL表示。Hive-0.11.0和Hive-0.12.0固定了DECIMAL类型的精度并限制为38位数字,从Hive-0.13.0开始可以指定DECIMAL的规模和精度,当使用DECIMAL类型创建表时可以使用DECIMAL(precision,scale)语法。例如:

    create table decimal_test (d decimal);

    可以使用LazySimpleSerDe和LazyBinarySerDe读写包含DECIMAL类型的表,如:

    alter table decimal_1 set serde 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe';

    alter table decimal_1 set serde 'org.apache.hadoop.hive.serde2.lazy.LazyBinarySerDe';

    可以使用cast在DECIMAL和其它基本类型,如INT、DOUBLE、BOOLEAN之间转换,如:

    Select cast(d asboolean) from decimal_test;

    DECIMAL类型比DOUBLE类型为浮点数提供了精确的数值和更广的范围,DECIMAL类型存储了数值的精确地表示,而DOUBLE类型存储了非常接近数值的近似值。当DOUBLE类型的近似值精度不够时可以使用DECIMAL类型,比如金融应用,等于和不等于检查以及舍入操作,当数值超出了DOUBLE类型的范围(大约-10308 to 10308)或者非常接近于0(-10-308 to 10-308)时,也可以使用DECIMAL类型。

    字符串类型

    字符串常量使用单引号或者双引号表示,Hive使用C语言风格对字符串进行转义。Hive-0.12.0版本引入了VARCHAR类型,VARCHAR类型使用长度指示器(1到65355)创建,长度指示器定义了在字符串中允许的最大字符数量。如果一个字符串值转换为或者被赋予一个varchar值,其长度超过了长度指示器则该字符串值会自动被截断。目前还没有通用的UDF可以直接用于VARCHAR类型,可以使用String UDF代替,VARCHAR将会转换为String再传递给UDF。Hive-0.13.0版本引入了CHAR类型,CHAR类型与VARCHAR类型相似,但拥有固定的长度,也就是如果字符串长度小于指示器的长度则使用空格填充。CHAR类型的最大长度为255。使用VARCHAR、CHAR创建表的例子如下:

    CREATE TABLE test(c CHAR(10), vc VARCHAR(30));

    日期/时间类型

    Hive支持带可选的纳秒级精度的UNIX timestamp。Hive中的timestamp与时区无关,存储为UNIX纪元的偏移量。Hive提供了用于timestamp和时区相互转换的便利UDF:to_utc_timestamp和 from_utc_timestamp。Timestamp类型可以使用所有的日期时间UDF,如month、day、year等。文本文件中的Timestamp必须使用yyyy-mm-dd hh:mm:ss[.f...]的格式,如果使用其它格式,将它们声明为合适的类型(INT、FLOAT、STRING等)并使用UDF将它们转换为Timestamp。Timestamp支持的类型转换为:

    整数类型:转换为秒级的UNIX时间戳。

    浮点数类型:转换为带小数精度的UNIX时间戳。

    字符串类型:适合java.sql.Timestamp格式"YYYY-MM-DD HH:MM:SS.fffffffff"(9位小数精度)。

    Hive中DATE类型的值描述了特定的年月日,以YYYY-­MM-­DD格式表示,例如2014-05-29。DATE类型不包含时间,所表示日期的范围为0000-­01-­01 to 9999-­12-­31。DATE类型仅可与DATE、TIMESTAMP、STRING类型相互转化,如下表所示:

    294fc16cf10c4895f53cd2d094ea9fe4.png

    复合类型

    Hive支持4种复合数据类型,分别为:

    Array:ARRAY

    Map:MAP

    Struct: STRUCT

    Union:UNIONTYPE

    UNIONTYPE类型可以在任何一个点精确地持有它所指定数据类型的一种,使用UNIONTYPE的例子如下:

    CREATE TABLEunion_test(u UNIONTYPE,struct>);

    SELECT u FROMunion_test;

    {0:1}

    {1:2.0}

    {2:["three

    展开全文
  • --内置函数查看内容较多,见《Hive官方文档》https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1)查看系统自带的函数hive> show functions;2)显示自带的函数的用法hive> desc function ...
    3c7c0575a65a86634908ff287da6826b.png

    --内置函数查看

    781fc290298ab00f2a013126c97f39e8.png

    内容较多,见《Hive官方文档》

    https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

    1)查看系统自带的函数

    hive> show functions;

    2)显示自带的函数的用法

    hive> desc function upper;

    3)详细显示自带的函数的用法

    hive> desc function extended upper;

    --常用函数介绍

    关系运算

    1、等值比较: =

    语法:A=B
    操作类型:所有基本类型
    描述: 如果表达式A与表达式B相等,则为TRUE;否则为FALSE

    hive> select 1 from tableName where 1=1;

    2.不等值比较: <>

    语法: A <> B
    操作类型: 所有基本类型
    描述: 如果表达式A为NULL,或者表达式B为NULL,返回NULL;如果表达式A与表达式B不相等,则为TRUE;否则为FALSE

    hive> select 1 from tableName where 1 <> 2;

    3、小于比较: <

    语法: A < B
    操作类型:所有基本类型
    描述: 如果表达式A为NULL,或者表达式B为NULL,返回NULL;如果表达式A小于表达式B,则为TRUE;否则为FALSE

    hive> select 1 from tableName where 1 < 2;

    4、小于等于比较: <=

    语法: A <= B
    操作类型: 所有基本类型
    描述: 如果表达式A为NULL,或者表达式B为NULL,返回NULL;如果表达式A小于或者等于表达式B,则为TRUE;否则为FALSE

    hive> select 1 from tableName where 1 < = 1;

    5、大于比较: >

    语法: A > B
    操作类型: 所有基本类型
    描述: 如果表达式A为NULL,或者表达式B为NULL,返回NULL;如果表达式A大于表达式B,则为TRUE;否则为FALSE

    hive> select 1 from tableName where 2 > 1;

    6、大于等于比较: >=

    语法: A >= B
    操作类型: 所有基本类型
    描述: 如果表达式A为NULL,或者表达式B为NULL,返回NULL;如果表达式A大于或者等于表达式B,则为TRUE;否则为FALSE

    hive> select 1 from tableName where 1 >= 1;1注意:String的比较要注意(常用的时间比较可以先 to_date 之后再比较)hive> select * from tableName;OK2011111209 00:00:00 2011111209 hive> select a, b, ab, a=b from tableName;2011111209 00:00:00 2011111209 false true false

    7、空值判断: IS NULL

    语法: A IS NULL
    操作类型: 所有类型
    描述: 如果表达式A的值为NULL,则为TRUE;否则为FALSE

    hive> select 1 from tableName where null is null;

    8、非空判断: IS NOT NULL

    语法: A IS NOT NULL
    操作类型: 所有类型
    描述: 如果表达式A的值为NULL,则为FALSE;否则为TRUE

    hive> select 1 from tableName where 1 is not null;

    9、LIKE比较: LIKE

    语法: A LIKE B
    操作类型: strings
    描述: 如果字符串A或者字符串B为NULL,则返回NULL;如果字符串A符合表达式B 的正则语法,则为TRUE;否则为FALSE。B中字符”_”表示任意单个字符,而字符”%”表示任意数量的字符。

    hive> select 1 from tableName where 'football' like 'foot%'; hive> select 1 from tableName where 'football' like 'foot____'; 注意:否定比较时候用NOT A LIKE Bhive> select 1 from tableName where NOT 'football' like 'fff%';

    10、JAVA的LIKE操作: RLIKE

    语法: A RLIKE B
    操作类型: strings
    描述: 如果字符串A或者字符串B为NULL,则返回NULL;如果字符串A符合JAVA正则表达式B的正则语法,则为TRUE;否则为FALSE。

    hive> select 1 from tableName where 'footbar' rlike '^f.*r$';1注意:判断一个字符串是否全为数字:hive>select 1 from tableName where '123456' rlike '^d+$';1hive> select 1 from tableName where '123456aa' rlike '^d+$';

    11、REGEXP操作: REGEXP

    语法: A REGEXP B
    操作类型: strings
    描述: 功能与RLIKE相同

    hive> select 1 from tableName where 'footbar' REGEXP '^f.*r$';1

    数学运算:

    1、加法操作: +

    语法: A + B
    操作类型:所有数值类型
    说明:返回A与B相加的结果。结果的数值类型等于A的类型和B的类型的最小父类型(详见数据类型的继承关系)。比如,int + int 一般结果为int类型,而 int + double 一般结果为double类型

    hive> select 1 + 9 from tableName;10hive> create table tableName as select 1 + 1.2 from tableName;hive> describe tableName;_c0 double

    2、减法操作: -

    语法: A – B
    操作类型:所有数值类型
    说明:返回A与B相减的结果。结果的数值类型等于A的类型和B的类型的最小父类型(详见数据类型的继承关系)。比如,int – int 一般结果为int类型,而 int – double 一般结果为double类型

    hive> select 10 – 5 from tableName;5hive> create table tableName as select 5.6 – 4 from tableName;hive> describe tableName;_c0 double

    3、乘法操作: *

    语法: A * B
    操作类型:所有数值类型
    说明:返回A与B相乘的结果。结果的数值类型等于A的类型和B的类型的最小父类型(详见数据类型的继承关系)。注意,如果A乘以B的结果超过默认结果类型的数值范围,则需要通过cast将结果转换成范围更大的数值类型

    hive> select 40 * 5 from tableName;200

    4、除法操作: /

    语法: A / B
    操作类型:所有数值类型
    说明:返回A除以B的结果。结果的数值类型为double

    hive> select 40 / 5 from tableName;8.0注意:hive中最高精度的数据类型是double,只精确到小数点后16位,在做除法运算的时候要特别注意hive>select ceil(28.0/6.999999999999999999999) from tableName limit 1; 结果为4hive>select ceil(28.0/6.99999999999999) from tableName limit 1; 结果为5

    5、取余操作: %

    语法: A % B
    操作类型:所有数值类型
    说明:返回A除以B的余数。结果的数值类型等于A的类型和B的类型的最小父类型(详见数据类型的继承关系)。

    hive> select 41 % 5 from tableName;1hive> select 8.4 % 4 from tableName;0.40000000000000036注意:精度在hive中是个很大的问题,类似这样的操作最好通过round指定精度hive> select round(8.4 % 4 , 2) from tableName;0.4

    6、位与操作: &

    语法: A & B
    操作类型:所有数值类型
    说明:返回A和B按位进行与操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型(详见数据类型的继承关系)。

    hive> select 4 & 8 from tableName;0hive> select 6 & 4 from tableName;4

    7、位或操作: |

    语法: A | B
    操作类型:所有数值类型
    说明:返回A和B按位进行或操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型(详见数据类型的继承关系)。

    hive> select 4 | 8 from tableName;12hive> select 6 | 8 from tableName;14

    8、位异或操作: ^

    语法: A ^ B
    操作类型:所有数值类型
    说明:返回A和B按位进行异或操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型(详见数据类型的继承关系)。

    hive> select 4 ^ 8 from tableName;12hive> select 6 ^ 4 from tableName;2

    9.位取反操作: ~

    语法: ~A
    操作类型:所有数值类型
    说明:返回A按位取反操作的结果。结果的数值类型等于A的类型。

    hive> select ~6 from tableName;-7hive> select ~4 from tableName;-5

    逻辑运算:

    1、逻辑与操作: AND

    语法: A AND B
    操作类型:boolean
    说明:如果A和B均为TRUE,则为TRUE;否则为FALSE。如果A为NULL或B为NULL,则为NULL

    hive> select 1 from tableName where 1=1 and 2=2;1

    2、逻辑或操作: OR

    语法: A OR B
    操作类型:boolean
    说明:如果A为TRUE,或者B为TRUE,或者A和B均为TRUE,则为TRUE;否则为FALSE

    hive> select 1 from tableName where 1=2 or 2=2;1

    3、逻辑非操作: NOT

    语法: NOT A
    操作类型:boolean
    说明:如果A为FALSE,或者A为NULL,则为TRUE;否则为FALSE

    hive> select 1 from tableName where not 1=2;1

    数值计算

    1、取整函数: round ***

    语法: round(double a)
    返回值: BIGINT
    说明: 返回double类型的整数值部分 (遵循四舍五入)

    hive> select round(3.1415926) from tableName;3hive> select round(3.5) from tableName;4hive> create table tableName as select round(9542.158) from tableName;hive> describe tableName;_c0 bigint

    2、指定精度取整函数: round ***

    语法: round(double a, int d)
    返回值: DOUBLE
    说明: 返回指定精度d的double类型

    hive> select round(3.1415926,4) from tableName;3.1416

    3、向下取整函数: floor ***

    语法: floor(double a)
    返回值: BIGINT
    说明: 返回等于或者小于该double变量的最大的整数

    hive> select floor(3.1415926) from tableName;3hive> select floor(25) from tableName;25

    4、向上取整函数: ceil ***

    语法: ceil(double a)
    返回值: BIGINT
    说明: 返回等于或者大于该double变量的最小的整数

    hive> select ceil(3.1415926) from tableName;4hive> select ceil(46) from tableName;46

    5、向上取整函数: ceiling ***

    语法: ceiling(double a)
    返回值: BIGINT
    说明: 与ceil功能相同

    hive> select ceiling(3.1415926) from tableName;4hive> select ceiling(46) from tableName;46

    6、取随机数函数: rand ***

    语法: rand(),rand(int seed)
    返回值: double
    说明: 返回一个0到1范围内的随机数。如果指定种子seed,则会等到一个稳定的随机数序列

    hive> select rand() from tableName;0.5577432776034763hive> select rand() from tableName;0.6638336467363424hive> select rand(100) from tableName;0.7220096548596434hive> select rand(100) from tableName;0.7220096548596434

    7、自然指数函数: exp

    语法: exp(double a)
    返回值: double
    说明: 返回自然对数e的a次方

    hive> select exp(2) from tableName;7.38905609893065自然对数函数: ln语法: ln(double a)返回值: double说明: 返回a的自然对数1hive> select ln(7.38905609893065) from tableName;2.0

    8、以10为底对数函数: log10

    语法: log10(double a)
    返回值: double
    说明: 返回以10为底的a的对数

    hive> select log10(100) from tableName;2.0

    9、以2为底对数函数: log2

    语法: log2(double a)
    返回值: double
    说明: 返回以2为底的a的对数

    hive> select log2(8) from tableName;3.0

    10、对数函数: log

    语法: log(double base, double a)
    返回值: double
    说明: 返回以base为底的a的对数

    hive> select log(4,256) from tableName;4.0

    11、幂运算函数: pow

    语法: pow(double a, double p)
    返回值: double
    说明: 返回a的p次幂

    hive> select pow(2,4) from tableName;16.0

    12、幂运算函数: power

    语法: power(double a, double p)
    返回值: double
    说明: 返回a的p次幂,与pow功能相同

    hive> select power(2,4) from tableName;16.0

    13、开平方函数: sqrt

    语法: sqrt(double a)
    返回值: double
    说明: 返回a的平方根

    hive> select sqrt(16) from tableName;4.0

    14、二进制函数: bin

    语法: bin(BIGINT a)
    返回值: string
    说明: 返回a的二进制代码表示

    hive> select bin(7) from tableName;111

    15、十六进制函数: hex

    语法: hex(BIGINT a)
    返回值: string
    说明: 如果变量是int类型,那么返回a的十六进制表示;如果变量是string类型,则返回该字符串的十六进制表示

    hive> select hex(17) from tableName;11hive> select hex(‘abc’) from tableName;616263

    16、反转十六进制函数: unhex

    语法: unhex(string a)
    返回值: string
    说明: 返回该十六进制字符串所代码的字符串

    hive> select unhex(‘616263’) from tableName;abchive> select unhex(‘11’) from tableName;-hive> select unhex(616263) from tableName;abc

    17、进制转换函数: conv

    语法: conv(BIGINT num, int from_base, int to_base)
    返回值: string
    说明: 将数值num从from_base进制转化到to_base进制

    hive> select conv(17,10,16) from tableName;11hive> select conv(17,10,2) from tableName;10001

    18、绝对值函数: abs

    语法: abs(double a) abs(int a)
    返回值: double int
    说明: 返回数值a的绝对值

    hive> select abs(-3.9) from tableName;3.9hive> select abs(10.9) from tableName;10.9

    19、正取余函数: pmod

    语法: pmod(int a, int b),pmod(double a, double b)
    返回值: int double
    说明: 返回正的a除以b的余数

    hive> select pmod(9,4) from tableName;1hive> select pmod(-9,4) from tableName;3

    20、正弦函数: sin

    语法: sin(double a)
    返回值: double
    说明: 返回a的正弦值

    hive> select sin(0.8) from tableName;0.7173560908995228

    21、反正弦函数: asin

    语法: asin(double a)
    返回值: double
    说明: 返回a的反正弦值

    hive> select asin(0.7173560908995228) from tableName;0.8

    22、余弦函数: cos

    语法: cos(double a)
    返回值: double
    说明: 返回a的余弦值

    hive> select cos(0.9) from tableName;0.6216099682706644

    23、反余弦函数: acos

    语法: acos(double a)
    返回值: double
    说明: 返回a的反余弦值

    hive> select acos(0.6216099682706644) from tableName;0.9

    24、positive函数: positive

    语法: positive(int a), positive(double a)
    返回值: int double
    说明: 返回a

    hive> select positive(-10) from tableName;-10hive> select positive(12) from tableName;12

    25、negative函数: negative

    语法: negative(int a), negative(double a)
    返回值: int double
    说明: 返回-a

    hive> select negative(-5) from tableName;5hive> select negative(8) from tableName;-8

    日期函数

    1、UNIX时间戳转日期函数: from_unixtime ***

    语法: from_unixtime(bigint unixtime[, string format])
    返回值: string
    说明: 转化UNIX时间戳(从1970-01-01 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式

    hive> select from_unixtime(1323308943,'yyyyMMdd') from tableName;20111208

    2、获取当前UNIX时间戳函数: unix_timestamp ***

    语法: unix_timestamp()
    返回值: bigint
    说明: 获得当前时区的UNIX时间戳

    hive> select unix_timestamp() from tableName;1323309615

    3、日期转UNIX时间戳函数: unix_timestamp ***

    语法: unix_timestamp(string date)
    返回值: bigint
    说明: 转换格式为"yyyy-MM-dd HH:mm:ss"的日期到UNIX时间戳。如果转化失败,则返回0。

    hive> select unix_timestamp('2011-12-07 13:01:03') from tableName;1323234063

    4、指定格式日期转UNIX时间戳函数: unix_timestamp ***

    语法: unix_timestamp(string date, string pattern)
    返回值: bigint
    说明: 转换pattern格式的日期到UNIX时间戳。如果转化失败,则返回0。

    hive> select unix_timestamp('20111207 13:01:03','yyyyMMdd HH:mm:ss') from tableName;1323234063

    5、日期时间转日期函数: to_date ***

    语法: to_date(string timestamp)
    返回值: string
    说明: 返回日期时间字段中的日期部分。

    hive> select to_date('2011-12-08 10:03:01') from tableName;2011-12-08

    6、日期转年函数: year ***

    语法: year(string date)
    返回值: int
    说明: 返回日期中的年。

    hive> select year('2011-12-08 10:03:01') from tableName;2011hive> select year('2012-12-08') from tableName;2012

    7、日期转月函数: month ***

    语法: month (string date)
    返回值: int
    说明: 返回日期中的月份。

    hive> select month('2011-12-08 10:03:01') from tableName;12hive> select month('2011-08-08') from tableName;8

    8、日期转天函数: day ****

    语法: day (string date)
    返回值: int
    说明: 返回日期中的天。

    hive> select day('2011-12-08 10:03:01') from tableName;8hive> select day('2011-12-24') from tableName;24

    9、日期转小时函数: hour ***

    语法: hour (string date)
    返回值: int
    说明: 返回日期中的小时。

    hive> select hour('2011-12-08 10:03:01') from tableName;10

    10、日期转分钟函数: minute

    语法: minute (string date)
    返回值: int
    说明: 返回日期中的分钟。

    hive> select minute('2011-12-08 10:03:01') from tableName;3

    11、日期转秒函数: second

    语法: second (string date)
    返回值: int
    说明: 返回日期中的秒。

    hive> select second('2011-12-08 10:03:01') from tableName;1

    12、日期转周函数: weekofyear

    语法: weekofyear (string date)
    返回值: int
    说明: 返回日期在当前的周数。

    hive> select weekofyear('2011-12-08 10:03:01') from tableName;49

    13、日期比较函数: datediff ***

    语法: datediff(string enddate, string startdate)
    返回值: int
    说明: 返回结束日期减去开始日期的天数。

    hive> select datediff('2012-12-08','2012-05-09') from tableName;213

    14、日期增加函数: date_add ***

    语法: date_add(string startdate, int days)
    返回值: string
    说明: 返回开始日期startdate增加days天后的日期。

    hive> select date_add('2012-12-08',10) from tableName;2012-12-18

    15、日期减少函数: date_sub ***

    语法: date_sub (string startdate, int days)
    返回值: string
    说明: 返回开始日期startdate减少days天后的日期。

    hive> select date_sub('2012-12-08',10) from tableName;2012-11-28

    条件函数

    1、If函数: if ***

    语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)
    返回值: T
    说明: 当条件testCondition为TRUE时,返回valueTrue;否则返回valueFalseOrNull

    hive> select if(1=2,100,200) from tableName;200hive> select if(1=1,100,200) from tableName;100

    2、非空查找函数: COALESCE

    语法: COALESCE(T v1, T v2, …)
    返回值: T
    说明: 返回参数中的第一个非空值;如果所有值都为NULL,那么返回NULL

    hive> select COALESCE(null,'100','50') from tableName;100

    3、条件判断函数:CASE ***

    语法: CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END
    返回值: T
    说明:如果a等于b,那么返回c;如果a等于d,那么返回e;否则返回f

    hive> Select case 100 when 50 then 'tom' when 100 then 'mary' else 'tim' end from tableName;maryhive> Select case 200 when 50 then 'tom' when 100 then 'mary' else 'tim' end from tableName;tim

    4、条件判断函数:CASE ****

    语法: CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END
    返回值: T
    说明:如果a为TRUE,则返回b;如果c为TRUE,则返回d;否则返回e

    hive> select case when 1=2 then 'tom' when 2=2 then 'mary' else 'tim' end from tableName;maryhive> select case when 1=1 then 'tom' when 2=2 then 'mary' else 'tim' end from tableName;tom

    字符串函数

    1、字符串长度函数:length

    语法: length(string A)
    返回值: int
    说明:返回字符串A的长度

    hive> select length('abcedfg') from tableName;7

    2、字符串反转函数:reverse

    语法: reverse(string A)
    返回值: string
    说明:返回字符串A的反转结果

    hive> select reverse('abcedfg') from tableName;gfdecba

    3、字符串连接函数:concat ***

    语法: concat(string A, string B…)
    返回值: string
    说明:返回输入字符串连接后的结果,支持任意个输入字符串

    hive> select concat('abc','def’,'gh')from tableName;abcdefgh

    4、带分隔符字符串连接函数:concat_ws ***

    语法: concat_ws(string SEP, string A, string B…)
    返回值: string
    说明:返回输入字符串连接后的结果,SEP表示各个字符串间的分隔符

    hive> select concat_ws(',','abc','def','gh')from tableName;abc,def,gh

    5、字符串截取函数:substr,substring ****

    语法: substr(string A, int start),substring(string A, int start)
    返回值: string
    说明:返回字符串A从start位置到结尾的字符串

    hive> select substr('abcde',3) from tableName;cdehive> select substring('abcde',3) from tableName;cdehive> select substr('abcde',-1) from tableName; (和ORACLE相同)e

    6、字符串截取函数:substr,substring ****

    语法: substr(string A, int start, int len),substring(string A, int start, int len)
    返回值: string
    说明:返回字符串A从start位置开始,长度为len的字符串

    hive> select substr('abcde',3,2) from tableName;cdhive> select substring('abcde',3,2) from tableName;cdhive>select substring('abcde',-2,2) from tableName;de

    7、字符串转大写函数:upper,ucase ****

    语法: upper(string A) ucase(string A)
    返回值: string
    说明:返回字符串A的大写格式

    hive> select upper('abSEd') from tableName;ABSEDhive> select ucase('abSEd') from tableName;ABSED

    8、字符串转小写函数:lower,lcase ***

    语法: lower(string A) lcase(string A)
    返回值: string
    说明:返回字符串A的小写格式

    hive> select lower('abSEd') from tableName;absedhive> select lcase('abSEd') from tableName;absed

    9、去空格函数:trim ***

    语法: trim(string A)
    返回值: string
    说明:去除字符串两边的空格

    hive> select trim(' abc ') from tableName;abc

    10、左边去空格函数:ltrim

    语法: ltrim(string A)
    返回值: string
    说明:去除字符串左边的空格

    hive> select ltrim(' abc ') from tableName;abc

    11、右边去空格函数:rtrim

    语法: rtrim(string A)
    返回值: string
    说明:去除字符串右边的空格

    hive> select rtrim(' abc ') from tableName;abc

    12、正则表达式替换函数:regexp_replace

    语法: regexp_replace(string A, string B, string C)
    返回值: string
    说明:将字符串A中的符合java正则表达式B的部分替换为C。注意,在有些情况下要使用转义字符,类似oracle中的regexp_replace函数。

    hive> select regexp_replace('foobar', 'oo|ar', '') from tableName;fb

    13、正则表达式解析函数:regexp_extract

    语法: regexp_extract(string subject, string pattern, int index)
    返回值: string
    说明:将字符串subject按照pattern正则表达式的规则拆分,返回index指定的字符。

    hive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 1) from tableName;thehive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 2) from tableName;barhive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 0) from tableName;foothebarstrong>注意,在有些情况下要使用转义字符,下面的等号要用双竖线转义,这是java正则表达式的规则。select data_field, regexp_extract(data_field,'.*?bgStart=([^&]+)',1) as aaa, regexp_extract(data_field,'.*?contentLoaded_headStart=([^&]+)',1) as bbb, regexp_extract(data_field,'.*?AppLoad2Req=([^&]+)',1) as ccc from pt_nginx_loginlog_st where pt = '2012-03-26' limit 2;

    14、URL解析函数:parse_url ****

    语法: parse_url(string urlString, string partToExtract [, string keyToExtract])
    返回值: string
    说明:返回URL中指定的部分。partToExtract的有效值为:HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.

    hive> select parse_url('https://www.tableName.com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST')from tableName;www.tableName.comhive> select parse_url('https://www.tableName.com/path1/p.php?k1=v1&k2=v2#Ref1', 'QUERY', 'k1') from tableName;v1

    15、json解析函数:get_json_object ****

    语法: get_json_object(string json_string, string path)
    返回值: string
    说明:解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效,那么返回NULL。

    hive> select get_json_object('{"store":{"fruit":[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}], "bicycle":{"price":19.95,"color":"red"} },"email":"amy@only_for_json_udf_test.net","owner":"amy"}','$.owner') from tableName;

    16、空格字符串函数:space

    语法: space(int n)
    返回值: string
    说明:返回长度为n的字符串

    hive> select space(10) from tableName;hive> select length(space(10)) from tableName;10

    17、重复字符串函数:repeat ***

    语法: repeat(string str, int n)
    返回值: string
    说明:返回重复n次后的str字符串

    hive> select repeat('abc',5) from tableName;abcabcabcabcabc

    18、首字符ascii函数:ascii

    语法: ascii(string str)
    返回值: int
    说明:返回字符串str第一个字符的ascii码

    hive> select ascii('abcde') from tableName;97

    19、左补足函数:lpad

    语法: lpad(string str, int len, string pad)
    返回值: string
    说明:将str进行用pad进行左补足到len位

    hive> select lpad('abc',10,'td') from tableName;tdtdtdtabc

    注意:与GP,ORACLE不同,pad 不能默认

    20、右补足函数:rpad

    语法: rpad(string str, int len, string pad)
    返回值: string
    说明:将str进行用pad进行右补足到len位

    hive> select rpad('abc',10,'td') from tableName;abctdtdtdt

    21、分割字符串函数: split ****

    语法: split(string str, string pat)
    返回值: array
    说明: 按照pat字符串分割str,会返回分割后的字符串数组

    hive> select split('abtcdtef','t') from tableName;["ab","cd","ef"]

    22、集合查找函数: find_in_set

    语法: find_in_set(string str, string strList)
    返回值: int
    说明: 返回str在strlist第一次出现的位置,strlist是用逗号分割的字符串。如果没有找该str字符,则返回0

    hive> select find_in_set('ab','ef,ab,de') from tableName;2hive> select find_in_set('at','ef,ab,de') from tableName;0

    集合统计函数

    1、个数统计函数: count ***

    语法: count(*), count(expr), count(DISTINCT expr[, expr_.])
    返回值: int
    说明: count(*)统计检索出的行的个数,包括NULL值的行;count(expr)返回指定字段的非空值的个数;count(DISTINCT expr[, expr_.])返回指定字段的不同的非空值的个数

    hive> select count(*) from tableName;20hive> select count(distinct t) from tableName;10

    2、总和统计函数: sum ***

    语法: sum(col), sum(DISTINCT col)
    返回值: double
    说明: sum(col)统计结果集中col的相加的结果;sum(DISTINCT col)统计结果中col不同值相加的结果

    hive> select sum(t) from tableName;100hive> select sum(distinct t) from tableName;70

    3、平均值统计函数: avg ***

    语法: avg(col), avg(DISTINCT col)
    返回值: double
    说明: avg(col)统计结果集中col的平均值;avg(DISTINCT col)统计结果中col不同值相加的平均值

    hive> select avg(t) from tableName;50hive> select avg (distinct t) from tableName;30

    4、最小值统计函数: min ***

    语法: min(col)
    返回值: double
    说明: 统计结果集中col字段的最小值

    hive> select min(t) from tableName;20

    5、最大值统计函数: max ***

    语法: maxcol)
    返回值: double
    说明: 统计结果集中col字段的最大值

    hive> select max(t) from tableName;120

    6、非空集合总体变量函数: var_pop

    语法: var_pop(col)
    返回值: double
    说明: 统计结果集中col非空集合的总体变量(忽略null)

    7、非空集合样本变量函数: var_samp

    语法: var_samp (col)
    返回值: double
    说明: 统计结果集中col非空集合的样本变量(忽略null)

    8、总体标准偏离函数: stddev_pop

    语法: stddev_pop(col)
    返回值: double
    说明: 该函数计算总体标准偏离,并返回总体变量的平方根,其返回值与VAR_POP函数的平方根相同

    9、样本标准偏离函数: stddev_samp

    语法: stddev_samp (col)
    返回值: double
    说明: 该函数计算样本标准偏离

    10.中位数函数: percentile

    语法: percentile(BIGINT col, p)
    返回值: double
    说明: 求准确的第pth个百分位数,p必须介于0和1之间,但是col字段目前只支持整数,不支持浮点数类型

    11、中位数函数: percentile

    语法: percentile(BIGINT col, array(p1 [, p2]…))
    返回值: array
    说明: 功能和上述类似,之后后面可以输入多个百分位数,返回类型也为array,其中为对应的百分位数。

    select percentile(score,<0.2,0.4>) from tableName; 取0.2,0.4位置的数据

    12、近似中位数函数: percentile_approx

    语法: percentile_approx(DOUBLE col, p [, B])
    返回值: double
    说明: 求近似的第pth个百分位数,p必须介于0和1之间,返回类型为double,但是col字段支持浮点类型。参数B控制内存消耗的近似精度,B越大,结果的准确度越高。默认为10,000。当col字段中的distinct值的个数小于B时,结果为准确的百分位数

    13、近似中位数函数: percentile_approx

    语法: percentile_approx(DOUBLE col, array(p1 [, p2]…) [, B])
    返回值: array
    说明: 功能和上述类似,之后后面可以输入多个百分位数,返回类型也为array,其中为对应的百分位数。

    14、直方图: histogram_numeric

    语法: histogram_numeric(col, b)
    返回值: array
    说明: 以b为基准计算col的直方图信息。

    hive> select histogram_numeric(100,5) from tableName;[{"x":100.0,"y":1.0}]

    复合类型构建操作

    1、Map类型构建: map ****

    语法: map (key1, value1, key2, value2, …)
    说明:根据输入的key和value对构建map类型

    hive> Create table mapTable as select map('100','tom','200','mary') as t from tableName;hive> describe mapTable;t maphive> select t from tableName;{"100":"tom","200":"mary"}

    2、Struct类型构建: struct

    语法: struct(val1, val2, val3, …)
    说明:根据输入的参数构建结构体struct类型

    hive> create table struct_table as select struct('tom','mary','tim') as t from tableName;hive> describe struct_table;t structhive> select t from tableName;{"col1":"tom","col2":"mary","col3":"tim"}

    3、array类型构建: array

    语法: array(val1, val2, …)
    说明:根据输入的参数构建数组array类型

    hive> create table arr_table as select array("tom","mary","tim") as t from tableName;hive> describe tableName;t arrayhive> select t from tableName;["tom","mary","tim"]

    复杂类型访问操作 ****

    1、array类型访问: A[n]

    语法: A[n]
    操作类型: A为array类型,n为int类型
    说明:返回数组A中的第n个变量值。数组的起始下标为0。比如,A是个值为['foo', 'bar']的数组类型,那么A[0]将返回'foo',而A[1]将返回'bar'

    hive> create table arr_table2 as select array("tom","mary","tim") as t from tableName;hive> select t[0],t[1] from arr_table2;tom mary tim

    2、map类型访问: M[key]

    语法: M[key]
    操作类型: M为map类型,key为map中的key值
    说明:返回map类型M中,key值为指定值的value值。比如,M是值为{'f' -> 'foo', 'b' -> 'bar', 'all' -> 'foobar'}的map类型,那么M['all']将会返回'foobar'

    hive> Create table map_table2 as select map('100','tom','200','mary') as t from tableName;hive> select t['200'],t['100'] from map_table2;mary tom

    3、struct类型访问: S.x

    语法: S.x
    操作类型: S为struct类型
    说明:返回结构体S中的x字段。比如,对于结构体struct foobar {int foo, int bar},foobar.foo返回结构体中的foo字段

    hive> create table str_table2 as select struct('tom','mary','tim') as t from tableName;hive> describe tableName;t structhive> select t.col1,t.col3 from str_table2;tom tim

    复杂类型长度统计函数 ****

    1.Map类型长度函数: size(Map)

    语法: size(Map)
    返回值: int
    说明: 返回map类型的长度

    hive> select size(t) from map_table2;2

    2.array类型长度函数: size(Array)

    语法: size(Array)
    返回值: int
    说明: 返回array类型的长度

    hive> select size(t) from arr_table2;4

    3.类型转换函数 ***

    类型转换函数: cast
    语法: cast(expr as )
    返回值: Expected "=" to follow "type"
    说明: 返回转换后的数据类型

    hive> select cast('1' as bigint) from tableName;1
    展开全文
  • 先来看一个实际例子,我们创建一个新表,表只有一个主键 id 一个 length 字段,其中 length 字段设置为 int(5) 。#是不是 length 字段只能存储长度不超过 5 的数字呢,我们来插入一条数据试试。我们插入一条较大...
  • tinyint(m)小整数,其相对于int范围较小,可用来保存一些小范围的整数数值分为有符号无符号类型,范围如下signed: -128 -- 127unsigned: 0 -- 255注意:tinyint是占一个字节的,其中的m并不表示m个字节或m个...
  • hive 有一张待处理的分区表,存储的方式是parquet,处理之后的目标表是一张非分区的外部表,并且分隔方式为 “,”。 问题 部分记录的 int 类型字段 出现 null 情况 表结构 原表结构 CREATE EXTERNAL TABLE adm_v1....
  • Hive 的官网:http://hive.apache.org/Hive versions 1.2 onward require Java ...Hive 简介Hive 是基于 Hadoop 的一个【数据仓库工具】,可以将结构化的数据文件映射为一张 hive 数据库表,并提供简单的 sql 查询...
  • hive中,两个表进行join,on条件两表的字段含义一致(都是整数),但数据类型不一致:string和bigint。join后发现如果数值过大则匹配的记录会出现问题:一条记录会匹配出多条记录(explain可以发现都转换为double...
  • 使用 CAST 函数将 STRING 转为 BIGINT: ...补充知识:hive中bigint和varchar字段做关联,关联数据错误的解决方法 把bigint和varchar都隐式转换成String类型的就可以关联出正确的结果了 cast(t1.PARTY_NUM as str
  • 数据类型差异(BigInt和Int

    千次阅读 2018-08-20 10:31:00
    BigInt: 数据范围:-2^ 63~2^ 63-1 存储数据长度8个字节 Int: 数据范围:-2^ 31~2^ 31 -1 存储数据长度4个字节 转载于:https://www.cnblogs.com/juzi001/p/9504153.html
  • bigint和varchar都隐式转换成String类型的就可以关联出正确的结果了 cast(t1.PARTY_NUM as string)=cast(t12.customerId as string)
  • hive中将bigint(13)转化为日期类型

    千次阅读 2020-01-30 19:26:22
    select date_format(FROM_UNIXTIME(1571709884000/1000)) 说明:13位的整型除以1000等于时间戳timestamp 将时间戳类型转化为日期类型使用from_unixtime ... 如果要将日期类型转化为时间戳类型使用 un...
  • int 和bigint差别有多大?

    千次阅读 2018-09-05 15:17:00
    请问在mysql中int和bigint差别有多大?在什么情况下需要用到bigintbigint带符号的范围是-9223372036854775808到9223372036854775807。无符号的范围是0到18446744073709551615。 int普通大小的整数。带符号的...
  • 使用整数数据的精确数字数据类型。 bigint 从 -2^63 (-9223372036854775808) 到 2^63-1 ... bigint已经有长度了,在mysql建表的length,只是用于显示的位数 int 从 -2^31 (-2,147,483,648) 到 2^31 –
  • 首先,我们先了解13位时间戳,13位的时间戳其实数据的时间单位就是ms。基于此我们来分析问题原因实现方式。...那么就此我们开始分析我们该如何实现,首先容易想到的就是hive中默认的转换函数FROM_UNIXTIME(unix
  • 1.基本数据类型Hive 支持关系型数据大多数基本数据类型2.集合数据类型Hive 三种复杂数据类型 ARRAY、 MAP STRUCT。 ARRAY MAP 与 Java 的Array Map 类似, 而 STRUCT 与 C 语言的 Struct 类似, 它...
  • select cast('' as bigint) -- NULL select cast(null as bigint) -- NULL select cast('123' as bigint) --123 select cast('123vc' as bigint) -- NULL select cast('ax123' as bigint) -- NULL end
  • hive中将string数据转为bigint

    万次阅读 2018-09-19 23:38:43
    使用 CAST 函数将 STRING 转为 BIGINT: SELECT CAST('00321' AS BIGINT) FROM table; As a BIGINT it will show on the screen and in delimited text ...参考:Hive - Converting a string to bigint...
  • hive:字符串转int

    万次阅读 2019-11-04 19:46:31
    select start_time from os.os_cater_t_caf_info; select cast(start_time AS BIGINT) aa from os.os_canter_t_calof_info;
  • 今天写了一段SQL,代码逻辑没有问题,但是结果老是跟实际不符合。于是用explain查了一下执行计划也没有什么问题。于是只能一步一步临时表的查问题。...下面是hive支持的隐式类型转换图表 hive测试结果: ...
  •  mysql数据由于自增的bigint 主键,会插入更快,因为能持续往文件末尾插入嘛,因此需要这个东西。  然后呢,服务端有专门生产id的接口,但是数据中心批量插入,肯定会拉暴他们,不让我们一起玩,只能自己玩。  ...
  • hive数值超出了int大小出现负数

    千次阅读 2019-06-12 16:40:31
    今天统计SQL结果出现负数,代码查了一遍,重新跑了代码片段都是正的,找了好久看了结果都是10亿多了,然后看到定义字段为int类型
  • Hive数据类型使用注意事项详解

    万次阅读 多人点赞 2018-05-11 00:56:35
    其实Hive支持关系型数据库的大多数基本数据类型,且同时支持关系型数据库少见的3种集合数类型(STRUCT,MAP,ARRAY)。然而学习技术最好的方式之一就是去查看官方文档。 Hive关于数据类型官网地址:Hive官网关于...
  • 杨大哥沟通后,一直没有解决这个问题的方法,后来他说了一番话:你连接Hive也是为了操作表,你直接读取HDFS的文件路径可以转成DataFream然后进行SparkSql操作的啊。所以就转换了思路,不再去纠结如何连接Hive,...
  • 关于hive学习笔记系列《hive学习笔记》系列保持了作者一贯的风格,即通过实战学习了解;作为一个构建在Hadoop上的数据仓库框架,hive被用来进行数据提取、转化、加载,这是一种可以存储、查...
  • 有一个需求是要在一个云监控的状态值存储多个状态(包括可同时存在的各种异常、警告状态)使用了位运算机制在一个int存储。 现在监控日志数据量非常大(亿级别)需要对数据按每小时、每天进行聚合,供在线...
  • hive 有一张待处理的分区表,存储的方式是parquet,处理之后的目标表是一张非分区的外部表,并且分隔方式为 “,”。 问题 部分记录的 int 类型字段 出现 null 情况 表结构 原表结构 CREATE EXTERNAL TABLE adm_v1...
  • HIVE 数据类型转换

    千次阅读 2017-11-07 14:02:15
    Hive内置数据类型由基本数据类型复杂数据类型组成。今天的话题是Hive数据类型之间的转换。同Java语言一样,Hive也包括 隐式转换(implicit conversions)显式转换(explicitly conversions)。  Hive在需要的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 8,898
精华内容 3,559
关键字:

hive中bigint和int