精华内容
下载资源
问答
  • hive-sql参数调优及资源分配
    千次阅读
    2019-05-16 16:17:00

    参考:https://www.cnblogs.com/ITtangtang/p/7683028.html

    转载于:https://www.cnblogs.com/lulu638/p/10876302.html

    更多相关内容
  • HIVE-SQL开发规范.docx

    2020-03-12 20:43:37
    hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加...
  • flink-sql-connector-hive-3.1.2_2.11-1.11.6.jar 已经解决guava冲突亲测可以
  • hive-testbench-hive14.zip 大数据TPCDS自动测试脚本
  • 11-Hive-SQL语法

    2020-02-17 19:46:13
    HiveSQL思维导图,便捷整理思路,HiveBeeline、HiveDDL、HiveDML、Hive分区、HiveSerDe
  • Hive-sqlsql的区别是什么?

    千次阅读 2021-02-04 11:33:57
    区别:1、Hive-sql不支持等值连接,而sql支持;...总体来说hiveSQL与SQL基本上一致,最初的设计目的就是为了让会SQL但是不会编程MapReduce的人也能使用Hadoop进行数据处理。1、Hive不支持等值连接不支持等...

    区别:1、Hive-sql不支持等值连接,而sql支持;2、Hive-sql不支持“Insert into 表 Values()”、UPDATA、DELETE操作,而sql支持;3、Hive-sql不支持事务,而sql支持。

    3d3625d09b4d107e415feead231c4f79.png

    总体来说hiveSQL与SQL基本上一致,最初的设计目的就是为了让会SQL但是不会编程MapReduce的人也能使用Hadoop进行数据处理。

    1、Hive不支持等值连接

    不支持等值连接,一般使用left join、right join 或者inner join替代。

    例如:

    SQL中内关联可以这样写: select * from a , b where a.key = b.key

    Hive中应该这样写: select * from a join b on a.key = b.key

    hive中不能使用省去join的写法。

    2、分号字符

    分号是sql语句的结束符号,在hive中也是,但是hive对分号的识别没有那么智能,有时需要进行转义 “;” --> “\073”

    3、NULL

    sql中null代表空值,但是在Hive中,String类型的字段若是空(empty)字符串,即长度为0,那么对它 is null 判断结果为False

    4、Hive不支持将数据插入现有的表或分区中

    Hive仅支持覆盖重写整个表。insert overwrite 表 (重写覆盖)

    5、Hive不支持 Insert into 表 Values(), UPDATA , DELETE 操作

    insert into 就是往表或者分区中追加数据。

    6、Hive支持嵌入mapreduce程序,来处理复杂的逻辑

    暂时没有例子可以提供。

    7、Hive支持将转换后的数据直接写入不同的表,还能写入分区,hdfs和本地目录

    避免多次扫描输入表的开销。

    8、HQL不支持行级别的增、改、删,所有数据在加载时就已经确定,不可更改。

    更多编程相关知识,请访问:编程入门!!

    展开全文
  • Hive-sqlSQL的区别

    万次阅读 2017-11-01 12:09:35
    备注:Hive没有delete和update Hive-sql和关系型数据库sql一样。差别在于: 可能新版本有

    总体一致:

    Hive-sql与SQL基本上一样,因为当初的设计目的,就是让会SQL不会编程MapReduce的也能使用Hadoop进行处理数据。

    因此,大胆使用SQL的,如果遇到不对的,再查。


    区别:

    Hive没有delete和update。可能新版本有


    ------以下转载---http://blog.csdn.net/u010385646/article/details/53167707--------


    1、Hive不支持等值连接 
    •SQL中对两表内联可以写成:
    •select * from dual a,dual b where a.key = b.key;
    •Hive中应为
    •select * from dual a join dual b on a.key = b.key; 
    而不是传统的格式:
    SELECT t1.a1 as c1, t2.b1 as c2FROM t1, t2
    WHERE t1.a2 = t2.b2

    2、分号字符
    •分号是SQL语句结束标记,在HiveQL中也是,但是在HiveQL中,对分号的识别没有那么智慧,例如:
    •select concat(key,concat(';',key)) from dual;
    •但HiveQL在解析语句时提示:
            FAILED: Parse Error: line 0:-1 mismatched input '<EOF>' expecting ) in function specification
    •解决的办法是,使用分号的八进制的ASCII码进行转义,那么上述语句应写成:
    •select concat(key,concat('\073',key)) from dual;

    3、IS [NOT] NULL
    •SQL中null代表空值, 值得警惕的是, 在HiveQL中String类型的字段若是空(empty)字符串, 即长度为0, 那么对它进行IS NULL的判断结果是False.

    4、Hive不支持将数据插入现有的表或分区中,
    仅支持覆盖重写整个表,示例如下:

    1. INSERT OVERWRITE TABLE t1  
    2. SELECT * FROM t2;
    复制代码


    5、hive不支持INSERT INTO 表 Values(), UPDATE, DELETE操作
        这样的话,就不要很复杂的锁机制来读写数据。
        INSERT INTO syntax is only available starting in version 0.8。INSERT INTO就是在表或分区中追加数据。

    6、hive支持嵌入mapreduce程序,来处理复杂的逻辑
    如:
    1. FROM (  
    2. MAP doctext USING 'python wc_mapper.py' AS (word, cnt)  
    3. FROM docs  
    4. CLUSTER BY word  
    5. ) a  
    6. REDUCE word, cnt USING 'python wc_reduce.py';  
    复制代码


    --doctext: 是输入
    --word, cnt: 是map程序的输出

    --CLUSTER BY: 将wordhash后,又作为reduce程序的输入



    并且map程序、reduce程序可以单独使用,如:
    1. FROM (  
    2. FROM session_table  
    3. SELECT sessionid, tstamp, data  
    4. DISTRIBUTE BY sessionid SORT BY tstamp  
    5. ) a  
    6. REDUCE sessionid, tstamp, data USING 'session_reducer.sh';  
    复制代码


    -DISTRIBUTE BY: 用于给reduce程序分配行数据

    7、hive支持将转换后的数据直接写入不同的表,还能写入分区、hdfs和本地目录
    这样能免除多次扫描输入表的开销。
    1. FROM t1  
    2.   
    3. INSERT OVERWRITE TABLE t2  
    4. SELECT t3.c2, count(1)  
    5. FROM t3  
    6. WHERE t3.c1 <= 20  
    7. GROUP BY t3.c2  
    8.   
    9. INSERT OVERWRITE DIRECTORY '/output_dir'  
    10. SELECT t3.c2, avg(t3.c1)  
    11. FROM t3  
    12. WHERE t3.c1 > 20 AND t3.c1 <= 30  
    13. GROUP BY t3.c2  
    14.   
    15. INSERT OVERWRITE LOCAL DIRECTORY '/home/dir'  
    16. SELECT t3.c2, sum(t3.c1)  
    17. FROM t3  
    18. WHERE t3.c1 > 30  
    19. GROUP BY t3.c2;  
    复制代码



    展开全文
  • hive-1.1.0-cdh5.14.0.tar.gz

    2019-11-19 20:37:52
    hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的...
  • HIVE-SQL操作语句

    2013-01-06 15:55:16
    hadoop数据库中的hive技术,支持一般SQL语句操作数据库,但是也有部分不同,文档中总结了常用的一些操作指令。
  • Hive-SQLSQL的区别

    千次阅读 2021-10-30 14:54:44
    3、NULL(sql中null代表空值,但是在Hive中,String类型的字段若是空(empty)字符串,即长度为0,那么对它 is null 判断结果为False) 4、Hive不支持将数据插入现有的表或分区中(Hive仅支持覆盖重写整个表,insert...

    1、Hive不支持等值连接(hive中不能使用省去join的写法)
    2、分号字符(hive对分号的识别没有那么智能,有时需要进行转义 “;” --> “\073”)
    3、NULL(sql中null代表空值,但是在Hive中,String类型的字段若是空(empty)字符串,即长度为0,那么对它 is null 判断结果为False)
    4、Hive不支持将数据插入现有的表或分区中(Hive仅支持覆盖重写整个表,insert overwrite 表 (重写覆盖))
    5、Hive不支持 Insert into 表 Values(), UPDATA , DELETE 操作(insert into 就是往表或者分区中追加数据。只能追加数据)
    6、Hive支持嵌入mapreduce程序,来处理复杂的逻辑
    7、Hive支持将转换后的数据直接写入不同的表,还能写入分区,hdfs和本地目录

    8、HiveQL与SQL区别 - 天~宇~翱~翔 - 博客园转自:http://www.aboutyun.com/thread-7327-1-1.html1、Hive不支持等值连接 SQL中对两表内联可以写成:select * from dual a,dualhttps://www.cnblogs.com/sunfie/p/4650879.html

    ---------------------------------------------------------------------------------------------

    8、

    -- hive 创建表
    CREATE TABLE u_data (
    rating INT,
    unixtime STRING)

    -- sql 创建表
    CREATE TABLE u_data (
    rating INT,
    unixtime VARCHAR(200))

    -- 总结:STRING 与 VARCHAR(200) 的不同

    展开全文
  • hive-sql截取汉字、字母和数字等

    万次阅读 2019-04-22 09:43:43
    前几天新接到需求,要求截取字段里的汉字,咋一看挺难,截取字母、数字、特殊字符...hive-sql里的截取汉字代码: regexp_extract(label,'([\\u4E00-\\u9FA5]+)',1) windows下的截取汉字 regexp_extract(label,'([\\...
  • apache-hive-2.1.1-bin.tar.gz

    2018-04-24 11:39:20
    hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
  • hive 2.3.3 的jdbc jar包 和 squirrel-sql-3.8.1-standard.jar 包
  • Presto-SQLHive-SQL区别与联系

    千次阅读 2018-10-24 23:43:15
    Presto使用ANSI SQL语法和语义,而Hive使用类似SQL的语言,称为HiveQL,它在MySQL(它本身与ANSI SQL有很多不同)之后进行了松散的建模。     二、使用下标来访问数组的动态索引而不是udf  SQL中的下标运算符...
  • 第一种,在bash中直接通过hive -e...第二种,在bash中直接通过hive -f命令,执行文件中一条或者多条sql语句。并用 > 输出流把执行结果输出到制定文件 hive -f /tmp/exer.sql > /tmp/output_3.txt exer.sql
  • hive -e ,hive -f 用法

    2021-05-28 10:58:06
    $hive -e “sql语句” > 1.log 发现执行后会把结果写入1.log中,包括count(*)的结果 $hive -f 某个文件(里面是sql语句) > 2.log 发现执行后会把结果写入2.log中,包括count(*)的结果 $hive -f 某个文件...
  • Hive-sql拼接字段

    千次阅读 2019-11-27 15:40:19
    将字段用collect_set()转化为数组,再用concat_ws()拼接 例子: concat_ws(’,’,collect_set(a.cuid)) as cuid
  • hive-sql中平方和开根号函数

    千次阅读 2020-10-13 08:30:11
    power(m,n)表示m的n次方 POWER(2,3) 返回 2 的 ... 语法 SQUARE ( float_expression ) square(3)表示3的平方 --hive-sql中没有此函数 SQRT 返回给定表达式的平方根。 语法 SQRT ( float_expression ) sqrt(9) 表示根号9
  • hive-sql语句对in和not in的替换

    千次阅读 2019-06-18 16:10:54
    对于hive-sql里的子查询不支持not in或in 的替换 假设要求字段id在a表,而不在b表 not in 示例 select id from a where id not in (select id from b); hive-sql替换示例 select id from a leff outer join b on b....
  • Hive-SQL获取1~N连续数字序列列表(不用循环,用笛卡尔积)
  • Hive-Sql内实现日期变量

    千次阅读 2019-06-19 16:01:14
    目前的工作需要在公司平台上通过hive导出数据,定时任务的权限没有开放给我,所以只能每天手动导,手动导数时又要天天手工改日期,很麻烦,所以想要where子句能够每天自动有对应的日期。以上是前提,有太多槽点,请...
  • Hive-sql对IFNULL()函数的替换

    千次阅读 2019-09-19 17:04:06
    注:mysql里的IFNULL函数可以用hive里的if和coalesce函数替换 mysql : IFNULL(column,0) hive: if(column is null,0,column) coalesce(column,0) hive里的函数: shiftleft(TINYINT|SMALLINT|INT a, INT b) shift...
  • 一、ceil:向上取整 ceil(DOUBLE d): d是DOUBLE类型的,返回>...spark-hive> select ceil(123.58); _c0 124 Time taken: 0.093 s spark-hive> select ceil(123.28); _c0 124 Time taken: 0.109 s 二、flo...
  • Hive-SQL实现获取本月第一天

    万次阅读 2019-08-10 17:04:37
    select trunc(current_date(),'MM')
  • hive -e和hive -f的用法

    千次阅读 2020-07-28 20:51:36
    “-e”不进入hive的交互窗口执行sql语句 bin/hive -e "select id from student;" hive -f “-f”执行脚本中sql语句 (1)在/export/servers/datas目录下创建hive.sql文件 touch hive.sql 文件中写入正确的sql语句 ...
  • 有一张Hive表tb_order, 其中(order_id 订单ID, city 城市名称, dt日期分区例如2020-05-01)三个可用字段。 然后我们要统计一下近31天的Top10地区的订单。 简单实现如下: select dt, city from ( select city, ...
  • hive-sql查询结果保留两位小数

    万次阅读 多人点赞 2019-04-22 09:58:29
    需求要求保留4位小数,查博客大多是sql用法,但是hive-sqlsql还是有区别的,不知道大家发现没有,hive里有个自动转整的功能,示例 sql里 SELECT 1.0; 结果是1.0 hive-sql里 SELECT 1.0; 结果是1 hive-sql里...
  • 有时需要在命令行中直接执行hive sql语句,希望不进入hive模式执行,这时候就可以使用hive -e 或者 hive -f 来实现 1. hive -e 和 hive -f 2. beeline -f ,beeline使用 beeline -u "jdbc:hive2://localhost:...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 168,141
精华内容 67,256
关键字:

hive-sql