精华内容
下载资源
问答
我要提问
  • hive-sql参数调优及资源分配
    千次阅读
    2019-05-16 16:17:00

    参考：https://www.cnblogs.com/ITtangtang/p/7683028.html

    转载于:https://www.cnblogs.com/lulu638/p/10876302.html

    更多相关内容

  • HIVE-SQL开发规范.docx

     2020-03-12 20:43:37
    hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加...
    收起

  • flink-sql-connector-hive-3.1.2_2.11-1.11.6.jar 已经解决guava冲突亲测可以

     2022-03-19 22:44:11
    flink-sql-connector-hive-3.1.2_2.11-1.11.6.jar 已经解决guava冲突亲测可以
    收起

  • hive-testbench-hive14.zip大数据TPCDS-99SQL自动测试脚本

     2021-02-25 11:27:33
    hive-testbench-hive14.zip 大数据TPCDS自动测试脚本
    收起
    tpcds

  • 11-Hive-SQL语法

     2020-02-17 19:46:13
    HiveSQL思维导图，便捷整理思路，HiveBeeline、HiveDDL、HiveDML、Hive分区、HiveSerDe
    收起

  • Hive-sql和sql的区别是什么？

     千次阅读 2021-02-04 11:33:57
    区别：1、Hive-sql不支持等值连接，而sql支持；...总体来说hiveSQL与SQL基本上一致，最初的设计目的就是为了让会SQL但是不会编程MapReduce的人也能使用Hadoop进行数据处理。1、Hive不支持等值连接不支持等...

    区别：1、Hive-sql不支持等值连接，而sql支持；2、Hive-sql不支持“Insert into 表 Values()”、UPDATA、DELETE操作，而sql支持；3、Hive-sql不支持事务，而sql支持。

    3d3625d09b4d107e415feead231c4f79.png

    总体来说hiveSQL与SQL基本上一致，最初的设计目的就是为了让会SQL但是不会编程MapReduce的人也能使用Hadoop进行数据处理。

    1、Hive不支持等值连接

    不支持等值连接，一般使用left join、right join 或者inner join替代。

    例如：

    SQL中内关联可以这样写： select * from a , b where a.key = b.key

    Hive中应该这样写： select * from a join b on a.key = b.key

    hive中不能使用省去join的写法。

    2、分号字符

    分号是sql语句的结束符号，在hive中也是，但是hive对分号的识别没有那么智能，有时需要进行转义 “；” --> “\073”

    3、NULL

    sql中null代表空值，但是在Hive中，String类型的字段若是空(empty)字符串，即长度为0，那么对它 is null 判断结果为False

    4、Hive不支持将数据插入现有的表或分区中

    Hive仅支持覆盖重写整个表。insert overwrite 表 (重写覆盖)

    5、Hive不支持 Insert into 表 Values()， UPDATA , DELETE 操作

    insert into 就是往表或者分区中追加数据。

    6、Hive支持嵌入mapreduce程序，来处理复杂的逻辑

    暂时没有例子可以提供。

    7、Hive支持将转换后的数据直接写入不同的表，还能写入分区，hdfs和本地目录

    避免多次扫描输入表的开销。

    8、HQL不支持行级别的增、改、删，所有数据在加载时就已经确定，不可更改。

    更多编程相关知识，请访问：编程入门！！

    收起
    展开全文

  • Hive-sql与SQL的区别

     万次阅读 2017-11-01 12:09:35
    备注：Hive没有delete和update Hive-sql和关系型数据库sql一样。差别在于： 可能新版本有

    总体一致：

    Hive-sql与SQL基本上一样，因为当初的设计目的，就是让会SQL不会编程MapReduce的也能使用Hadoop进行处理数据。

    因此，大胆使用SQL的，如果遇到不对的，再查。


    区别：

    Hive没有delete和update。可能新版本有


    ------以下转载---http://blog.csdn.net/u010385646/article/details/53167707--------


    1、Hive不支持等值连接 
    •SQL中对两表内联可以写成：
    •select * from dual a,dual b where a.key = b.key;
    •Hive中应为
    •select * from dual a join dual b on a.key = b.key; 
    而不是传统的格式：
    SELECT t1.a1 as c1, t2.b1 as c2FROM t1, t2
    WHERE t1.a2 = t2.b2

    2、分号字符
    •分号是SQL语句结束标记，在HiveQL中也是，但是在HiveQL中，对分号的识别没有那么智慧，例如：
    •select concat(key,concat(';',key)) from dual;
    •但HiveQL在解析语句时提示：
            FAILED: Parse Error: line 0:-1 mismatched input '<EOF>' expecting ) in function specification
    •解决的办法是，使用分号的八进制的ASCII码进行转义，那么上述语句应写成：
    •select concat(key,concat('\073',key)) from dual;

    3、IS [NOT] NULL
    •SQL中null代表空值, 值得警惕的是, 在HiveQL中String类型的字段若是空(empty)字符串, 即长度为0, 那么对它进行IS NULL的判断结果是False.

    4、Hive不支持将数据插入现有的表或分区中，
    仅支持覆盖重写整个表，示例如下：

    1. INSERT OVERWRITE TABLE t1  
    2. SELECT * FROM t2;
    复制代码


    5、hive不支持INSERT INTO 表 Values（）, UPDATE, DELETE操作
        这样的话，就不要很复杂的锁机制来读写数据。
        INSERT INTO syntax is only available starting in version 0.8。INSERT INTO就是在表或分区中追加数据。

    6、hive支持嵌入mapreduce程序，来处理复杂的逻辑
    如：
    1. FROM (  
    2. MAP doctext USING 'python wc_mapper.py' AS (word, cnt)  
    3. FROM docs  
    4. CLUSTER BY word  
    5. ) a  
    6. REDUCE word, cnt USING 'python wc_reduce.py';  
    复制代码


    --doctext: 是输入
    --word, cnt: 是map程序的输出

    --CLUSTER BY: 将wordhash后，又作为reduce程序的输入



    并且map程序、reduce程序可以单独使用，如：
    1. FROM (  
    2. FROM session_table  
    3. SELECT sessionid, tstamp, data  
    4. DISTRIBUTE BY sessionid SORT BY tstamp  
    5. ) a  
    6. REDUCE sessionid, tstamp, data USING 'session_reducer.sh';  
    复制代码


    -DISTRIBUTE BY: 用于给reduce程序分配行数据

    7、hive支持将转换后的数据直接写入不同的表，还能写入分区、hdfs和本地目录
    这样能免除多次扫描输入表的开销。
    1. FROM t1  
    2.   
    3. INSERT OVERWRITE TABLE t2  
    4. SELECT t3.c2, count(1)  
    5. FROM t3  
    6. WHERE t3.c1 <= 20  
    7. GROUP BY t3.c2  
    8.   
    9. INSERT OVERWRITE DIRECTORY '/output_dir'  
    10. SELECT t3.c2, avg(t3.c1)  
    11. FROM t3  
    12. WHERE t3.c1 > 20 AND t3.c1 <= 30  
    13. GROUP BY t3.c2  
    14.   
    15. INSERT OVERWRITE LOCAL DIRECTORY '/home/dir'  
    16. SELECT t3.c2, sum(t3.c1)  
    17. FROM t3  
    18. WHERE t3.c1 > 30  
    19. GROUP BY t3.c2;  
    复制代码



    收起
    展开全文

  • hive-1.1.0-cdh5.14.0.tar.gz

     2019-11-19 20:37:52
    hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的...
    收起

  • HIVE-SQL操作语句

     2013-01-06 15:55:16
    hadoop数据库中的hive技术，支持一般SQL语句操作数据库，但是也有部分不同，文档中总结了常用的一些操作指令。
    收起

  • Hive-SQL与SQL的区别

     千次阅读 2021-10-30 14:54:44
    3、NULL（sql中null代表空值，但是在Hive中，String类型的字段若是空（empty）字符串，即长度为0，那么对它 is null 判断结果为False） 4、Hive不支持将数据插入现有的表或分区中（Hive仅支持覆盖重写整个表，insert...

    1、Hive不支持等值连接（hive中不能使用省去join的写法）
    2、分号字符（hive对分号的识别没有那么智能，有时需要进行转义 “；” --> “\073”）
    3、NULL（sql中null代表空值，但是在Hive中，String类型的字段若是空（empty）字符串，即长度为0，那么对它 is null 判断结果为False）
    4、Hive不支持将数据插入现有的表或分区中（Hive仅支持覆盖重写整个表，insert overwrite 表 （重写覆盖））
    5、Hive不支持 Insert into 表 Values()， UPDATA , DELETE 操作（insert into 就是往表或者分区中追加数据。只能追加数据）
    6、Hive支持嵌入mapreduce程序，来处理复杂的逻辑
    7、Hive支持将转换后的数据直接写入不同的表，还能写入分区，hdfs和本地目录

    8、HiveQL与SQL区别 - 天~宇~翱~翔 - 博客园转自：http://www.aboutyun.com/thread-7327-1-1.html1、Hive不支持等值连接 SQL中对两表内联可以写成：select * from dual a,dualhttps://www.cnblogs.com/sunfie/p/4650879.html

    ---------------------------------------------------------------------------------------------

    8、

    -- hive 创建表
    CREATE TABLE u_data (
    rating INT,
    unixtime STRING)

    -- sql 创建表
    CREATE TABLE u_data (
    rating INT,
    unixtime VARCHAR(200))

    -- 总结：STRING 与 VARCHAR(200) 的不同

    收起
    展开全文
    hadoop

  • hive-sql截取汉字、字母和数字等

     万次阅读 2019-04-22 09:43:43
    前几天新接到需求，要求截取字段里的汉字，咋一看挺难，截取字母、数字、特殊字符...hive-sql里的截取汉字代码： regexp_extract(label,'([\\u4E00-\\u9FA5]+)',1) windows下的截取汉字 regexp_extract(label,'([\\...
    收起

  • apache-hive-2.1.1-bin.tar.gz

     2018-04-24 11:39:20
    hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
    收起

  • hive 2.3.3 的jdbc 和 squirrel-sql-3.8.1-standard.jar 包

     2018-06-21 09:27:05
    hive 2.3.3 的jdbc jar包 和 squirrel-sql-3.8.1-standard.jar 包
    收起

  • Presto-SQL与Hive-SQL区别与联系

     千次阅读 2018-10-24 23:43:15
    Presto使用ANSI SQL语法和语义，而Hive使用类似SQL的语言，称为HiveQL，它在MySQL（它本身与ANSI SQL有很多不同）之后进行了松散的建模。     二、使用下标来访问数组的动态索引而不是udf  SQL中的下标运算符...
    收起
    Presto

  • HIVE-执行命令的几种方式 和 hive -e 和hive -f的使用

     千次阅读 2020-10-22 11:32:34
    第一种，在bash中直接通过hive -e...第二种，在bash中直接通过hive -f命令，执行文件中一条或者多条sql语句。并用 > 输出流把执行结果输出到制定文件 hive -f /tmp/exer.sql > /tmp/output_3.txt exer.sql 文
    收起
    shell

  • hive -e ,hive -f 用法

     2021-05-28 10:58:06
    $hive -e “sql语句” > 1.log 发现执行后会把结果写入1.log中，包括count(*)的结果 $hive -f 某个文件（里面是sql语句） > 2.log 发现执行后会把结果写入2.log中，包括count(*)的结果 $hive -f 某个文件...
    收起

  • Hive-sql拼接字段

     千次阅读 2019-11-27 15:40:19
    将字段用collect_set()转化为数组，再用concat_ws()拼接 例子： concat_ws(’,’,collect_set(a.cuid)) as cuid
    收起

  • hive-sql中平方和开根号函数

     千次阅读 2020-10-13 08:30:11
    power(m,n)表示m的n次方 POWER(2,3) 返回 2 的 ... 语法 SQUARE ( float_expression ) square(3)表示3的平方 --hive-sql中没有此函数 SQRT 返回给定表达式的平方根。 语法 SQRT ( float_expression ) sqrt(9) 表示根号9
    收起
    mysql

  • hive-sql语句对in和not in的替换

     千次阅读 2019-06-18 16:10:54
    对于hive-sql里的子查询不支持not in或in 的替换 假设要求字段id在a表,而不在b表 not in 示例 select id from a where id not in (select id from b); hive-sql替换示例 select id from a leff outer join b on b....
    收起

  • Hive-SQL获取1~N连续数字序列列表（不用循环，用笛卡尔积）

     千次阅读 2020-08-24 09:52:22
    Hive-SQL获取1~N连续数字序列列表（不用循环，用笛卡尔积）
    收起
    mysql

  • Hive-Sql内实现日期变量

     千次阅读 2019-06-19 16:01:14
    目前的工作需要在公司平台上通过hive导出数据，定时任务的权限没有开放给我，所以只能每天手动导，手动导数时又要天天手工改日期，很麻烦，所以想要where子句能够每天自动有对应的日期。以上是前提，有太多槽点，请...
    收起

  • Hive-sql对IFNULL()函数的替换

     千次阅读 2019-09-19 17:04:06
    注：mysql里的IFNULL函数可以用hive里的if和coalesce函数替换 mysql ： IFNULL(column,0) hive: if(column is null,0,column) coalesce(column,0) hive里的函数： shiftleft(TINYINT|SMALLINT|INT a, INT b) shift...
    收起

  • hive-sql查询结果保留特点小数位数的方法

     万次阅读 2019-12-17 13:27:17
    一、ceil：向上取整 ceil(DOUBLE d): d是DOUBLE类型的，返回>...spark-hive> select ceil(123.58); _c0 124 Time taken: 0.093 s spark-hive> select ceil(123.28); _c0 124 Time taken: 0.109 s 二、flo...
    收起
    cast floor round

  • Hive-SQL实现获取本月第一天

     万次阅读 2019-08-10 17:04:37
    select trunc(current_date(),'MM')
    收起

  • hive -e和hive -f的用法

     千次阅读 2020-07-28 20:51:36
    “-e”不进入hive的交互窗口执行sql语句 bin/hive -e "select id from student;" hive -f “-f”执行脚本中sql语句 （1）在/export/servers/datas目录下创建hive.sql文件 touch hive.sql 文件中写入正确的sql语句 ...
    收起

  • Hive-SQL 实现计算近31天/一个月的每天的Top10地区

     千次阅读 2020-05-20 00:50:55
    有一张Hive表tb_order, 其中(order_id 订单ID, city 城市名称, dt日期分区例如2020-05-01)三个可用字段。 然后我们要统计一下近31天的Top10地区的订单。 简单实现如下： select dt, city from ( select city, ...
    收起
    数据仓库

  • hive-sql查询结果保留两位小数

     万次阅读 多人点赞 2019-04-22 09:58:29
    需求要求保留4位小数，查博客大多是sql用法，但是hive-sql和sql还是有区别的，不知道大家发现没有，hive里有个自动转整的功能，示例 sql里 SELECT 1.0； 结果是1.0 hive-sql里 SELECT 1.0； 结果是1 hive-sql里...
    收起
    截取两位小数

  • hive -e 和 -f 通过beeline执行文件中的hive sql语句

     千次阅读 2020-11-03 18:25:32
    有时需要在命令行中直接执行hive sql语句，希望不进入hive模式执行，这时候就可以使用hive -e 或者 hive -f 来实现 1. hive -e 和 hive -f 2. beeline -f ，beeline使用 beeline -u "jdbc:hive2://localhost:...
    收起

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 168,141
精华内容 67,256
热门标签
关键字：

hive-sql

友情链接： 新建 WinRAR ZIP 压缩文件.zip