精华内容
下载资源
问答
  • 2020-05-09 19:50:17

    1、复制非分区表结构
    CREATE TABLE bigdata17_new AS SELECT * FROM bigdata17_old;

    2、复制分区表结构
    CREATE TABLE bigdata17_new like bigdata17_old;

    更多相关内容
  • Hive复制表结构

    千次阅读 2022-04-21 14:16:43
    1、text格式 create table if not exists dws.dws_zwfw_business_index like ods.ods_business_index row format delimited fields terminated by '|' NULL DEFINED AS '' stored as textfile; 2、orc格式 ...

    1、text格式表

    create table if not exists 
    dws.dws_zwfw_business_index like   ods.ods_business_index
    row format delimited fields terminated by '|' NULL DEFINED AS '' 
    stored as textfile;
    
    

    2、orc格式表

    create table if not exists 
    dws.dws_business_stage like  ods.ods_business_stage
    row format delimited fields terminated by '|' NULL DEFINED AS '' 
    stored as orc tblproperties ("orc.compress"="NONE");
    
    

    3、CTAT

    create table if not exists 
    dwd.dwd_business_index
    row format delimited fields terminated by '|' NULL DEFINED AS '' 
    stored as textfile 
    as select * from dws.dws_business_index where 1=2;
    
    

    4、Hive表分区相关操作

    #添加分区
    alter table src_test0506.stg_sdsjzx_gx_ods_hsjc_2 add if not exists partition(batch_no='20220411');
    
    #删除分区数据
    truncate table src_test0506.stg_sdsjzx_gx_ods_hsjc_2 partition(batch_no='20220411');
    
    #删除分区
    alter table src_test0506.stg_sdsjzx_gx_ods_hsjc_2 drop partition(batch_no='20220411');
    
    #统计全表的所有分区的信息
    ANALYZE TABLE Table1 COMPUTE STATISTICS;
    
    #只统计文件数和文件大小,不扫描文件行数,执行较快
    ANALYZE TABLE Table1 COMPUTE STATISTICS NOSCAN;
    
    #统计执行分区的信息
    ANALYZE TABLE Table1 PARTITION(ds='2008-04-09', hr=11) COMPUTE STATISTICS;
    
    #拷贝完,修复分区
    msck repair table table_new;
    

    5、Hive字符串null处理方法

    insert overwrite table dws.dws_business_index_bak
    select 
    case 
    when bjbh='null' then ''
    when bjbh is null then ''
    else bjbh
    end as bjbh
    ,case 
    when sxbm='null' then ''
    when sxbm is null then ''
    else sxbm
    end as sxbm
    ,case 
    when sxmc='null' then ''
    when sxmc is null then ''
    else sxmc
    end as sxmc
    ,case 
    when bjlx='null' then ''
    when bjlx is null then ''
    else bjlx
    end as bjlx
    ,case 
    when sqr='null' then ''
    when sqr is null then ''
    else sqr
    end as sqr
    ,case 
    when sqzjlx='null' then ''
    when sqzjlx is null then ''
    else sqzjlx
    end as sqzjlx
    ,case 
    when sqzjhm='null' then ''
    when sqzjhm is null then ''
    else sqzjhm
    end as sqzjhm
    ,case 
    when lxr='null' then ''
    when lxr is null then ''
    else lxr
    end as lxr
    ,case 
    when lxrzjlx='null' then ''
    when lxrzjlx is null then ''
    else lxrzjlx
    end as lxrzjlx
    ,case 
    when lxrzjhm='null' then ''
    when lxrzjhm is null then ''
    else lxrzjhm
    end as lxrzjhm
    ,case 
    when lxdh='null' then ''
    when lxdh is null then ''
    else lxdh
    end as lxdh
    ,case 
    when lxyzbm='null' then ''
    when lxyzbm is null then ''
    else lxyzbm
    end as lxyzbm
    ,case 
    when lxtxdz='null' then ''
    when lxtxdz is null then ''
    else lxtxdz
    end as lxtxdz
    ,case 
    when fddbr='null' then ''
    when fddbr is null then ''
    else fddbr
    end as fddbr
    ,case 
    when sqly='null' then ''
    when sqly is null then ''
    else sqly
    end as sqly
    ,case 
    when sqsj='null' then ''
    when sqsj is null then ''
    else sqsj
    end as sqsj
    ,case 
    when xmbh='null' then ''
    when xmbh is null then ''
    else xmbh
    end as xmbh
    ,case 
    when bjzt='null' then ''
    when bjzt is null then ''
    else bjzt
    end as bjzt
    ,case 
    when id='null' then ''
    when id is null then ''
    else id
    end as id
    ,case 
    when oid='null' then ''
    when oid is null then ''
    else oid
    end as oid
    ,case 
    when qhdm='null' then ''
    when qhdm is null then ''
    else qhdm
    end as qhdm
    ,case 
    when jgdm='null' then ''
    when jgdm is null then ''
    else jgdm
    end as jgdm
    ,case 
    when cjsj='null' then ''
    when cjsj is null then ''
    else cjsj
    end as cjsj
    ,case 
    when gxsj='null' then ''
    when gxsj is null then ''
    else gxsj
    end as gxsj
    ,case 
    when flag='null' then ''
    when flag is null then ''
    else flag
    end as flag
    ,case 
    when `exchange`='null' then ''
    when `exchange` is null then ''
    else `exchange`
    end as `exchange`
    ,case 
    when data_up_uuid='null' then ''
    when data_up_uuid is null then ''
    else data_up_uuid
    end as data_up_uuid
    ,case 
    when data_up_time='null' then ''
    when data_up_time is null then ''
    else data_up_time
    end as data_up_time
    ,data_up_status
    ,case 
    when pbsnum='null' then ''
    when pbsnum is null then ''
    else pbsnum
    end as pbsnum
    ,case 
    when sckqzsj='null' then ''
    when sckqzsj is null then ''
    else sckqzsj
    end as sckqzsj
    
    from ods.ods_business_index;
    
    
    
    展开全文
  • hive复制表结构和数据的方法

    千次阅读 2020-12-31 17:10:28
    hive 表复制

    1、非分区表

    1) 全同步

    create table table_new as select * from table_old;
    

    2) 部分同步(同步name,age,sex三个字段的数据)

    create table table_new as 
    select
    	name,
    	age,
    	sex
    from table_old
    

    2、分区表

    1)复制表结构

    create table table_new like table_old;
    

    2 )复制数据:

    a. 第一种

    insert overwrite table table_new partition(dt) select * from table_old;
    

    b. 第二种(数据量大,推荐)

    dfs -cp /user/bigdata.db/table_old/* /user/bigdata/db/bigdata_new/;
    -- 拷贝完,修复分区
    msck repair table table_new;
    
    展开全文
  • 1、复制表或者迁移数据库 CREATE TABLE new_table AS SELECT * FROM old_table; 2、复制数据 查看老表的hdfs文件位置 (show create table xxx;) old_file_path 查看新表的hdfs文件位置 new_file_path; hdfs...

    1、复制表或者迁移数据库

    CREATE TABLE new_table AS SELECT * FROM old_table;(非分区)

    create table t_copy like t_part;(分区表)

    2、复制数据

    查看老表的hdfs文件位置 (show create table xxx;) old_file_path

    查看新表的hdfs文件位置 new_file_path;

    hdfs复制:hadoop fs -cp old_file_path new_file_path;

    3、修复元数据

    MSCK REPAIR TABLE new_table;修复新表的分区元数据。

    展开全文
  • create table student_like like student;...table的前面没有加external关键字,那么复制出来的新。无论如何都是内部 table的前面有加external关键字,那么复制出来的新。无论如何都是外部 ...
  • Hive复制表结构不复制数据 LIKE允许用户复制 现有的表结构,但是不复制数据 create table 要创建的表名 like 被复制的表名
  • Hive操作——复制表结构和数据

    万次阅读 2019-07-02 11:58:46
    本篇将分为两个部分:复制表结构、复制结构+数据。 一、复制表的结构 写法:CREATE TABLE A.new_table LIKE B.old_table;(需要A数据库提前创建好,否则会报找不到) 这里将cserver的iot_devicelocation复制到xpu...
  • 复制Hive表结构和数据的方法

    千次阅读 2019-03-20 14:08:59
    在使用Hive的过程中,复制表结构和数据是很常用的操作,本文介绍两种复制表结构和数据的方法。 1、复制非分区表表结构和数据 Hive集群中原本有一张bigdata17_old表,通过下面的SQL语句可以将bigdata17_old的表结构...
  • 首先,来回顾下在hive中创建的三种方式: ...创建新复制结构:create table new_table_name like select * from old_table_name 创建新表复制结构和数据:create table new_table_...
  • Hive 复制表结构和数据 1. 复制非分区表 create table a as select * from b; 2. 复制分区表 create table a like b; insert overwrite table a partition (year, month, day) select * from b; ...
  • Hive复制分区表结构以及表数据

    千次阅读 2019-05-30 14:56:09
    目录 1、创建一张表,即将要被复制的表old_table: 2、向old_table中添加数据,...4、复制表结构到新表,即new_table: 5、然后将使用命令hadoop fs -cp旧表数据复制到新表的hdfs目录下: 6、使用命令 MSCK ...
  • 如何查看hive表结构?2.如何查看表结构信息?3.如何查看分区信息?4.哪个命令可以模糊搜索表1.hive模糊搜索表show tables like '*name*';2.查看表结构信息desc formatted table_name;desc table_name;3.查看分区信息...
  • hive复制表

    2021-01-14 09:23:04
    Hive中有时候会遇到复制表的需求,复制表指的是复制表结构和数据。 如果是针对非分区表,那很简单,可以使用CREATE TABLE new_table AS SELECT * FROM old_table; 那么如果是分区表呢? 首先想到的办法可能是: 先...
  • OK Time taken: 0.153 seconds 在/stu路径下仍然存在student.txt 可以这样理解,内部表时受hive管理的表,外部表是不受hive管理的表 ③like允许用户复制现有的表结构,但是不复制数据。 hive (xiaoliu)> select * ...
  • hive内部和外部hive 创建内部时,会将数据移动到数据仓库指向的路径; 若创建外部,仅记录数据所在的路径,不对数据的位置做任何改变。在删除的时候,内部的元数据和数据会被一起删除,而外部只...
  • hive表结构信息

    2020-07-22 16:42:16
    1.如何查看hive表结构? 2.如何查看表结构信息? 3.如何查看分区信息? 4.哪个命令可以模糊搜索表 1.hive模糊搜索表 show tables like ‘name’; 2.查看表结构信息 desc formatted table_name; desc table_name; 3....
  • 复制Hive表结构和数据

    千次阅读 2020-07-17 14:46:12
    在使用Hive的过程中,复制表结构和数据是很常用的操作,本文介绍两种复制表结构和数据的方法。 1、复制非分区表表结构和数据 Hive集群中原本有一张bigdata17_old表,通过下面的SQL语句可以将bigdata17_old的表结构...
  • hive分区快速复制

    2020-08-05 16:19:02
    1、快速建表 drop table if exists dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian; create table dwt.dwt_activity_auction_house_activity_sale_full_1d_0805...2、查看复制好的表结构 hi
  • 如何批量导出hive表结构信息

    千次阅读 2022-03-20 19:02:47
    hive 导出
  • 一键导出 hive 中所有的表结构

    千次阅读 2022-03-21 18:04:16
    hive -e "use stg_jinxiong; show tables; " > stg_jinxiong_tables.txt sleep 1 cat stg_jinxiong_tables.txt | while read eachline do hive -e "use stg_jinxiong; show create table ${eachline};" >&...
  • 复制表结构 create table new_table like exists_table; 复制表结构和数据 create table new_table as select * from exists_table; 分区表 复制表结构 create table new_table like exists_table; 复制数据稍微...
  • 在使用Hive的过程中,复制表结构和数据是很常用的操作,本文介绍两种复制表结构和数据的方法。 1、复制非分区表表结构和数据 Hive集群中原本有一张bigdata17_old表,通过下面的SQL语句可以将bigdata17_old的表结构和...
  • 内部和外部的转换 alter table tablePartition set TBLPROPERTIES ('EXTERNAL'='TRUE'); //内部转外部 alter table tablePartition set TBLPROPERTIES ('...复制非分区表表结构和数据 CREATE TABLE big...
  • 1. CREATE TABLE new_table LIKE old_table; 2. 使用hadoop fs -cp 命令,把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下; 3. 使用MSCK REPAIR TABLE new_table;修复新的分区元数据;
  • Hive-复制表

    2019-10-03 00:22:52
    非分区表复制 复制一张非分区表,使用CREATE TABLE...只复制表结构,CREATE TABLE IF NOT EXISTS AS SELECT *** FROM tb_name WHERE 1=2; PS:分区表如果采用这种"CREATE TABLE IF NOT EXISTS AS"的方法复制,表结...
  • hive-修改表结构

    千次阅读 2020-03-13 21:24:41
    自定义标题http://www.manongjc.com/article/57670.html一、列的CRUD1. 增加列2. 改变列名/类型/位置/注释3. 删除列二、分区1. 新增分区2. 重命名(移动)...5. 删除分区example三、1. 重命名2. 修改的`TBLPR...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 13,401
精华内容 5,360
关键字:

hive复制表结构