场景描述：

　　公司埋点项目，数据从接口服务写入kafka集群，再从kafka集群消费写入HDFS文件系统，最后通过Hive进行查询输出。这其中存在一个问题就是：埋点接口中的数据字段是变化，后续会有少量字段添加进来。这导致Hive表结构也需要跟着变化，否则无法通过Hive查询到最新添加字段的数据。

解决办法：

　　为数据表添加字段，字段必须添加到已有字段的最后面。因为已经存在的数据是按照之前的表结构写入到HDFS文件中的，当添加新字段时为了能兼容前面已经存在的数据。在新增的字段加到分区表后，之前已经存在分区表中的数据会为这些新增的字段赋予默认值NULL。

具体操作：

hive> show databases; //查询当前所有数据库
OK
db_hive_test
default
Time taken: 0.014 seconds, Fetched: 2 row(s)

Hive> use default;

hive> show create table bp_rec_session; //显示表结构及相关配置信息
OK
CREATE TABLE `bp_rec_session`(
  `appversion` string, 
  ……
  `cpucs` string)
PARTITIONED BY ( 
  `idate` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
  'hdfs://x.x.x.x:9000/bp/rec_session'
TBLPROPERTIES (
  'last_modified_by'='os', 
  'last_modified_time'='1519977809', 
  'parquet.compression'='SNAPPY', 
  'transient_lastDdlTime'='1519977809')
Time taken: 0.024 seconds, Fetched: 65 row(s)

hive> alter table bp_rec_session add columns(language string, loginType string); //为分区表添加language和loginType字段

hive> show create table bp_rec_session; //查看修改后的表结构
OK
CREATE TABLE `bp_rec_session`(
  `appversion` string, 
   …… 
  `cpucs` string, 
  `language` string, 
  `logintype` string)
PARTITIONED BY ( 
  `idate` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
  'hdfs://x.x.x.x:9000/bp/rec_session'
TBLPROPERTIES (
  'last_modified_by'='os', 
  'last_modified_time'='1519977809', 
  'parquet.compression'='SNAPPY', 
  'transient_lastDdlTime'='1519977809')

hive> select * from bp_rec_session limit 1; //查询表数据，检验对表结构修改后是否还能查询已经存在的数据
OK
7.2    …… Y0MDY2OA=e5d3=    8    NULL    NULL    20180105
Time taken: 0.139 seconds, Fetched: 1 row(s)

上述查询结果中的两个"NULL"即为后面添加字段赋予的默认值！

注意（坑）：

问题：在hive表中增加字段后，向分区表中写入数据（包含新增字段），查询分区表数据发现新增字段值均为“NULL”！

原因分析：表结构新增字段与创建分区表的顺序不同，导致查询结果不同

1.创建分区在修改表结构之后（能获取新增字段值）

2.创建分区在修改表结构之前（不能获取新增字段值）

对于第二种情况，因为分区表在修改表结构之前已经存在，所有在修改表结构的时候，新增字段并没有被加到分区表中。

而第一种情况在创建分区表的时候，直接使用了最新的表结构，所有分区表中包含所有的字段。

解决办法：

对应第二种情况，在执行完修改表结构语句 alter table table_name add columns(column_name string)后，接着需要执行

语句 alter table table_name partition(partition_name='分区值') add columns(column_name string); 【假设分区表名‘分区值’】

hive分区表增加列




新增的列会以null展示


插入数据后还是显示null,但是在presto中还是能查到数据的，应该是和hive的表结构有关，修改Hive分区表结构以后，元数据库中的SDS中该表对应的CD_ID会改变，但是该表分区下面对应的CD_ID还是原来表的CD_ID。SDS表主要保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等
所以，要取mysql修改元数据，具体看这里添加链接描述


如果放到第二天的分区，就能查出数据

后来看到官方说hive分区表在加字段时要加一个cascade
alter table test add columns(fs string comment ‘分数’)cascade;
这要就能生效了

drop table if exists test;

create  table test(
`name` string COMMENT '姓名',
`age` string COMMENT '年龄'
) COMMENT '1'
PARTITIONED BY (dt string)
stored as parquet
LOCATION '/warehouse/yizun/dwd/test'
TBLPROPERTIES('parquet.compression'='lzo');

insert  into table  test partition(dt='2021-06-04') values('zs','15');

#alter table test add columns(fs string comment '分数');
alter table test add columns(fs string comment '分数')cascade;

insert  into table  test partition(dt='2021-06-04') values('ls','18','99');

insert  into  table test partition(dt='2021-06-05') values('ww','10','66');

目录

hive建表

内部分区表

外部分区表

表结构复制：

hive表删除

hive表重命名

表修改操作

增加分区

修改分区

删除分区

新增表字段 

hive建表

IF NOT EXISTS : 表不存在才会创建

 分隔符：field.delim是表的两个列字段之间的文件中的字段分隔符.

               serialization.format是文件序列化时表中两个列字段之间的文件中的字段分隔符.

分区partition:创建表时可指定分区字段，多个分区字段之间可用“,”分割。

如：PARTITIONED BY ( 
  `hp_settle_dt` string,trans_label string)

内部分区表

CREATE TABLE IF NOT EXISTS `tbl_usr_bind_card_count`(
  `usr_id` string, 
  `trans_flow` string, 
  `trans_time` string, 
  `phone` string, 
  `cert_id` string, 
  `card_no` string)
PARTITIONED BY ( 
  `hp_settle_dt` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' 
WITH SERDEPROPERTIES ( 
  'field.delim'='\;', 
  'serialization.format'='\;') 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  '/user/bdhysfas/data/tmp/tbl_usr_bind_card_count';

路径：创建内部表时可指定路径，若路径不存在建表时会自动创该路径。不指定路径时会存放默认路径。
 

外部分区表

CREATE EXTERNAL TABLE IF NOT EXISTS `tbl_usr_bind_card_count`(
  `usr_id` string, 
  `trans_flow` string, 
  `trans_time` string, 
  `phone` string, 
  `cert_id` string, 
  `card_no` string)
PARTITIONED BY ( 
  `hp_settle_dt` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' 
WITH SERDEPROPERTIES ( 
  'field.delim'='\;', 
  'serialization.format'='\;') 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  '/user/bdhysfas/data/tmp/tbl_usr_bind_card_count';

关键字EXTENAL告诉hive这张表是外部的。

路径：创建外部表时可指定路径，表创建时不会自动生成指定路径，所以要先创建路径再创建表。不指定路径时会存放默认路径。

因为表是外部的，所以hive并非认为完全拥有这份数据。因此删除表并不会删除掉这份数据，但是描述表的元数据信息会被删掉。

表结构复制：

CREATE EXTERNAL TABLE IF NOT EXISTS tbl_usr_bind_card_count1 
LIKE tbl_usr_bind_card_count
LOCATION '/user/bdhysfas/data/tmp/tbl_usr_bind_card_count1';

注：如果省略掉关键字EXTERNAL而且源表是外部表的话，那么生成的新表也将是外部表，如果源表是内部表，那么生成的表将是内部表。如果语句中包含EXTERNAL，即便源表是内部表，新创建的表也会是外部表。

hive表删除

DROP TABLE tbl_usr_bind_card_count;

hive表重命名

-- 将表tbl_usr_bind_card_count重命名为tbl_usr_bind_card_count2

ALTER TABLE tbl_usr_bind_card_count RENAME TO tbl_usr_bind_card_count2;

表修改操作

增加分区

-- 添加分区

ALTER TABLE tbl_usr_bind_card_count ADD IF NOT EXISTS

PARTITION(hp_settle_dt = 20220301);

-- 添加分区并指定路径

ALTER TABLE tbl_usr_bind_card_count ADD IF NOT EXISTS

PARTITION(hp_settle_dt = 20220301) LOCATION  '/user/bdhysfas/data/tmp/tbl_usr_bind_card_count/hp_settle_dt=20220301';

修改分区

ALTER TABLE tbl_usr_bind_card_count PARTITION(hp_settle_dt=20220301) 

SET LOCALTION  '/user/bdhysfas/data/tbl_usr_bind_card_count/hp_settle_dt=20220301';

删除分区

ALTER TABLE tbl_usr_bind_card_count  DROP PARTITION(hp_settle_dt=20220301);

新增表字段 

方案1：

ALTER TABLE tbl_oper_in_flow add columns(less_recovery double,remark1 string,remark2 string,remark3 string); 

对于旧的分区的可正常查询，新加的字段值为空。但是旧的分区的数据无法插入或更新，新的分区可正产插入和查询。

方案2：

ALTER TABLE  tbl_oper_in_flow add columns(less_recovery double,remark1 string,remark2 string,remark3 string CASCADE) ; 

可加工旧的分区的历史数据，使所以分区的数据可正常查询和插入，但可能加载时间过长。

方案3：

此方案只适用于外部分区表

删除原表，重新创建新表，执行原表数据路径。但分区信息需重新加载。