关键字： hive, partition, add column
hive JIRA：https://issues.apache.org/jira/browse/HIVE-6131 


最近在查hive版本问题，发现在hive1.1.0和hive1.2.1上，分区表新增字段后新增字段值为空的情况。
网上查了资料，提供了两种解决办法：
1. 修改hive元数据SDS表的CD_ID字段，原因是修改表结构后，元数据库中的SDS中该表对应的CD_ID会改变，但是该表分区下面对应的CD_ID还是原来表的CD_ID
2.删除当前分区重建
这两个办法都不太适应，办法1修改元数据库风险大，办法2可能会导致数据丢失。
老大给的任务是其他办法workaround。
通过测试发现如下规律，先给出结论：
在分区表里增加字段后，向分区表插入数据有两种情况：

1.分区在修改表结构前存在

2.分区在修改表结构前不存在

对于第二种情况，bug不存在

针对第一种情形，

执行alter table denglg add columns(c3 string);  查分区数据新增字段值为空，

需再执行alter table denglg partition(step='1') add columns(c3 string);【假设当前只有step='1'的分区】


具体测试如下，可以参考看看

1.新建分区表，插入两个分区的数据
   CREATE TABLE testtmp.denglg(c1 string, c2 string)PARTITIONED BY (step string);
    insert into table testtmp.denglg partition(step='1') select '1','2' from default.dual;
    insert into table testtmp.denglg partition(step='2') select '11','22' from default.dual;
  hive> select * from denglg where step='1';   hive> select * from denglg where step='2';
  OK                                           OK
  1 2 1                              1122 2 



2.新增字段c3 
alter table denglg add columns(c3 string);
3.向三个分区插入数据

   insert into table testtmp.denglg partition(step='1') select '1','2','3' from default.dual;

   insert into table testtmp.denglg partition(step='2') select '11','22','33' from default.dual;

   insert into table testtmp.denglg partition(step='3') select '111','222','333' from default.dual;

hive> select * from denglg where step='1';

OK

1 2 NULL1

1 2 NULL1

Time taken: 0.122 seconds, Fetched: 2 row(s)

hive> select * from denglg where step='2';

OK

11 22 NULL2

11 22 NULL2

Time taken: 0.075 seconds, Fetched: 2 row(s)

hive> select * from denglg where step='3';

OK

111 222 
333 3

Time taken: 0.077 seconds, Fetched: 1 row(s)

发现分区step=3不受影响

4.执行alter table denglg partition(step='1') add columns(c3 string);

hive> select * from denglg where step='1';

OK

1 2 NULL1

1 2 31

Time taken: 0.728 seconds, Fetched: 2 row(s)

hive> select * from denglg where step='2';

OK

11 22 NULL2

11 22 NULL2

验证上述结论正确。

对hive分区表新增字段后，在执行插入分区的动作，会发现其实数据文件中已经有新字段值了，但是在查询的时候新字段的值还是显示为null。
比如我们做一个简单的问题重现
我们先创建一个分区表xj_test1,往分区dt=201501中插入一条数据：
create table xj_test1(a string,b string) partitioned by (

dt string)

row format delimited fields terminated by ',';


INSERT OVERWRITE TABLE xj_test1 PARTITION(dt=201501)

select '1','1' from dual



然后我们新加一个字段：
alter table xj_test1 add columns (c string);

再往上面的那个分区中插入数据：
INSERT OVERWRITE TABLE xj_test1 PARTITION(dt=201501)

select '1','1','1' from dual

按照常理的话，现在查询201501分区的数据，应该显示1,1,1 。但是新加的字段c的值为null,在hdfs上该分区目录下面的数据文件中确实已经有c字段的值了，只是查询不出来。
原因是修改表结构以后，元数据库中的SDS中该表对应的CD_ID会改变，但是该表分区下面对应的CD_ID还是原来表的CD_ID，
比如我这边测试表叫：xj_test1，分区字段叫dt
查看表的CD_ID：select CD_ID from SDS where LOCATION='hdfs://n1:8020/user/hive/warehouse/xj_test1' ，（假设我们这里查出来表的新的CD_ID值为35178）
查看表的所有分区的CD_ID：SELECT * FROM SDS WHERE LOCATION LIKE 'hdfs://n1:8020/user/hive/warehouse/xj_test1/dt=%'
我们需要手工更新一下现有分区的CD_ID的值为表CD_ID的值：
UPDATE SDS SET CD_ID=35178 WHERE LOCATION LIKE 'hdfs://n1:8020/user/hive/warehouse/xj_test1/dt=%'
然后我们再去查询一下表xj_test1，字段c的值可以正常的显示出来了。


当然，删除分区重建也是可以的，具体选择哪种方法根据实际情况决定，毕竟删除分区是会删除数据的，如果不允许删除原来的数据，建议还是修改元数据。

如果你创建一个表之后，想增加字段的话，是可以的，而且还能设置该字段的具体位置。
语法如下：
ALTER TABLE 表名 ADD 字段名1 数据类型 [约束] [FIRST|AFTER 字段名2]；
[]之中是可选内容
先写个最简单的：
ALTER TABLE user ADD phone VARCHAR(20);
如果想添加约束，如下
ALTER TABLE user ADD age INT(4) NOT NULL;
设置字段的位置的语法有两个：
一个你可以把字段加在所有字段的最前面：
ALTER TABLE user ADD num INT(4) PRIMARY KEY FIRST;
还有一个就是把字段加在某个字段后面，
ALTER TABLE user ADD address VARCHAR(30) NOT NULL AFTER phone;
上句的意思就是把address字段加在phone字段的后面。
上面的都可以用desc 表名; 查看。

hive分区表新增字段后新增字段值为空的情况。

在分区表里增加字段后，向分区表插入数据有两种情况：

1.分区在修改表结构前存在

2.分区在修改表结构前不存在

对于第二种情况，即加字段后跑的分区，bug不存在

针对第一种情形，

执行alter table HIVE_TALBLE add columns(aaa string);  查分区数据新增字段值为空，

需再执行alter table  HIVE_TALBLE  partition(pt_d='20171111') add columns(aaa string);【假设当前只有pt_d='20171111'的分区】

3.add columns(aaa string) cascade;

强制更新所有分区