精华内容
下载资源
问答
  • hive修改字段名
    千次阅读
    2022-04-18 15:39:26

    hive中修改字段的中文注释,表的中文注释

    修改表的字段的中文注释

    alter table 数据库名.表名  change column 英文字段名 英文字段名 string comment '新的中文注释名称';
    

    修改表的中文注释

    ALTER TABLE 数据库名.表名 SET TBLPROPERTIES('comment' = '新的表备注');
    
    更多相关内容
  • hive修改字段名后数据丢失

    千次阅读 2020-08-23 19:07:22
    1. 内部表Parquet测试 CREATE TABLE `test.user_active_all_parquet_inner`( `imp_date` date COMMENT '活跃日期', `user_id` string COMMENT '用户id') ...hive.exec.dynamic.partition.mode=nonstric; insert into .

    1. 内部表Parquet测试

    CREATE TABLE `test.user_active_all_parquet_inner`(
    `imp_date` date COMMENT '活跃日期', 
    `user_id` string COMMENT '用户id')
    COMMENT '用户每日活跃列表'
    PARTITIONED BY (`dt` string)
    stored as parquet

    hive.exec.dynamic.partition.mode=nonstric;
    insert into user_active_all_parquet_inner partition(dt) select * from user_active_all;
    alter table user_active_all_parquet_inner change column `imp_date` `data_date` date cascade;

    select * from user_active_all_parquet_inner limit 50;

    结果出现数据丢失

    查找元数据:

    1. select * from

    展开全文
  • 1.在Hive的当前会话设置parquet.column.index.access=true属性(临时)Parquet格式的表,在重命名表的列名后,查询重名的列数据时显示当前列所有值为NULL。hive默认的读取parquet文件是按照名称读取的(orc默认是按...

    Parquet格式的表,在重命名表的列名后,查询重名的列数据时显示当前列所有值为NULL。

    alter table parquet_tb change column column_name_old column_name_new string comment '测试字段' cascade;

    解决方法:

    1.在Hive的当前会话设置parquet.column.index.access=true属性(临时)

    set parquet.column.index.access=true;
    select * from parquet_tb limit 10;

    2.修改表的属性

    hive默认的读取parquet文件是按照名称读取的(orc默认是按序列号读取的),

    这个参数的功能是使hive读取parquet文件时使用序列号读取

    ALTER TABLE parquet_tb SET TBLPROPERTIES ('parquet.column.index.access'='true');
    展开全文
  • 修改hive表分区名称

    2017-02-17 10:17:48
    hive修改分区数据
  • hive表新增字段或者修改字段

    千次阅读 2020-12-09 15:52:27
    1. hive表操作 ...表名 CHANGE COLUMN 字段名 新的字段名(如果不变就保持原字段) 字段类型(若不变就采用原来的字段) COMMENT '新的字段备注'; alter table 数据库名.表名set tblproperties('EXTERNAL

    1. hive表操作

    1. 修改表字段的数据类型或者修改表字段名字

    #如果表是外部表,需要先修改为内部表
    alter table 数据库名.表名set tblproperties('EXTERNAL' = 'FALSE');
    
    ALTER TABLE 数据库名.表名 CHANGE COLUMN 字段名 新的字段名(如果不变就保持原字段) 字段类型(若不变就采用原来的字段) COMMENT '新的字段备注';
    
    alter table 数据库名.表名set tblproperties('EXTERNAL' = 'TRUE');
    

    2. 新增表字段

    #如果是外部表,需要先修改为内部表
    alter table 数据库名.表名 set tblproperties('EXTERNAL' = 'FALSE');
    -- 新增列
    alter table 数据库名.表名add columns(log_id string COMMENT '数据源请求唯一键');
    
    alter table 数据库名.表名set tblproperties('EXTERNAL' = 'TRUE');

    2. 遇到问题

    • 修改或者新增字段之后,数据无法保存进去?

    博客https://www.cnblogs.com/zhangqian27/p/12654067.html

    原因:hive 1.1.0中表的元数据和分区的元数据是分开管理的,也就是说分区的元数据在分区生成的时候就会保存下来,依据是表的元数据。当我们进行修改字段和新增字段的时候,只是修改了表的元数据,而历史的分区云数据信息并没有改变。当我们查历史分区

    的数据的时候,因为表的元数据和分区的元数据不一致了,导致查出的数据为null. 和HDFS无关。

    查表的元数据和分区的元数据:

    desc 表名;
    
    desc 表名 partition(dt='xxxxx')

    解决方案:

    a. 新增或修改字段,且需要重新跑数据。删除分区的元数据,重新跑对应分区的数据

    alter table 表名 drop partition (dt >= '20201001')

    b. 只是修改字段,不需要重新跑数据, 在修改时直接指定分区

    alter table 表名 partition(dt='20201208') CHANGE COLUMN type_of_charge type_of_charge string COMMENT '计费方式';

    c. hive版本是1.1.0之后的可以使用 cascade(级联), 可以修改所有的元数据。

    alter table 表名 add columns(log_id string COMMENT 'xxxxxx') cascade;
    
    alter table 表名 partition(dt='20201208') CHANGE COLUMN type_of_charge type_of_charge string COMMENT 'xxxxxx' cascade;
    

     

    展开全文
  • HIVE 增加修改删除字段

    千次阅读 2022-03-19 18:35:24
    HIVE 增加修改删除字段非分区表增加字段修改字段(修改字段名称、类型、注释、顺序)删除字段分区表新增字段 非分区表 增加字段 增加字段可以使我们在所有字段之后和分区字段之间增加一个字段 使用格式 ALTER TABLE ...
  • 方案一: 前提是有元数据库的权限 ...加上一列weight字段后(这里使用cascade就是为了同步到hivemetastore),我用spark向表插入一个带有weight字段的表,此时抛出异常 Exception in thread "main" org.
  • hive修改或者增加字段2022-04-20

    千次阅读 2022-04-20 13:44:21
    业务背景:实际开发的时候,我们从sqlserver向hive中同步数据,发现报错了,原因是sqlserver中的字段和hive中的字段名有一个没有对应上,然后修改字段名,可以正常导入了。 修改表字段的数据类型或者修改表字段...
  • hive sql 添加字段以及修改字段

    千次阅读 2021-01-28 15:16:35
    1.hive新增字段 sql格式: ALTER TABLE 表名 ADD COLUMNS (新增字段名 string ...2.hive修改字段名,字段类型,描述等 sql格式: ALTER TABLE 表名 CHANGE COLUMN 旧字段名 新字段名 STRING COMMENT '描述'; ...
  • Hive修改表字段,踩坑记录

    千次阅读 2020-07-03 09:52:07
    Hive修改表字段,基于新模型的字段命名规范基本全部重命名: 执行命令示例(其中一条命令): ALTER TABLE test.info_class change class_id id_class string; 查询修改的字段内容时,全部为null,包括之前分区的数据 ...
  • hive修改表备注,字段备注

    千次阅读 2021-09-07 14:54:32
    修改表备注: ALTER TABLE 数据库名.表名 SET TBLPROPERTIES('comment' = '新的表备注...CHANGE COLUMN 字段名 新的字段名(如果不变就保持原字段) 字段类型(若不变就采用原来的字段) COMMENT '新的字段备注'; ...
  • hive修改字段类型

    万次阅读 2020-12-30 14:50:40
    alter table 表名 change column 原字段名字段名 字段类型
  • Hive - 增删改 Hive 表字段

    千次阅读 2021-09-04 14:55:27
    先创建一个测试表 tmp_change_column,包含两个字段 a,b 和分区标识 dt : function createTable() { hive -e " create table if not exists tmp_change_column ( a string, b string ) PARTITIONED BY(dt string)...
  • 3、修改字段名或注释 --将table1的的字段useid修改为user: alter table table1 change userid user string comment'用户ID'; --修改后的字段如下 +-----------+------------+----------+--+ | col_name | data_type...
  • Hive修改列名

    万次阅读 2019-04-08 17:11:45
    修改字段名方法: ALTER TABLE 表名 CHANGE 旧字段 新字段 类型; 举例: hive> desc jsontest; OK id string jj string hive...
  • hive修改字段及字段类型

    万次阅读 2020-01-15 16:19:53
    hive修改字段类型语句:alter table 表名 change column 原字段名字段名 字段类型; alter table user_chain change column u_register u_registe date;(u_register原类型为string类型) 这样修改会报一个错误...
  • HIVE修改列名后 值全变为null

    千次阅读 2021-12-21 11:21:19
    解决方法: ALTER TABLE XXX SET TBLPROPERTIES ('parquet.column.index.access'='true');
  • hive修改字段后查询不了数据

    千次阅读 2019-11-01 11:44:14
    情况描述 hive版本为: apache-hive-2.1.0 hadoop版本为: apache-hadoop-2.6.0-cdh-5.13.3 修改添加两个字段删除一个字段,但跟日志文件数据是一一对应的。...hive修改字段 通过alert table table...
  • 问题描述 通过alter table 增加字段: ALTER TABLE dw.video_profile CHANGE p_album p_album string AFTER p_content_phrase; ALTER TABLE dw.video_profile CHANGE p_content_quality p_content_quality ...hive
  • Hive 更改表字段,当无数据时直接使用 alert 方式更改表信息。当表中已有数据时,先复制表再重新插入数据
  • hive添加字段 修改字段顺序

    千次阅读 2020-05-08 09:36:44
    首先要确定的一点是hive底层存储是文件的形式,如果表中每个字段都已经有值,此时进行字段移动并不能将值一起移动 只有当字段和他对应的值不匹配的时候可选择调整字段顺序 假设当前表有四个字段 顺序为 a b c d 1...
  • hive 修改字段类型和增加字段表

    千次阅读 2019-06-26 10:31:24
    Hive修改字段类型 Alter table 表名 change column 原字段名称 现字段名称 数据类型 新增字段表 alter table 表名 add columns(字段名 数据类型)
  • alter table 表名 change 旧字段名字段名 字段类型 comment '注释'; 3.修改分区字段注释,需要在元数据库中执行 update partition_keys ps join tbls ts on ps.tbl_id = ts.tbl_id join dbs ds on ts.db_id = ds...
  • hive离线数仓中某个表的每日装载脚本,因为要优化代码逻辑,将取值end_date字段修改为取值create_date, 我在对应的脚本中修改sql好语句后,想着顺便把表的字段名改掉,即从end_date修改为create_date,用了 "alter ...
  • 数仓开发过程中,经常会有需求变更,添加字段的情况很难免,添加完了字段需要重新写数据,重新将这个字段的数据overwrite进去,但是会出现一个问题,就是加载的数据为NULL。新分区正常,无论是内部表还是外部表均有...
  • hive 表创建及字段信息管理

    万次阅读 2020-11-25 16:31:07
    1. 修改字段名或字段类型 hive表,能增加列,不可以删除列,但可以改列名; 对于分区表,要使用cascade才会对所有分区生效,否则,历史分区不会生效。 --修改字段名 alter table tablename change value1 value1_...
  • ALTER TABLE tableName(表名) CHANGE COLUMN 原字段名字 新字段名字 字段类型 COMMENT '名称- 新的字段备注' 操作样例: ALTER TABLE kylin.kylin_premium_quit_actual CHANGE COLUMN sub_point_id sub_point_id ...
  • 表名 add columns (字段名 字段类型 comment '注释') ; 但是上面这种语法只能是对表的当前和以后新的分区生效,若存在历史分区,那么MySQL上的元数据信息没有修改。 若查询历史分区,就会报上面的return code 2 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 11,385
精华内容 4,554
关键字:

hive修改字段名