利用crontab 调用hive时，一定要将hive 的环境路径写成全路径

     如何在Java中调用Hive的操作步骤如下：
1、启动Hive远程服务：
      命令： hive --service hiveserver2  &
      启动成功，命令框出现以下界面：
     
2、在Eclipse中创建Hadoop 项目，导入Hive的必须包
  Hive的必须包如下：
   hive-exec-2.0.0.jar
   hive-jdbc-2.0.0.jar
   hive-service-2.0.0.jar

   httpclient-4.4.jar

   httpcore-4.4.jar

3、编写Java调用Hive的相关函数，代码如下：
package com;


import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.ResultSet;

import java.sql.Statement;


public class HiveTestCase {
public static void query(Statement stmt) throws Exception {
String querySQL = "select a.* from java_test a";
ResultSet res = stmt.executeQuery(querySQL); // 执行查询语句
while (res.next()) {
System.out.print("id:" + res.getString("id") + " ");
System.out.println("name:" + res.getString(2) + " ");
}
}

public static void create(Statement stmt) throws Exception {
String createSQL = "create table java_test (id string, name string) row format delimited fields terminated by '\t' ";
boolean bool = stmt.execute(createSQL);
System.out.println("创建表是否成功:" + bool);
}


public static void drop(Statement stmt) throws Exception {
String dropSQL = "drop table java_test";
boolean bool = stmt.execute(dropSQL);
System.out.println("删除表是否成功:" + bool);
}

public static void load(Statement stmt) throws Exception {
String loadSQL = "load data local inpath '/home/hadoop/test' into table java_test ";
boolean bool = stmt.execute(loadSQL);
System.out.println("导入数据是否成功:" + bool);
}

public static void main(String[] args) throws Exception {

Class.forName("org.apache.hive.jdbc.HiveDriver");
Connection con = DriverManager.getConnection(
"jdbc:hive2://192.168.26.131:10000/test", "", "");
Statement stmt = con.createStatement();

drop(stmt); // 执行删除语句
create(stmt); // 执行建表语句
load(stmt); // 执行导入语句
query(stmt); // 执行查询语句
}

}

4、如果出现错误：User: hadoop is not allowed to impersonate 

解决：在hive-site.xml文件中添加一下配置：
   <property>
      <name>hive.metastore.sasl.enabled</name>
      <value>false</value>
      <description>If true, the metastore Thrift interface will be secured with SASL.  
                   Clients must authenticate with Kerberos.</description>
   </property>
   <property>
       <name>hive.server2.enable.doAs</name>
       <value>false</value>
   </property>
   <property>
       <name>hive.server2.authentication</name>
       <value>NONE</value>
   </property>
   参考链接：
   http://stackoverflow.com/questions/36909002/authorizationexception-user-not-allowed-to-impersonate-user
5、操作过程存在的疑问：
执行以上HQL语句，都能在Hive中成功执行创建表、删除表、导入数据等，但是函数返回的布尔值为什么为 false 呢?
解答：
这个execute方法执行一个sql语句并且指向第一个返回值。
返回值：true表示第一个返回值是一个ResultSet对象；false表示这是一个更新个数或者没有结果集。   

需求：对hive的元数据进行查询，之前师姐的实现方法是通过对MySql的hive元数据数据库操作，进而实现查询。但是该方法太过于麻烦和复杂，在网上查询之后发现，hive提供Hive-metastore service，能比较完美的解决这一需求。

1.  为什么有Hive-metastore service
​	许多第三方框架需要使用hive 的元数据如spark，所有hive需要开发Hive-metastore service的服务接口。
同理Hive-metastore service提供了JAVA的jar，给java程序调用
2.  JAVA怎么用Hive-metastore
​	去maven仓库搜索hive metastore，能找到对应的jar包。之间在maven项目中引入hive metastore的依赖。
如下面所示：

依赖

<!--hive-metastore-->
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-metastore</artifactId>
    <version>2.3.4</version>
</dependency>


java连接Hive-metastore service代码

//HiveMetaStore的客户端
private HiveMetaStoreClient hiveMetaStoreClient;

/**
 * 功能描述:
 *          设置HiveJDBC的数据源
 */
private void setHiveMetaStoreConf(DbInform dbInform) {
    HiveConf hiveConf = new HiveConf();
    hiveConf.set("hive.metastore.uris",dbInform.getDbMetastoreUrl());
    try {
        //设置hiveMetaStore服务的地址
        this.hiveMetaStoreClient = new HiveMetaStoreClient(hiveConf);
        //当前版本2.3.4与集群3.0版本不兼容，加入此设置
      this.hiveMetaStoreClient.setMetaConf("hive.metastore.client.capability.check","false");
    } catch (MetaException e) {
        e.printStackTrace();
    } catch (TException e) {
        e.printStackTrace();
    }
}

注意：


hiveConf.set("hive.metastore.uris",dbInform.getDbMetastoreUrl());


其中hiveConf的配置对象也可以通过配置文件读取配置。
例如，hive-site.xml中的配置如下
<configuration>
    <property>
        <name>hive.metastore.uris</name>     
        <value>thrift://110.131.23.14:9083</value>
    </property>
</configuration>

hiveConf中引入：
​	hiveConf.addResource("hive-site.xml")


“hive.metastore.uris”属性是设置Hive-metastore service的地址，地址格式如：thrift://110.131.23.14:9083（默认端口9083，必须是hive集群中Hive-metastore service所在的ip）。




hiveMetaStoreClient.setMetaConf("hive.metastore.client.capability.check","false");
由于我的集群上的hive是3.0版本，但是hive-jdbc的3.0jar包会与spring boot2.0出现包冲突，导致spring boot无法启动。所以无奈之下，hive-jdbc使用了2.3.4版本，因此HiveMetaStore的jar版本也必须使用2.x.x的版本，不然会出现找不到包的错误。而使用2.x.x的版本与集群3.0版本连接会提示客户端版本太低的错误，控制台提示配置hive.metastore.client.capability.check为fasle。特别提示：该配置写在配置文件中似乎没有作用。


3. Hive-metastore的java接口
// 由数据库的名称获取数据库的对象(一些基本信息)
Database database= this.hiveMetaStoreClient.getDatabase(dbName);
// 根据数据库名称获取所有的表名
List<String> tablesList = this.hiveMetaStoreClient.getAllTables(dbName);
// 由表名和数据库名称获取table对象(能获取列、表信息)
Table table= this.hiveMetaStoreClient.getTable(dbName,tableName);
// 获取所有的列对象
List<FieldSchema> fieldSchemaList= table.getSd().getCols();
// 关闭当前连接
this.hiveMetaStoreClient.close();

注意：使用完之后关闭连接this.hiveMetaStoreClient.close();

之前文章写到用sparksql实现hive表小文件合并,这里使用一下用shell调用hivesql来合并hive表文件,思路是一样的
#!/bin/bash
source /etc/profile
###################################################################################
#purpose:hive 表批量合并小文件
#author：
#date：2018/08/11
#date: 2019/03/08 由原来循环串行跑更新为通过并行掉函数，并行跑
###################################################################################
runMerge()
{
tbs=$1
pcdate=`date -d"1 day ago" +"%Y%m%d"`
echo ">>>>>>>>>>$tbs 合并分区日期"\'$pcdate\'

for tb in $tbs
do
    tmp_tb=$tb'_tmp'
    #构建字段列表
    a1=`hive -e "desc $tb"`    
    echo $a1
    a=`hive -e "desc $tb"|awk 'NR==1,NR==$(NF-0){print $1}'`
    echo "$tb 字段列表：$a"
    b=`echo $a|sed 's/day # # day/ /g'`
    c1=`echo $b|sed 's/ /,/g'`
    c=`echo $c1|sed 's/timestamp/\`timestamp\`/g'`	
    for i in \'$pcdate\'
    do
	echo "开始合并$tb....."
        echo "select $c from $tb where day = ${i}"
        hive -e "
        set hive.merge.mapfiles = true;
        set hive.merge.mapredfiles = true;
        set hive.merge.tezfiles=true;
        set hive.merge.size.per.task = 256000000;
        set hive.merge.smallfiles.avgsize=16000000 ;
        -- 将小文件数据先放入一个临时分区
        insert overwrite table $tb partition (day = '19700101')
        select $c from $tb where day = ${i};
        -- 将原来的小文件分区删掉
        alter table $tb drop if exists partition(day = ${i});
        -- 将临时分区，rename到正式大文件分区
        alter table $tb partition (day = '19700101') rename to partition(day = ${i});
        -- 将临时分区删掉
        alter table $tb drop if exists partition(day = '19700101');
        "
        if [ $? != 0 ];then
           currenttime=`date +'%Y-%m-%d-%H:%M:%S'`
	   msg="[$currenttime]$tb小文件合并出问题"
           sh /opt/edw/bin/oozie-job-dingtalk-warn.sh $msg
	   break
        fi
	echo $tb"小文件合并完成..."
        #将表名替换成表路径
        tbfilepath=${tb//'.'/'.db/'}
        fileday=${i//"'"/""}
        #删除合并过程中产生中间文件夹
        hadoop fs -test -e /user/hive/warehouse/$tbfilepath/day=$fileday/.hive-staging_hive_*
        if [ $? == 0 ] 
	  then  hadoop fs -rm -r /user/hive/warehouse/$tbfilepath/day=$fileday/.hive-staging_hive_*
   	fi
   done
done
}
#并行跑
starttime=`date +'%Y-%m-%d %H:%M:%S'`
runMerge 'databasename1.tablename1' &
runMerge 'databasename2.tablename2' &
runMerge 'databasename3.tablename3' 
wait
endtime=`date +'%Y-%m-%d %H:%M:%S'`

start_seconds=$(date --date="$starttime" +%s)
end_seconds=$(date --date="$endtime" +%s)
echo "$starttime $endtime $sqlscript本次运行时间： "$((end_seconds-start_seconds))"s"