用Impala查询Hive数据，将结果导出为本地文件。
 
 
常用参数：
 
-q / --query=query              命令行执行sql
-f / --query_file               执行查询文件,分号分隔
-d / --database=                指定数据库,不指定使用default,也可以在sql中使用db.table
-B / --delimited                去格式化输出
-o / --output_file              指定输出结果文件
-i / --impalad=                 指定连接服务端,格式为 host:port,可以指定localhost
--output_delimiter=             指定分隔符
--print_header                  首行打印列名
 
导出
 
1. shell中导出
 
impala-shell -q "select * from tb_base_game_conf" -d cp_data -B --output_delimiter="\t" \
--print_header -o /data3/impala_output/tb_base_game_conf.csv;
 
 
 
 
 
2. 通过脚本导出
 
注意其中的变量，会话要传递变量使用 --var=key=value，sql语句文件中变量使用 ${var : key}来引用。
 
output.sh
 
#!/bin/bash
file=$1
DB=$2
tab=$3
output=$4
impala-shell --var=db=${DB} --var=table=${tab} -f ${file} -B --output_delimiter="\t" -o ${output}
 
output.sql
 
use ${var:db};
select * from ${var:table}
 
运行脚本
 
./output.sh out.sql cp_data tb_base_game_conf /data3/impala_output/tb_base_game_conf.csv
 

1.如果我们只是没有保存查询语句，则只能导出当前结果。其结果中会丢失表名。
 
 原因：
 如果我们没有保存查询结果，那么源则为空，就会导致sql语句中表名为空。
 
 
解决：
 保存查询语句并命名为表名的名称。（注意这个命名就会是导出语句的表名）
 导出结果：选择导出已保存的查询。
 2.选择这个标签，就可以在插入语句中增加列名
 

控制台直接输入以下命令 
 比如导出mysql自带数据库中的user表信息
 
mysql -h127.0.0.1 -uroot -p -e “select *from user” mysql > info.txt 
 输入mysql密码即可
 
-h 数据库服务器地址 
 -u 数据库用户名 
 -p 数据库密码 
 -e 查询条件语句 后面跟上目标数据库（如例子中的mysql） 
 info.txt 导入的目标文件
 
例子：
 
mysql -uxxxx -p -hxxx -e "show databases;use xxx;select user_award_id,user_id,consumer_id,create_time,FROM_UNIXTIME(create_time,'%Y-%m-%d %H:%i:%s') from xxx where xxx = '' and xxx = '' ;" > user.txt

一、问题描述
 
Windows平台的MySQL5.7.12版本使用以下命令导出查询结果到Excel文件时，会出现问题
 
select sid, sname, age from student
into outfile 'D:/Files/student.xlsx';
 
ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement
 
二、查明原因
 
通过查阅官方文档：https://dev.mysql.com/doc/refman/5.7/en/server-system-variables.html，可以知道导出导入文件的相关操作会受到全局变量secure-file-priv的限制，如load data命令、select ... into outfile ...语句、LOAD_FILE()函数等。
 
具体怎么影响如文档所说：
 
secure_file_priv may be set as follows:

If empty, the variable has no effect. This is not a secure setting.

If set to the name of a directory, the server limits import and export operations to work only with files in that directory. The directory must exist; the server will not create it.

If set to NULL, the server disables import and export operations.
 
所以，估计是secure_file_priv的值被设置为null的原因
 
mysql> show global variables like '%secure_file_priv%';
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| secure_file_priv | NULL  |
+------------------+-------+
1 row in set (0.00 sec)
 
三、解决问题
 
修改配置文件上的secure_file_priv值
 
1、首先找到MySQL在使用的配置文件my.ini
 
mysql> select @@basedir;
+----------------------------------------+
| @@basedir                              |
+----------------------------------------+
| D:\Software\MySQL\mysql-5.6.43-winx64\ |
+----------------------------------------+
1 row in set (0.00 sec)
 
my.ini就在安装目录下，不过有的人有可能安装MySQL时的配置问题，导致MySQL读的不是安装路径下的my.ini文件（如下面链接所示），这种情况只要修改那个配置文件即可。
 
https://blog.csdn.net/qq_41604269/article/details/80780581
 
2、打开my.ini
 
secure_file_priv=
 
也就是设置为对文件的导入导出不做任何限制
 
3、重启MySQL服务
 
在cmd下依次执行以下命令
 
net stop mysql
 
net start mysql
 
此时，再执行原先的导出文件命令就没有问题了
 
 
 
参考链接：
 
https://dev.mysql.com/doc/refman/5.7/en/server-system-variables.html
 
https://stackoverflow.com/questions/32737478/how-should-i-tackle-secure-file-priv-in-mysql