文本的创建和追加 就是往一个文本写内容
 
文件格式常用为：*.txt，*.csv
 
在易语言中创建文本的命令，就是：写到文件（），要追加文本，思路上就是先把文件中的数据读入变量，再把要追加的文本加在变量中，一起写到文件就是了。
 
具体的代码如下：
 
 
注：原贴地址来源于精易论坛，如有不妥，请删贴处理。
 
原贴地址：https://bbs.125.la/forum.php?mod=viewthread&tid=14153349
 
 

内部表
 
创建hive内部表
 create table test_01(id bigint, name string ) row format delimited fields terminated by ',';
 默认记录和字段分隔符：
  
 \n   每行一条记录
  
 ^A    分隔列（八进制 \001）
  
 ^B    分隔ARRAY或者STRUCT中的元素，或者MAP中多个键值对之间分隔（八进制 \002）
  
 ^C    分隔MAP中键值对的“键”和“值”（八进制 \003）
  
  
  
 自定义分隔符：
  
 CREATE TABLE test(
  
     ……
  
 )
  
 ROW FORMAT DELIMITED
  
 FIELDS TERMINATED BY '\001'
  
 COLLECTION ITEMS TERMINATED BY '\002'
  
 MAP KEYS TERMINATED BY '\003'
  
 LINES TERMINATED BY '\n'
 创建测试数据文件
 vi test_01;
  
 1,test1
 2,test2
 3,test3
 4,test4
 5,test5
 6,test6
 7,test7
 将数据文件上传到hdfs并加载到hive,发现hdfs中的文件会被移动到hive表目录，而不是拷贝
 hdfs dfs -put test_01 /test
 load data inpath '/test/test_01' into table test_01;
 再次上传并加载，会追加数据到hive表中，并且hive目录存在test_01和test_01_copy_1两个文件
 hdfs dfs -put test_01 /test
 load data inpath '/test/test_01' into table test_01;
 再次上传并使用overwrite加载，原先的test_01/test_01_copy_1两个文件会先被删除，新文件test_02被移动到hive表目录中
 hdfs dfs -put test_01 /test/test_02
 load data inpath '/test/test_02' overwrite into table test_01;
 删除表后目录文件及meta数据都会被删除
 drop table test_01;
 外部表
 
创建hive外部表,如果指定location 'xxx'会在hdfs中创建对应目录并将load的文件移动至该目录下，否则会在hive表下创建test_02目录并装载文件
 create EXTERNAL table test_02(id bigint, name string) row format delimited fields terminated by ',';
 将数据文件上传到hdfs并加载到hive
 hdfs dfs -put test_01 /test
 load data inpath '/test/test_01' into table test_02;
 删除表后目录及文件依然存在，只会删除test_02的meta数据，再次创建表即可查询历史数据
 drop table test_02;
 --------------------- 
 作者：白开水v5 
 来源：CSDN 
 原文：https://blog.csdn.net/xiongbingcool/article/details/82982099 
 版权声明：本文为博主原创文章，转载请附上博文链接！

一、HQL 数据操作
 
 
本方内容来源《Hadoop海量数据处理技术详解与项目实战》人民邮电出版社 
 建库建表等参考这里 
 http://blog.csdn.net/xundh/article/details/71404376#t4
 
1.装载数据
 
LOAD DATA INPATH '/user/hadoop/o' INTO TABLE test;
 
如果test表是一个分区表，则在HQL中指定区分：
 
LOAD DATA INPATH '/USER/HADOOP/O' OVERWRITE INTO TABLE test3 PARTITION(part="a");
 
从本地直接加载数据表表中
 
LOAD DATA LOCAL INPATH '/HOME/HADOOP/O' INTO TABLE test;
 
Hive在加载数据时不会对数据格式进行任何的验证，需要用户自己保证数据格式与表定义的格式一致。
 
2.通过查询语句向表中插入数据
 
INSERT OVERWRITE TABLE test SELECT * FROM source;
 
同样，当test是分区表时，必须指定分区
 
INSERT OVERWRITE TABLE test PARTITION (part='a') SELECT id,name FROM source;
 
Hive0.7以后开始支持INSERT INTO，追加的方式。
 
通过一次查询，产生多个不相交的输出
 
FROM source
INSERT OVERWRITE TABLE test PARTITION (part='a')
SELECT id,name WHERE id>=0 AND id<100
INSERT OVERWRITE TABLE test PARTITION (part='b')
SELECT id,name WHERE id>=100 AND id<200
...
 
这样只通过一次对source表的查询，就将符合条件的数据插入test表的各个分区。要使用这个特性，FROM子句要写在前面。
 
3.利用动态分区向表中插入数据
 
支持基于查询参数自动推断出需要创建的分区
 
INSERT OVERWRITE TABLE test PARTITION(time) SELECT id,modify_time FROM source;
 
Hive 会根据SELECT语句中的最后一个查询字段作为动态分区的依据，而不是根据字段名来选择。如果指定了n 个动态分区的字段，Hive会将select语句中最后n个字段作为动态分区的依据。 
 上述语句，Hive会根据modify_time不同的值创建分区。 
 Hive默认没有开启动态分区，开启语句：
 
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nostrict; 允许所有分区都是动态的
 
hive.exec.max.dynamic.partitions.pernode 每个Mapper或Reducer可以创建的最大分区数
hive.exec.max.dynamic.partitions 一条动态分区创建语句能够创建的最大分区数
hive.exec.max.created.files 一个MapReduce作业能够创建的最大文件数
 
4.通过CTAS加载数据
 
CREATE TABLE test AS SELECT id,name FROM source;
 
5.导出数据
 
INSERT OVERWRITE DIRECTORY '/user/hadoop/r' SELECT * FROM test;
INSERT OVERWRITE LOCAL DIRECTORY '/home/hadoop/r' SELECT * FROM test;
 
如果Hive表中的数据正好满足用户需要的数据格式，可以直接复制
 
hadoop dfs -cp /user/hive/warehouse/source_table /user/hadoop/
 
6.删除分区
 
ALTER TABLE shphonefeature DROP IF EXISTS PARTITION(year = 2015, month = 10, day = 1);删除掉指定分区
 
二、数据查询
 
1.SELECT
 
SELECT col1,col2 FROM table;
SELECT t.col1 c1,t.col2 c2 FROM table t;
 
2.嵌套查询
 
SELECT l.name,r.course FROM (SELECT id,name FROM left) l JOIN (select id ,course FROM right) r ON l.id=r.id;
 
3.正则表达式选择列
 
SELECT 'user.*' FROM test; 如列：user.name,user.age将被返回
 
4.限制数量
 
SELECT * FROM test LIMIT 100;
 
5.需要对某列值处理
 
SELECT id,name,sex,
CASE
 WHEN sex='M' THEN '男'
 WHEN sex='F' THEN '女'
 ELSE '无效数据'
END
FROM student;
 
6.条件限制
 
支持常见的=、<>,!=,A IS NULL,A [NOT] LIKE B,A RLIKE B,A REGEXP B等
 
SELECT * FROM student WHERE age=18;
 
7.分组、聚合
 
SELECT COUNT(*) FROM student GROUP BY age;
SELECT AVG(age) FROM student GROUP BY classId;
SELECT name,AVG(age) FROM student where sex='F' GROUP BY classId HAVING AVG(age)>18;
 
8.JOIN
 
INNER JOIN内连接
LEFt/RIGHT OUTER JOIN左/右外连接
FULL OUTER JOIN 全外连接
LEFT-SEMI JOIN 左半连接
map-side  JOIN map阶段，将小表读到内存中去，直接在map端join。用户可以通过设置hive.auto.convert.join=true来开启自动优化，通过hive.mapjoin.smalltable.filesize来定义小表的大小，默认为25000000字节。
多表JOIN
 
9.ORDER BY和 SORT BY
 
当reducer的个数为1时，两者相同。
当reducer个数不止一个时，输出结果会有重合。SORT BY是控制每个reducer内的排序。
 
10.DISTRIBUTE BY和SORT BY
 
DISTRIBUTE BY可以控制某些数据进入同一个Reducer，这样经过SORT BY以后，可以得到全局排序的结果。
SELECT col1,col2 FROM ss DISTRIBUTE BY col1 SORT BY col1,col2;
 
11.CLUSTER BY
 
如果在使用DISTRIBUTE BY 和SORT BY语句时，DISTRIBUTE BY和SORT BY涉及的列完全相同，并且采用升序排列，可以使用CLSTER BY代替DISTRIBUTE BY和SORT BY。
 
12.分桶和抽样
 
有时候需要对数据进行抽样，Hive提供了对表分桶抽样
 
SELECT * FROM  test TABLESAMPLE(BUCKET 3 OUT OF 10 ON id);
 
对于BUCKET x OUT OF y ON z，其中y表示y个桶，x表示取第x个桶，z表示分桶的依据是将z列的哈希值散列再除以y的余数。如果不指定z，可以采取随机列抽样的方式。
 
SELECT * FROM test TABLESAMPLE(BUCKET 3 OUT OF 10 ON RAND());
 
在建表时，可以指定为分桶表，那在抽样会更加高效
 
set hive.enforce.bucketing=true;
CREATE TABLE buckettable (id INT) CLUSTERED BY (id) INTO 4 BUCKETS;
 
该表将被划分为4个桶，然后执行INSERT语句
 
INSET OVERWRITE TABLE buckettable SELECT * FROM source;
 
数据将被划分为4个文件存放在表路径下，每个文件代表一个桶。
 
13.UNION ALL
 
SELECT r.id,r.price
FROM(
 SELECT m.id,m.price FROM monday m
UNION ALL
 SELECT t.id,t.price FROM tuesday t)r
 
Hive不支持直接UNION ALL，必须进行嵌套查询。

 
文章目录
 
文章导语
实现过程
文章结语
   
  
 

 
文章导语
 
 
 
今年暑假系里给每个同学布置了一篇学年论文，就想着怎么也得弄点数据撑撑排面吧，一开始我是不想爬的，然后就在网上各种找接口，找了半天，不是不能用就是获取的数据只是实时的，无法获得历史数据，哎，既然没办法，就只能爬了，顺便就在一个群里问了一下端口的事，然后开始准备工作，等网页分析完了，开始敲代码的时候，又看了一下手机，有个道友说tushare里面有接口，虽然tushare用了也挺多次吧，但是没发现有汇率的接口啊，我又抱着希望去看了看，果不其然，还真有。但是回头一想，网页都分析完了，干脆写完得了。二话不说，写吧！
 
 
实现过程
 
#! /usr/bin/env/ python
# -*- coding:UTF-8 -*-
# Author: Zhu Huaren

import requests
from lxml import etree
import time
import xlrd
from xlutils.copy import copy

proxy = {
    'HTTP': 'HTTP://180.125.70.78:9999',
    'HTTP': 'HTTP://117.90.4.230:9999',
    'HTTP': 'HTTP://111.77.196.229:9999',
    'HTTP': 'HTTP://111.177.183.57:9999',
    'HTTP': 'HTTP://123.55.98.146:9999',
        }
row = 0
for n in range(1,50):  #  抓取页码范围
    form_data = {
        'erectDate': '2009-07-01',
        'nothing': '2019-07-08',
        'pjname': '1316',  # 美元兑人民币代码，修改此代码可获得其他货币兑人民币汇率
        'page': n,
    }
    url = 'http://srh.bankofchina.com/search/whpj/search.jsp'
    res = requests.post(url=url, data=form_data,proxies=proxy)
    html = etree.HTML(res.text)

    for j in range(2, 22):
        m_n = html.xpath('//tr[{}]/td[1]/text()'.format(j))
        s_e_p = html.xpath('//tr[{}]/td[2]/text()'.format(j))
        c_p = html.xpath('//tr[{}]/td[3]/text()'.format(j))
        s_e_sp = html.xpath('//tr[{}]/td[4]/text()'.format(j))
        c_s = html.xpath('//tr[{}]/td[5]/text()'.format(j))
        bank_count_p = html.xpath('//tr[{}]/td[6]/text()'.format(j))
        date = html.xpath('//tr[{}]/td[7]/text()'.format(j))
        row = row + 1
        workbook = xlrd.open_workbook('money.xls')  # 创建工作表
        workbook_copy = copy(workbook)  # 向工作表内追加内容
        worksheet = workbook_copy.get_sheet(0)
        worksheet.write(0, 0, '货币名称')
        worksheet.write(0, 1, '现汇买入价')
        worksheet.write(0, 2, '现钞买入价')
        worksheet.write(0, 3, '现汇卖出价')
        worksheet.write(0, 4, '现钞卖出价')
        worksheet.write(0, 5, '中行折算价')
        worksheet.write(0, 6, '发布时间')
        worksheet.write(row, 0, ''.join(m_n))  # 将列表格式转换为字符串
        worksheet.write(row, 1, ''.join(s_e_p))
        worksheet.write(row, 2, ''.join(c_p))
        worksheet.write(row, 3, ''.join(s_e_sp))
        worksheet.write(row, 4, ''.join(c_s))
        worksheet.write(row, 5, ''.join(bank_count_p))
        worksheet.write(row, 6, ''.join(date))
        workbook_copy.save('money.xls')
    print('第{}页爬取完成...'.format(n))
time.sleep(1)
 
 
 
获取数据的界面
 
 
 
 
 
获取的数据，我就先爬了1000多条，等用的时候再爬吧。
 
 
 
文章结语
 
 
 
最后我再说说我踩的坑吧，第一个就是在网页开发工具上复制的xpath路径竟然不能直接用，比如说这个把，复制xpath路径的时候，它会自动优化，把一些网页源码没有的节点自动补齐，当你用这个路径提取内容的时候肯定提取不出来。还有一个就是追加写入Excel，这个就不多说了吧。
 总结下来一句话：
 只有当你踩的坑多了，你才有机会踩下一个坑，否则你连下一个坑都见不到。