HIVE ARCHIVE

由于HDFS的设计，文件系统中的文件数量直接影响namenode中的内存消耗。虽然对于小型集群来说通常不是问题，但是当大于500万到1000万个文件时，内存使用量可能会在单台机器上达到可访问内存的限制。在这种情况下，拥有尽可能少的文件是有利的。 

hive中的Archive实际上就是使用Hadoop Archive (HAR)，下边先介绍Hadoop Archive (HAR)



Hadoop Archive

Hadoop Archive是一种特殊的归档格式，Hadoop Archive映射到文件系统目录，一个HAR以扩展名.har结尾，一个HAR目录包含元数据（以_index和_masterindex的形式）和data（part- *）文件。 _index文件包含文件名称，这些文件时归档的一部分，并且包含这些文件在归档中的位置。

hadoop archive -archiveName name -p <parent> <src>* <dest>


-archiveName用来指定你想创建的归档名称，parent用来指定需要归档文件的相对路径的父参数。需要注意的是归档是一个map/reduce。如下使用例子：

hadoop archive -archiveName zoo.har -p /foo/bar a/b/c e/f/g /outputdir


在以上例子中/foo/bar是a/b/c, e/f/g的父目录。如果你想直接对一个目录进行归档，可以直接使用如下命令：

hadoop archive -archiveName zoo.har -p /foo/bar /outputdir


档案（archive）属于文件系统层，使用不同的URI，在档案中可以使用所有的fs shell命令，需要注意的是档案是不可变的，不能够被删除，重命名和创建。HAR的URI格式如下所示：

har://scheme-hostname:port/archivepath/fileinarchive


若是没有提供scheme-hostname，它会使用默认的文件系统。这种情况下URI是这种形式：

har:///archivepath/fileinarchive


若是使用如下命令创建档案：

hadoop archive -archiveName foo.har -p /user/hadoop dir1 dir2 /user/zoo


则使用hadoop dfs -ls har:///user/zoo/foo.har命令查看是会显示：

har:///user/zoo/foo.har/dir1
har:///user/zoo/foo.har/dir2


若是使用另外一种方式来创建档案：

hadoop archive -archiveName foo.har -p /user/ hadoop/dir1 hadoop/dir2 /user/zoo


则使用hadoop dfs -ls har:///user/zoo/foo.har命令查看是会显示：

har:///user/zoo/foo.har/hadoop/dir1
har:///user/zoo/foo.har/hadoop/dir2


这就是我们指定-p参数对结果产生的影响。

在mapreduce中使用har是非常容易的，只需要指定不同的输入文件系统而不是默认的文件系统，如果你有一个har存储在hdfs上/user/zoo/foo.har，若是想使用这个档案作为mr的输入，只需要指定输入路径为 har:///user/zoo/foo.har。

要注意到

归档后源文件依然存在，需要手动删除
创建archive文件要消耗和原文件一样多的硬盘空间
archive文件一旦创建就无法改变，这就意味这你要改一些东西的话，你需要创新创建archive文件
虽然解决了namenode的内存空间问题，但是在执行mapreduce时，把大量归档的文件交给一个map来处理，这样有时是低效的。
HIVE ARCHIVE

Hadoop Archive是减小分区下文件数据的一种方法，hive支持把已存在的分区转换为HAR，是分区下的文件数目大大减少，但是因为从HAR读数据需要额外的开销，因此查询归档下的数据可能会变慢。 

若是使用了归档，以下三个配置文件需要使用。

hive> set hive.archive.enabled=true;
hive> set hive.archive.har.parentdir.settable=true;
hive> set har.partfile.size=1099511627776;


hive.archive.enabled用来控制归档是否可用，hive.archive.har.parentdir.settable通知Hive在创建归档时是否可以设置父目录，这个配置主要是因为在比较老的hadoop版本(2011之前)，-p选项是不可用的，因此这个选项需要设置为false。har.partfile.size 控制需要归档文件的大小，使用了这个参数后这个归档将会包含 size_of_partition/har.partfile.size(四舍五入)个文件，这个值越大以为值文件数越小，结果文件数越小以为值归档时的reduce数目越小，需要更多的归档时间。

在配置项设置完之后，就可以使用以下命令进行归档。

ALTER TABLE table_name ARCHIVE PARTITION (partition_col = partition_col_value, partition_col = partiton_col_value, ...)

ALTER TABLE srcpart ARCHIVE PARTITION(ds='2008-04-08', hr='12')


也可以对已归档的分区恢复为原文件。

ALTER TABLE srcpart UNARCHIVE PARTITION(ds='2008-04-08', hr='12')


在一些hadoop版本中，HAR有少量的bug存在，这可能导致数据丢失或者其他错误，具体可参考文献2， 

hive中使用归档时需要注意，归档的分区不能够INSERT OVERWRITE，必须先unarchive，若是同时有两个操作尝试归档同样的分区，可能会发生异常（需要实现并发支持）。



参考文献

1.Hadoop Archives Guide 

2.LanguageManual Archiving

什么是归档？

归档（archive）就是将数据整理到外部文件（xml，plist，txt 等）！

在object-c支持的可以进行归档的数据类型为：NSDate, NSNumber, NSString, NSArray, or NSDictionary

先看归档代码吧：

- (NSString *)dataFilePath {

    NSArray *paths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory,NSUserDomainMask, YES);

    NSString *documentsDirectory = [paths objectAtIndex:0];

    return documentsDirectory;

}

NSString *filePath=[self dataFilePath];

    

    NSLog(@"path:%@",filePath);

    // 将数据归档到NSDictionary或NSMutableDictionary

    NSMutableDictionary *dataDictionary=[[NSMutableDictionary alloc] init];

    [dataDictionary setObject:@"My name is Tom" forKey:@"Tom"];

    [dataDictionary setObject:@"My name is LiLei" forKey:@"LiLei"];

    [dataDictionary setObject:@"My name is HanMeimei" forKey:@"HanMeimei"];

    

    NSString *dictionaryName= [filePath stringByAppendingPathComponent:@"NSMutableDictionary"];

    [dataDictionary writeToFile: dictionaryName atomically: YES];

    

    // // 将数据归档到NSArray或NSMutableArray

    NSMutableArray *dataArray=[[NSMutableArray alloc] init];

    [dataArray addObject:@"Tom"];

    [dataArray addObject:@"LiLei"];

    [dataArray addObject:@"HanMeimei"];

    

    NSNumber *number=[[NSNumber alloc] initWithInt:100];

    [dataArray addObject:number];

    NSString *arrayName= [filePath stringByAppendingPathComponent:@"NSMutableArray"];

    [dataArray writeToFile: arrayName atomically: YES];

    

    // 从文件中读取数据到NSDictionary或NSMutableDictionary中

    NSMutableDictionary *newDictionary=[NSMutableDictionarydictionaryWithContentsOfFile:dictionaryName];

    // 从文件中读取数据到NSArray或NSMutableArray中

    NSMutableArray *newArray=[NSMutableArray arrayWithContentsOfFile:arrayName];

    

    for (NSString *theStr in newDictionary) {

        NSLog(@"----%@",theStr);

    }

    

    for (NSString *theStr in newArray) {

        NSLog(@"----%@",theStr);

    }

我们发现，数据被存储到了指定的文件中，这些文件格式为XML。

并且，可以使用响应的方法将XML文件中的内容读取到响应的数据中。

object-c还提供了其他的归档方式。

我们还可以用NSKeyedArchiver方式来进行归档，用NSKeyedUnarchiver相应的方式进行反归档。

贴代码：

// NSKeyedArchiver 将数据归档到NSDictionary或NSMutableDictionary

NSString *dictionaryName= [filePath stringByAppendingPathComponent:@"ArchiverDictionary.archiver"];

    [NSKeyedArchiver archiveRootObject:dataDictionary toFile:dictionaryName];

// NSKeyedArchiver 将数据归档到NSArray或NSMutableArray

NSString *arrayName= [filePath stringByAppendingPathComponent:@"ArchiverArray.archiver"];

    [NSKeyedArchiver archiveRootObject:dataArray toFile:arrayName];

// NSKeyedUnarchiver

    NSMutableDictionary *newDictionary=[NSKeyedUnarchiverunarchiveObjectWithFile:dictionaryName];

    NSMutableArray *newArray=[NSKeyedUnarchiver unarchiveObjectWithFile:arrayName];

如果，我们将自己定义的类对象，进行归档存储到文件中，那该多好！

于是，我们开始归档自己的类。

NSMutableArray *objArray=[NSMutableArray arrayWithObjects:

                              card1,

                              card2,

                              card3,

                              card4,

                              nil];

    

    

    NSString *arrayName=[filePath stringByAppendingPathComponent:@"ObjectFile"];

    

    BOOL isSuccess= [objArray writeToFile:arrayName atomically:YES];

    

    if (isSuccess) {

        NSLog(@"Success");

    }else{

        NSLog(@"False");

    }

   

    isSuccess= [NSKeyedArchiver archiveRootObject:objArray toFile:arrayName];

    if (isSuccess) {

        NSLog(@"Success");

    }else{

        NSLog(@"False");

    }

很遗憾，我们没有成功！甚至报错了！

'NSInvalidArgumentException', reason: '-[AddressCard encodeWithCoder:]: unrecognized selector sent to instance 0x1188ef60'

原来，默认情况下，只能对NSDate, NSNumber, NSString, NSArray, or NSDictionary来进行归档。

如果要归档我们自定义的对象，程序不知道到如何进行编码/解码操作！所以就Error了。

问题发现了，原来需要编码/解码操作！还等什么，向编码/解码操作进发！！！

NSCoding协议-编码/解码

 

 

 


承接Matlab、Python和C++的编程，机器学习、计算机视觉的理论实现及辅导，本科和硕士的均可，咸鱼交易，专业回答请走知乎，详谈请联系QQ号757160542，非诚勿扰。

Q：Xcode Archive后无法导出ipa包，Archive Type为Generic Xcode Archive

A: 在所有依赖的库的工程作如下三点处理：
1、将Build Settings→Deployment→Skip Install 设置为 YES，但项目的Skip Install却要保持为NO。
2、将Build Phases→Copy Headers中的所有头文件拉到Project下，即Public和Private下不能有文件。
3、清空Build Settings→Deployment→Installation Directory选项的内容。
 再Archive后，Archive Type为iOS App Archive。

#查看支持的归档格式有tar、tgz、tar.gz、zip

git archive --list 

 

#导出最新的版本库

git archive -o ../latest.zip HEAD

#导出一个目录

git archive -o ../git-1.4.0-docs.zip  HEAD:Documentation/ 

 

#导出指定提交记录

git archive -o ../git-1.4.0.tar 8996b47 

 #导出为tar.gz格式

git archive   8996b47 | gzip > ../git-1.4.0.tar.gz

 

导出最后一次提交修改过的文件 

git archive -o ../updated.zip HEAD $(git diff --name-only HEAD^)