HIVE ARCHIVE

由于HDFS的设计，文件系统中的文件数量直接影响namenode中的内存消耗。虽然对于小型集群来说通常不是问题，但是当大于500万到1000万个文件时，内存使用量可能会在单台机器上达到可访问内存的限制。在这种情况下，拥有尽可能少的文件是有利的。 

hive中的Archive实际上就是使用Hadoop Archive (HAR)，下边先介绍Hadoop Archive (HAR)



Hadoop Archive

Hadoop Archive是一种特殊的归档格式，Hadoop Archive映射到文件系统目录，一个HAR以扩展名.har结尾，一个HAR目录包含元数据（以_index和_masterindex的形式）和data（part- *）文件。 _index文件包含文件名称，这些文件时归档的一部分，并且包含这些文件在归档中的位置。

hadoop archive -archiveName name -p <parent> <src>* <dest>


-archiveName用来指定你想创建的归档名称，parent用来指定需要归档文件的相对路径的父参数。需要注意的是归档是一个map/reduce。如下使用例子：

hadoop archive -archiveName zoo.har -p /foo/bar a/b/c e/f/g /outputdir


在以上例子中/foo/bar是a/b/c, e/f/g的父目录。如果你想直接对一个目录进行归档，可以直接使用如下命令：

hadoop archive -archiveName zoo.har -p /foo/bar /outputdir


档案（archive）属于文件系统层，使用不同的URI，在档案中可以使用所有的fs shell命令，需要注意的是档案是不可变的，不能够被删除，重命名和创建。HAR的URI格式如下所示：

har://scheme-hostname:port/archivepath/fileinarchive


若是没有提供scheme-hostname，它会使用默认的文件系统。这种情况下URI是这种形式：

har:///archivepath/fileinarchive


若是使用如下命令创建档案：

hadoop archive -archiveName foo.har -p /user/hadoop dir1 dir2 /user/zoo


则使用hadoop dfs -ls har:///user/zoo/foo.har命令查看是会显示：

har:///user/zoo/foo.har/dir1
har:///user/zoo/foo.har/dir2


若是使用另外一种方式来创建档案：

hadoop archive -archiveName foo.har -p /user/ hadoop/dir1 hadoop/dir2 /user/zoo


则使用hadoop dfs -ls har:///user/zoo/foo.har命令查看是会显示：

har:///user/zoo/foo.har/hadoop/dir1
har:///user/zoo/foo.har/hadoop/dir2


这就是我们指定-p参数对结果产生的影响。

在mapreduce中使用har是非常容易的，只需要指定不同的输入文件系统而不是默认的文件系统，如果你有一个har存储在hdfs上/user/zoo/foo.har，若是想使用这个档案作为mr的输入，只需要指定输入路径为 har:///user/zoo/foo.har。

要注意到

归档后源文件依然存在，需要手动删除
创建archive文件要消耗和原文件一样多的硬盘空间
archive文件一旦创建就无法改变，这就意味这你要改一些东西的话，你需要创新创建archive文件
虽然解决了namenode的内存空间问题，但是在执行mapreduce时，把大量归档的文件交给一个map来处理，这样有时是低效的。
HIVE ARCHIVE

Hadoop Archive是减小分区下文件数据的一种方法，hive支持把已存在的分区转换为HAR，是分区下的文件数目大大减少，但是因为从HAR读数据需要额外的开销，因此查询归档下的数据可能会变慢。 

若是使用了归档，以下三个配置文件需要使用。

hive> set hive.archive.enabled=true;
hive> set hive.archive.har.parentdir.settable=true;
hive> set har.partfile.size=1099511627776;


hive.archive.enabled用来控制归档是否可用，hive.archive.har.parentdir.settable通知Hive在创建归档时是否可以设置父目录，这个配置主要是因为在比较老的hadoop版本(2011之前)，-p选项是不可用的，因此这个选项需要设置为false。har.partfile.size 控制需要归档文件的大小，使用了这个参数后这个归档将会包含 size_of_partition/har.partfile.size(四舍五入)个文件，这个值越大以为值文件数越小，结果文件数越小以为值归档时的reduce数目越小，需要更多的归档时间。

在配置项设置完之后，就可以使用以下命令进行归档。

ALTER TABLE table_name ARCHIVE PARTITION (partition_col = partition_col_value, partition_col = partiton_col_value, ...)

ALTER TABLE srcpart ARCHIVE PARTITION(ds='2008-04-08', hr='12')


也可以对已归档的分区恢复为原文件。

ALTER TABLE srcpart UNARCHIVE PARTITION(ds='2008-04-08', hr='12')


在一些hadoop版本中，HAR有少量的bug存在，这可能导致数据丢失或者其他错误，具体可参考文献2， 

hive中使用归档时需要注意，归档的分区不能够INSERT OVERWRITE，必须先unarchive，若是同时有两个操作尝试归档同样的分区，可能会发生异常（需要实现并发支持）。



参考文献

1.Hadoop Archives Guide 

2.LanguageManual Archiving

1. exploded archive (development mode) 
这种叫开发模式这是直接把文件夹,jsp页面 ,classes等等移到tomcat 部署文件夹里面,进行加载部署 
2. Packaged Archive(production mode) 
这种叫发布模式,这是先打成war包,再发布

正好最近做了几个关于 archive 的问题，那么就来简单总结一下关于 archive 的知识吧！

先贴上几个比较有用的 Links 
DATA ARCHIVING PROCESS IN SAP BW 这是一个带图表的例子，说了 archive 的步骤 
BW Archiving 这是SAP 关于 BW archive 的 Wiki 
Archiving Request Administration Data  这个是 Online documention 
BW Request Archiving - Troubleshooting

Archive 主要分为两种

数据 data 的 archive
request 的 archive Archiving Request Information in BW
Request Archive



为什么要进行 request 的 archive

对 request administration data 进行 archive，实际上就是将关于 requests 的 administration 和 log information 存储在一个 archive file 中。这样可以在执行与 requests 相关的操作的时候提升系统性能。

Administration tables and log tables 里面的数据不能删除，因为在系统中做操作的时候会用到，删除这些数据会导致不可预知的后果（例如影响 InfoProvider display data 等等）。但是，每当有新的 request 产生的时候，都会往这些 tables 里面写数据，这样数据越来越多，会影响 performance. 

这个时候 archive 就会是一个很好的选择。

The archives belonging to BWREQARCH must be kept and the corresponding archive files should NEVER be deleted. Certain processes (delta load, initialization, etc) which results the change of the status of an archived requests will automatically reload the requests from the archive.



相关知识

T-Code：SARA

相关的 Tables：

RSREQARCH 
RSREQARCHCTRL 
RSREQARCHDATA 
RSREQARCHDEL  
RSREQARCHMON
RSREQARCHREORG
Note that the administration data (ADK archive runs) for the archiving object BWREQARCH cannot be archived or deleted with the archiving object BC_ARCHIVE. 

注意针对 archive 执行的这些 data 不能被 archive~ 哈哈~

Note 

为了避免 reload 回来，我们推荐的 archive 是三个月前的数据。

Note 

The header table of the requests, table RSREQDONE, is not archived. It contains one record for each request. This record contains information about the status of the archiving.

对于 request 的 archive，如果我们刚开始做 archive 的话，可能就会有几万甚至几十万上百万的 request 信息需要被 archive。 

这个时候会发现，job log 里面只显示了 archive 1万左右（虽然符合我们条件的 request 有更多） 

这个是有一个 Note 在说明这个现象 

950612 - P9; request archiving: Archiving multiple requests as initial

  
Preferably, you can use transaction SARA to periodically schedule the report RSREQARCH_WRITE daily.  
The first 10,000 requests will then be archived on the first day. On the second day the next 10,000 requests will be archived, and so on.
  
  
After the next few days/weeks, the write reports archived all the old requests and only creates a new archive when at least “Min. Number Requests” is met. Therefore, it is now sufficient to periodically schedule the write-delete action once (daily) in transaction SARA. The program then processes the requests automatically.

什么是归档？

归档（archive）就是将数据整理到外部文件（xml，plist，txt 等）！

在object-c支持的可以进行归档的数据类型为：NSDate, NSNumber, NSString, NSArray, or NSDictionary

先看归档代码吧：

- (NSString *)dataFilePath {

    NSArray *paths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory,NSUserDomainMask, YES);

    NSString *documentsDirectory = [paths objectAtIndex:0];

    return documentsDirectory;

}

NSString *filePath=[self dataFilePath];

    

    NSLog(@"path:%@",filePath);

    // 将数据归档到NSDictionary或NSMutableDictionary

    NSMutableDictionary *dataDictionary=[[NSMutableDictionary alloc] init];

    [dataDictionary setObject:@"My name is Tom" forKey:@"Tom"];

    [dataDictionary setObject:@"My name is LiLei" forKey:@"LiLei"];

    [dataDictionary setObject:@"My name is HanMeimei" forKey:@"HanMeimei"];

    

    NSString *dictionaryName= [filePath stringByAppendingPathComponent:@"NSMutableDictionary"];

    [dataDictionary writeToFile: dictionaryName atomically: YES];

    

    // // 将数据归档到NSArray或NSMutableArray

    NSMutableArray *dataArray=[[NSMutableArray alloc] init];

    [dataArray addObject:@"Tom"];

    [dataArray addObject:@"LiLei"];

    [dataArray addObject:@"HanMeimei"];

    

    NSNumber *number=[[NSNumber alloc] initWithInt:100];

    [dataArray addObject:number];

    NSString *arrayName= [filePath stringByAppendingPathComponent:@"NSMutableArray"];

    [dataArray writeToFile: arrayName atomically: YES];

    

    // 从文件中读取数据到NSDictionary或NSMutableDictionary中

    NSMutableDictionary *newDictionary=[NSMutableDictionarydictionaryWithContentsOfFile:dictionaryName];

    // 从文件中读取数据到NSArray或NSMutableArray中

    NSMutableArray *newArray=[NSMutableArray arrayWithContentsOfFile:arrayName];

    

    for (NSString *theStr in newDictionary) {

        NSLog(@"----%@",theStr);

    }

    

    for (NSString *theStr in newArray) {

        NSLog(@"----%@",theStr);

    }

我们发现，数据被存储到了指定的文件中，这些文件格式为XML。

并且，可以使用响应的方法将XML文件中的内容读取到响应的数据中。

object-c还提供了其他的归档方式。

我们还可以用NSKeyedArchiver方式来进行归档，用NSKeyedUnarchiver相应的方式进行反归档。

贴代码：

// NSKeyedArchiver 将数据归档到NSDictionary或NSMutableDictionary

NSString *dictionaryName= [filePath stringByAppendingPathComponent:@"ArchiverDictionary.archiver"];

    [NSKeyedArchiver archiveRootObject:dataDictionary toFile:dictionaryName];

// NSKeyedArchiver 将数据归档到NSArray或NSMutableArray

NSString *arrayName= [filePath stringByAppendingPathComponent:@"ArchiverArray.archiver"];

    [NSKeyedArchiver archiveRootObject:dataArray toFile:arrayName];

// NSKeyedUnarchiver

    NSMutableDictionary *newDictionary=[NSKeyedUnarchiverunarchiveObjectWithFile:dictionaryName];

    NSMutableArray *newArray=[NSKeyedUnarchiver unarchiveObjectWithFile:arrayName];

如果，我们将自己定义的类对象，进行归档存储到文件中，那该多好！

于是，我们开始归档自己的类。

NSMutableArray *objArray=[NSMutableArray arrayWithObjects:

                              card1,

                              card2,

                              card3,

                              card4,

                              nil];

    

    

    NSString *arrayName=[filePath stringByAppendingPathComponent:@"ObjectFile"];

    

    BOOL isSuccess= [objArray writeToFile:arrayName atomically:YES];

    

    if (isSuccess) {

        NSLog(@"Success");

    }else{

        NSLog(@"False");

    }

   

    isSuccess= [NSKeyedArchiver archiveRootObject:objArray toFile:arrayName];

    if (isSuccess) {

        NSLog(@"Success");

    }else{

        NSLog(@"False");

    }

很遗憾，我们没有成功！甚至报错了！

'NSInvalidArgumentException', reason: '-[AddressCard encodeWithCoder:]: unrecognized selector sent to instance 0x1188ef60'

原来，默认情况下，只能对NSDate, NSNumber, NSString, NSArray, or NSDictionary来进行归档。

如果要归档我们自定义的对象，程序不知道到如何进行编码/解码操作！所以就Error了。

问题发现了，原来需要编码/解码操作！还等什么，向编码/解码操作进发！！！

NSCoding协议-编码/解码

 

 

 


承接Matlab、Python和C++的编程，机器学习、计算机视觉的理论实现及辅导，本科和硕士的均可，咸鱼交易，专业回答请走知乎，详谈请联系QQ号757160542，非诚勿扰。