一、repo介绍

repo命令行工具，是一个python脚本，对git部分命令进行封装，简化了对多个git版本库的管理，通过配置manifests配置文件，可以将很多个git仓库有效的进行组织管理。最开始是用在Android源码的管理上，目前被广泛使用。

二、repo使用

初始化命令：
repo init -u [<OPTIONS>]

-u: 指定连接到的manifest仓库地址
-m: 选择仓库中某个manifest文件，如果没有设置，就使用default.xml
-b: 选择一个maniest仓库中的一个特殊的分支或修正版本

例如：

mkdir repo_test
cd repo_test
repo init -u http://github.com/repotest.git -b testrepo

其中repotest.git 仓库是一系列需要拉取的git仓库配置default.xml

<?xml version="1.0" encoding="UTF-8"?>  

<manifest>  
    <remote name="origin" fetch="http://github.xxx.com" />
    <default revision="master" remote="origin" />
    <project name="myproject/repotest"  revision="master" path="test" />
    <project name="myproject/repotest1"  revision="master" path="test1" />
    <project name="myproject/repotest2"  revision="master" path="test2" />
</manifest>

执行完这个命令后，会在当前文件夹创建一个 .repo 文件夹，然后才能执行一系列repo的命令。

下代码命令：
repo sync -c -j4

-j ： 多任务，一般8核心可以开到16任务,过多会起反作用
-c： 只下载当前分支代码
-d： 让工程回退到manifest指定的版本
-f： 如果某个工程同步失败，继续同步

三、repo常用命令

在初始化的带.repo目录的文件夹下执行repo help，显示常用命令如下：

usage: repo COMMAND [ARGS]
The most commonly used repo commands are:
  abandon        Permanently abandon a development branch
  branch         View current topic branches
  branches       View current topic branches
  checkout       Checkout a branch for development
  cherry-pick    Cherry-pick a change.
  diff           Show changes between commit and working tree
  diffmanifests  Manifest diff utility
  download       Download and checkout a change
  gitc-delete    Delete a GITC Client.
  gitc-init      Initialize a GITC Client.
  grep           Print lines matching a pattern
  info           Get info on the manifest branch, current branch or unmerged branches
  init           Initialize repo in the current directory
  list           List projects and their associated directories
  overview       Display overview of unmerged project branches
  prune          Prune (delete) already merged topics
  rebase         Rebase local branches on upstream branch
  smartsync      Update working tree to the latest known good revision
  stage          Stage file(s) for commit
  start          Start a new branch for development
  status         Show the working tree status
  sync           Update working tree to the latest revision
  upload         Upload changes for code review
See 'repo help <command>' for more information on a specific command.
See 'repo help --all' for a complete list of recognized commands.

Hive 用 是一种用 SQL  语句来协助读写、管理存储在分布式存储系统上的大数据集的数据仓库软件。 

                                                                                                                                    ---<<Hive简明教程>>

名词解释：

• Hive：通过把HDFS中的文件映射为一张张表，让开发人员可以通过sql以操作普通数据库的方式操作分布式系统中的数据文件，简单方便。

Hive的几个特点：

(1) Hive 最大的特点是 Hive 通过类 SQL 来分析大数据，而避免了写 MapReduce Java 程序来分析数据，这样使得分析数据更容易。
(2) 数据是存储在 HDFS 上的，Hive 本身并不提供数据的存储功能
(3) Hive 是将数据映射成数据库和一张张的表，库和表的元数据信息一般存在关系型数据库上（比如 MySQL）。
(4) 数据存储方面：他能够存储很大的数据集，并且对数据完整性、格式要求并不严格。
(5) 数据处理方面：不适用于实时计算和响应，使用于离线分析。

Hive的实质：

通过Hive，开发人员可以利用sql创建数据库，创建表，并写入数据，其实这一系列操作都是在操作HDFS文件，例如建立一个数据库，就是在HDFS中建立一个新的文件，即Hive其实就是对分布式文件系统的各种操作进行了封装，并以sql的形式给开发人员使用。

Hive把数据存在HDFS中，而把元数据存在关系型数据库中，例如mysql。

Hive表：

类似于关系型数据库中表，可以在表上执行filter，join和union等操作。另外，同一张表的数据都存放在一个HDFS目录下，

Hive中创建的表有两种不同类型，一种是内部表，一种叫做外部表。他们的区别主要体现在LOAD和DROP两个命令中。

内部表：

内部表在执行LOAD命令时，会把数据移动到自己的数据仓库中，也就是移动到自身这个表对应的HDFS文件中，执行DROP时，不仅会删除存储在关系型数据库中的元数据，还会把数据仓库也就是自身这个表对应的HDFS文件删除。

外部表：

创建外部表时，需要在创建表时加EXTERNAL关键字，外部表在执行LOAD命令时，不会移动数据，而是构建一个指向数据原地址的引用，而且它不会去检查数据是否存在，这就让我们可以先建表，再在LOAD指向的位置构建我们的数据，执行DROP命令时，只删除存储在关系型数据库中的元数据，而不对引用位置的真正数据做任何操作。

表内部的分区和分桶：

由于大数据数据量庞大的特点，所以Hive对每个表又划分了区和桶，这样一来，就可以加快对表内数据的查找速度，毕竟在一亿条数据的表里查找某一条数据，速度实在太慢，但如果能根据一定的规则，把这一亿数据划分成十个区，每个区一千万条数据，再把每个区的一千万条数据分为十个桶，这样，我们就可以根据要查找信息的特点，去指定表的指定分区的指定桶中查找，就变成了在一百万条数据中查找一条我们要的数据，速度一下子就加快了很多。

分区：

每张表可以按照某列或某几列进行分区管理，每个分区以文件夹的形式单独存在表文件夹的目录下。比如，典型的按时间分区。分区可以避免整表的扫描，从而提升查询效率，这在超大数据集场景下效果尤为明显。分区是在创建表的时候用PARTIONED BY定义的。

分桶：

对于每张表或者每个分区，可以进一步细分为桶。分桶会为数据增加额外的结构以获得更高效的查询处理。默认对某一列进行hash，使用哈希值对桶的个数求模取余，确定哪一条记录进入哪一个桶。例如，根据用户id来划分桶， 这样在所有用户的集合上做基于用户的查询速度就可以得到快速提升。每个桶的数据存为分区目录下的一个文件。分桶主要是可以使得map-side join更加高效。分桶是在创建表的时候CLUSTERED BY来指定划分桶所用的列和要划分的桶的个数。