答：管道、消息队列、信号量、共享内存、套接字

• 无名管道( pipe )：管道是一种半双工的通信方式，数据只能单向流动，而且只能在具有亲缘关系的进程间使用。进程的亲缘关系通常是指父子进程关系。
• 高级管道(popen)：将另一个程序当做一个新的进程在当前程序进程中启动，则它算是当前程序的子进程，这种方式我们成为高级管道方式。
• 有名管道 (named pipe) ： 有名管道也是半双工的通信方式，但是它允许无亲缘关系进程间的通信。
• 消息队列( message queue ) ： 消息队列是由消息的链表，存放在内核中并由消息队列标识符标识。消息队列克服了信号传递信息少、管道只能承载无格式字节流以及缓冲区大小受限等缺点。
• 信号量( semophore ) ： 信号量是一个计数器，可以用来控制多个进程对共享资源的访问。它常作为一种锁机制，防止某进程正在访问共享资源时，其他进程也访问该资源。因此，主要作为进程间以及同一进程内不同线程之间的同步手段。
• 信号 ( sinal ) ： 信号是一种比较复杂的通信方式，用于通知接收进程某个事件已经发生。
• 共享内存( shared memory ) ：共享内存就是映射一段能被其他进程所访问的内存，这段共享内存由一个进程创建，但多个进程都可以访问。共享内存是最快的 IPC 方式，它是针对其他进程间通信方式运行效率低而专门设计的。它往往与其他通信机制，如信号两，配合使用，来实现进程间的同步和通信。
• 套接字( socket ) ： 套解口也是一种进程间通信机制，与其他通信机制不同的是，它可用于不同机器间的进程通信。
• 
  
  
  

  进程间通信IPC：
  https://www.cnblogs.com/CheeseZH/p/5264465.html
  总结：

  进程间通信（IPC，InterProcess Communication）是指在不同进程之间传播或交换信息。

  IPC的方式通常有管道（包括无名管道和命名管道）、消息队列、信号量、共享存储、Socket、Streams等。其中 Socket和Streams支持不同主机上的两个进程IPC。

  一、管道

  管道，通常指无名管道，是 UNIX 系统IPC最古老的形式。

  1、特点：

  1. 它是半双工的（即数据只能在一个方向上流动），具有固定的读端和写端。

  2. 它只能用于具有亲缘关系的进程之间的通信（也是父子进程或者兄弟进程之间）。

  3. 它可以看成是一种特殊的文件，对于它的读写也可以使用普通的read、write 等函数。但是它不是普通的文件，并不属于其他任何文件系统，并且只存在于内存中。

   

  二、FIFO

  FIFO，也称为命名管道，它是一种文件类型。

  1、特点

  1. FIFO可以在无关的进程之间交换数据，与无名管道不同。

  2. FIFO有路径名与之相关联，它以一种特殊设备文件形式存在于文件系统中。

   

  三、消息队列

  消息队列，是消息的链接表，存放在内核中。一个消息队列由一个标识符（即队列ID）来标识。

  1、特点

  1. 消息队列是面向记录的，其中的消息具有特定的格式以及特定的优先级。

  2. 消息队列独立于发送与接收进程。进程终止时，消息队列及其内容并不会被删除。

  3. 消息队列可以实现消息的随机查询,消息不一定要以先进先出的次序读取,也可以按消息的类型读取。

   

  四、信号量

  信号量（semaphore）与已经介绍过的 IPC 结构不同，它是一个计数器。信号量用于实现进程间的互斥与同步，而不是用于存储进程间通信数据。

  1、特点

  1. 信号量用于进程间同步，若要在进程间传递数据需要结合共享内存。

  2. 信号量基于操作系统的 PV 操作，程序对信号量的操作都是原子操作。

  3. 每次对信号量的 PV 操作不仅限于对信号量值加 1 或减 1，而且可以加减任意正整数。

  4. 支持信号量组。

   

  五、共享内存

  共享内存（Shared Memory），指两个或多个进程共享一个给定的存储区。

  1、特点

  1. 共享内存是最快的一种 IPC，因为进程是直接对内存进行存取。

  2. 因为多个进程可以同时操作，所以需要进行同步。

  3. 信号量+共享内存通常结合在一起使用，信号量用来同步对共享内存的访问。

  进程间的五种通信方式介绍

   

Hadoop中的文件格式大致上分为面向行和面向列两类：

• 面向行：同一行的数据存储在一起，即连续存储。SequenceFile,MapFile,Avro Datafile。采用这种方式，如果只需要访问行的一小部分数据，亦需要将整行读入内存，推迟序列化一定程度上可以缓解这个问题，但是从磁盘读取整行数据的开销却无法避免。面向行的存储适合于整行数据需要同时处理的情况。

• 面向列：整个文件被切割为若干列数据，每一列数据一起存储。Parquet , RCFile,ORCFile。面向列的格式使得读取数据时，可以跳过不需要的列，适合于只处于行的一小部分字段的情况。但是这种格式的读写需要更多的内存空间，因为需要缓存行在内存中（为了获取多行中的某一列）。同时不适合流式写入，因为一旦写入失败，当前文件无法恢复，而面向行的数据在写入失败时可以重新同步到最后一个同步点，所以Flume采用的是面向行的存储格式。

下面介绍几种相关的文件格式，它们在Hadoop体系上被广泛使用：

1. SequenceFile

SequenceFile的文件结构如下：

根据是否压缩，以及采用记录压缩还是块压缩，存储格式有所不同：

• 不压缩：
  按照记录长度、Key长度、Value程度、Key值、Value值依次存储。长度是指字节数。采用指定的Serialization进行序列化。

• Record压缩：
  只有value被压缩，压缩的codec保存在Header中。

• Block压缩：
  多条记录被压缩在一起，可以利用记录之间的相似性，更节省空间。Block前后都加入了同步标识。Block的最小值由io.seqfile.compress.blocksize属性设置。
  

2. MapFile

MapFile是SequenceFile的变种，在SequenceFile中加入索引并排序后就是MapFile。索引作为一个单独的文件存储，一般每个128个记录存储一个索引。索引可以被载入内存，用于快速查找。存放数据的文件根据Key定义的顺序排列。
MapFile的记录必须按照顺序写入，否则抛出IOException。

MapFile的衍生类型：

• SetFile:特殊的MapFile，用于存储一序列Writable类型的Key。Key按照顺序写入。
• ArrayFile：Key为整数，代表在数组中的位置，value为Writable类型。
• BloomMapFile：针对MapFile的get()方法，使用动态Bloom过滤器进行优化。过滤器保存在内存中，只有带key值存在的时候，才会调用常规的get()方法，真正进行读操作。

Hadoop体系下面向列的文件包括RCFile，ORCFile，Parquet的。Avro的面向列版本为Trevni。

3. RCFile

Hive的Record Columnar File,这种类型的文件先将数据按行划分成Row Group，在Row Group内部，再将数据按列划分存储。其结构如下：

相比较于单纯地面向行和面向列：

更详细的介绍参考RCFile论文。

4. ORCFile

RCFile（Optimized Record Columnar File)提供了一种比RCFile更加高效的文件格式。其内部将数据划分为默认大小为250M的Stripe。每个Stripe包括索引、数据和Footer。索引存储每一列的最大最小值，以及列中每一行的位置。

在Hive中，如下命令用于使用ORCFile：

CREATE TABLE ... STORED AAS ORC
ALTER TABLE ... SET FILEFORMAT ORC
SET hive.default.fileformat=ORC

5. Parquet

一种通用的面向列的存储格式，基于Google的Dremel。特别擅长处理深度嵌套的数据。

对于嵌套结构，Parquet将其转换为平面的列存储，嵌套结构通过Repeat Level和Definition Level来表示（R和D），在读取数据重构整条记录的时候，使用元数据重构记录的结构。下面是R和D的一个例子：

AddressBook {
  contacts: {
    phoneNumber: "555 987 6543"
  }
  contacts: {
  }
}
AddressBook {
}