项目中有个分段朗读课文、朗读完成后合成一段音频播放的需求，三下五除二写完发现不少坑，记录一下。
先放录音代码
//录音
-(void)startRecordWithPath:(NSString *)path{
    //如果在录音，停止
    if (_audioRecord.isRecording) {
        [self stopRecord];
    }
    //创建文件保存路径
    NSURL *url = [NSURL URLWithString:path];
    //创建录音格式
    NSDictionary *setting = [self getAudioSetting];
    //创建录音机
    NSError *error = nil;
    _audioRecord = [[AVAudioRecorder alloc] initWithURL:url settings:setting error:&error];
    if (error) {
        NSLog(@"创建错误：%@",error);
    }
    
    //删除掉文件
    [YWFileManager deleteFileWithPath:path];
    //初始化会话,变为使用听筒的录音
    AVAudioSession *audioSession = [AVAudioSession sharedInstance];
    [audioSession setCategory:AVAudioSessionCategoryPlayAndRecord error:nil];
    //开始录制
    if (!_audioRecord.isRecording) {
        [_audioRecord record];
    }
}

这里有个坑，就是会话。

录音的会话playAndRecord会将声音切换到听筒播放，如果像我们一样有需求录音完之后回放一下的话，要在停止录音之后将会话更改回playback，使用扬声器播放。
录音的设置
//录音格式
-(NSDictionary *)getAudioSetting{
    NSMutableDictionary *setting = [NSMutableDictionary dictionary];
    //录音格式
    [setting setValue:@(kAudioFormatLinearPCM) forKey:AVFormatIDKey];
    //通道数
    [setting setValue:@(2) forKey:AVNumberOfChannelsKey];
    //采样率
    [setting setValue:@(11025.0) forKey:AVSampleRateKey];
    //音频质量
    [setting setValue:@(AVAudioQualityMin) forKey:AVEncoderAudioQualityKey];
    
    return setting;
}

停止录音
//停止录音
-(void)stopRecord{
    //结束录音
    [_audioRecord stop];
    //将声音变回使用扬声器播放
    AVAudioSession *audioSession = [AVAudioSession sharedInstance];
    [audioSession setCategory:AVAudioSessionCategoryPlayback error:nil];
}

上面是录音的代码部分，接下来是音频合成。
/**
 拼接音频
 */
-(void)composedAudioWithAudios:(NSArray *)audios toSavePath:(NSString *)savePath completd:(void (^)(NSError *error))completdBlock{
    //如果文件存在，删除
    //1
    if ([YWFileManager fileIsExistWithPath:savePath]) {
        [YWFileManager deleteFileWithPath:savePath];
    }
    AVMutableComposition *composition = [[AVMutableComposition alloc] init];
    //添加一个音频轨道并返回
    AVMutableCompositionTrack *track = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:0];
    
    //设置开始时间
    CMTime beginTime = kCMTimeZero;
    //错误对象
    NSError *error = nil;
    //循环添加音频资源
    for (NSString *filePath in audios) {
        //2.
        AVURLAsset *audioAsset = [[AVURLAsset alloc]initWithURL:[NSURL fileURLWithPath:filePath] options:nil];
        //需要合并的音频文件播放区间
        CMTimeRange audioRange = CMTimeRangeMake(kCMTimeZero, audioAsset.duration);
        //添加
        BOOL success = [track insertTimeRange:audioRange ofTrack:[[audioAsset tracksWithMediaType:AVMediaTypeAudio] objectAtIndex:0] atTime:beginTime error:&error];
        if (!success) {
            NSLog(@"合成失败：%@",error);
            completdBlock(error);
            return ;
        }
        //记录下次的开始时间（这一段尾部）
        beginTime = CMTimeAdd(beginTime, audioAsset.duration);
    }
    
    //导出文件
    AVAssetExportSession *export = [[AVAssetExportSession alloc] initWithAsset:composition presetName:AVAssetExportPresetAppleM4A];
    //设置导出的url
    //3
    export.outputURL = [NSURL fileURLWithPath:savePath];
    //4、导出的文件格式
    export.outputFileType = @"com.apple.m4a-audio";
    //导出
    [export exportAsynchronouslyWithCompletionHandler:^{
            dispatch_async(dispatch_get_main_queue(), ^{
                completdBlock(export.error);
            });
        }];
}

1、如果需求文件可以覆盖，像朗读课文合成音频之后再读一次，文件名不会改变，文件内容发生改变，一定要删除掉原有的文件，再进行合成，音频合成不会直接覆盖源文件，如果储存位置已经有同名文件，error会报这个错误：

Domain=AVFoundationErrorDomain Code=-11823 “无法存储” UserInfo={NSLocalizedRecoverySuggestion=请重试存储。, NSLocalizedDescription=无法存储, NSUnderlyingError=0x282ff4c90 {Error Domain=NSOSStatusErrorDomain Code=-12101 “(null)”}}
2、URL创建时一定要用fileUrlWithPath，不可以使用URLWithString，用这个方法会导致[audioAsset tracksWithMediaType:AVMediaTypeAudio]返回数组为nil，后面插入音轨的时候就会因为数组越界而崩溃。
3、导出时的文件地址也需要用fileURLWithPath这个方法才可以，否则报错。错误信息是AVFoundationErrorDomain Code=-11800， An unknown error occurred (-12780)
4、导出的文件格式和presetName需要对应。

由于讯飞录音是不能把一段很长的话录音出来，只能是一段一段的录,所以要把录出来的pcm数据合成wav文件，录音的采样率是8k, 比特率是16bit,双声道，合并的代码如下:

<span style="font-size:14px;">public static boolean mergePCMFilesToWAVFile(ArrayList<String> fileList,
			String DESTINATION_PATH) {
		File[] file = new File[fileList.size()];
		byte buffer[] = null;

		int TOTAL_SIZE = 0;
		int FILE_NUMBER = fileList.size();

		for (int i = 0; i < FILE_NUMBER; i++) {
			file[i] = new File(fileList.get(i));
			TOTAL_SIZE += file[i].length();
		}

		// 填入参数，比特率等等。这里用的是16位单声道 8000 hz
		WaveHeader header = new WaveHeader();
		// 长度字段 = 内容的大小（TOTAL_SIZE) +
		// 头部字段的大小(不包括前面4字节的标识符RIFF以及fileLength本身的4字节)
		header.fileLength = TOTAL_SIZE + (44 - 8);
		header.FmtHdrLeth = 16;
		header.BitsPerSample = 16;
		header.Channels = 2;
		header.FormatTag = 0x0001;
		header.SamplesPerSec = 8000;
		header.BlockAlign = (short) (header.Channels * header.BitsPerSample / 8);
		header.AvgBytesPerSec = header.BlockAlign * header.SamplesPerSec;
		header.DataHdrLeth = TOTAL_SIZE;

		byte[] h = null;
		try {
			h = header.getHeader();
		} catch (IOException e1) {
			// TODO Auto-generated catch block
			e1.printStackTrace();
		}

		if (h.length != 44) // WAV标准，头部应该是44字节,如果不是44个字节则不进行转换文件
			return false;

		//先删除目标文件
		File destfile = new File(DESTINATION_PATH);
		if(destfile.exists())
			destfile.delete();
		
		//合成所有的pcm文件的数据，写到目标文件
		try {
			buffer = new byte[1024 * 4]; // Length of All Files, Total Size
			InputStream inStream = null;
			OutputStream ouStream = null;

			ouStream = new BufferedOutputStream(new FileOutputStream(
					DESTINATION_PATH));
			ouStream.write(h, 0, h.length);
			for (int j = 0; j < FILE_NUMBER; j++) {
				inStream = new BufferedInputStream(new FileInputStream(file[j]));
				int size = inStream.read(buffer);
				while (size != -1) {
					ouStream.write(buffer);
					size = inStream.read(buffer);
				}
				inStream.close();
			}
			ouStream.close();
		} catch (FileNotFoundException e) {
			System.out.println("File not found " + e);
		} catch (IOException ioe) {
			System.out.println("Exception while reading the file " + ioe);
		}
		deleteFiles(fileList);
		System.out.println("Merge was executed successfully.!");
		return true;

	}</span>

每个同学都录了一段持续时间为三秒钟的，语音内容为“我爱南京大学”的语音数据，试验目标是使用一些语音处理的方法把同学们的声音合在一起，实现出大家一起喊出“我爱南京大学”的效果，由于每个人的语速不同，录音起始点不同，所以需要使用一定的方法将语音对齐，然后叠加在一起。本次试验尝试了动态规划算法和直接线性拉伸两种算法。

其中，DTW算法的匹配结果如下所示：







整个试验的所有代码及报告见https://download.csdn.net/download/qq_22707525/10707532

问题:

3000句
	
整体录音环境不好
	
有波动性, 有些句子好, 有些质量差
目的:

目标是合成这个人的音色
	
高质量的合成, 可商用
	
风格, 情感, 韵律不强要求
	
风格, 情感, 韵律能保留更好(比如三年前录制的电销语料)
角度一

通过工具降噪

先处理问题2, 尽量在挑选语料之前, 先做2, 尽量保留语句

是录制的问题, 因此是白噪声

进行"美图", 其实是接着当时准备TTS语料未完成的完成

选一段(类似回声消除算法), 减去白噪声, 至少可以用工具一句一句处理(也可以批处理)

还有类似视觉的降噪

角度二

筛选

先挑选, 数据清洗, 
	
分层级去挑: 特别好的, 过得去的, 很差的
假设挑出来了300~1000句

角度三

小语料配大语料

大语料训好后风格迁移小语料

大语料小语料multi-speaker同时训

经验上来看, 1000句有, 则可以multi-speaker

角度四

随机拼接扩增

音频剪切成片段
	
通过随机片段拼接, 形成新的音频
类似于高质量的波形拼接

分析:

缺点一, 破坏了句子的连贯, 韵律等
	
缺点二, 看上去语料变大, 实际上前后还是那样, 没有变多
	
优点, 相当于人为理解的数据, 构造出来, 通过这种方式, (数据增强)来指引网络
因此如何随即拼接, 切到什么粒度, 如何构建虚拟语料, 比如ASR中的VAD