前言

录制视频的时候，需要保证视频的声音和画面同步，通常是记录视频和音频的时间戳，让它们时间关系匹配上。而h264和aac本身不包含时间戳，只有写入mp4时才需要时间戳，本文将通过使用mp4v2作为mp4的封装工具，来说明如何实现时钟同步。

一、使用外部时钟

1.设置起始点

在录制开始时记录起始时间点，以音频起始为准。
定义时钟方法

int64_t getClock() {
	return clock();
}

设置起始点

//记录起始时间
timestamp = getClock();
//视频录制启动
videoStream.Start();
//音频录制启动
audioStream.Start();

2.音频固定时间戳

音频写入的时候不能使用当前的时间戳，因为音频是按比特播放的，音频帧的播放速度是均匀的，使用当前时间戳会导致播放速度产生波动，出现声音卡顿现象。所以一般情况下应该直接使用固定的时间戳，在mp4中是duration。
添加音频流时，设置其duration即可。需要注意的是duration的值要计算正确，如果以下列的方式则非常简单，timescale设置为采样率，则一帧duration就是1024，1024不需要改变，只需要根据不同声音的采样率设置即可。

audioId=MP4AddAudioTrack(pHandle, 44100, 1024, MP4_MPEG4_AUDIO_TYPE);

写入aac的时候则不设置duration，参数设为MP4_INVALID_DURATION。

MP4WriteSample(pHandle, audioId, frame->data, frame->dataLength, MP4_INVALID_DURATION, 0, 1);

3.视频记录时间戳

在视频采集处记录时间戳，此时还未编码。

frame->timestamp=getClock();

编码后写入mp4时计算时间戳

//计算与上一帧的时间差
auto duration = frame->timestamp - _timestamp;
//计算当前帧的时间戳，用于下次计算
timestamp = frame->timestamp;
MP4WriteSample(pHandle, videoId, pNalu, len + 4, duration * timeScale / 1000, 0, frame->isIdr);

完整流程（C++示例）

int64_t getClock() {
	return clock();
}
void main() {
	int timestamp = 0;
	MP4FileHandle pHandle = MP4Create("test.mp4", 0);
	auto  videoId = MP4AddH264VideoTrack(/*略*/);
	//设置音频的固定帧时长
	auto  audioId = MP4AddAudioTrack(pHandle, 44100, 1024, MP4_MPEG4_AUDIO_TYPE);
	//音频编码事件
	audioStream.encode = [&](auto frame) {
	    //使用固定帧时长(时间戳)MP4_INVALID_DURATION
		MP4WriteSample(pHandle, audioId, frame->data, frame->dataLength, MP4_INVALID_DURATION, 0, 1);
	};
	//视频采集事件
	videoStream.capture = [&](auto frame) {
	    //记录时间戳
		frame.timestamp = getClock();
	};
	//视频编码事件
	videoStream.encode = [&](auto frame) {
		//计算与上一帧的时间差
		auto duration = frame->timestamp - _timestamp;
		//记录当前帧的时间戳，用于下次计算
		timestamp = frame->timestamp;
		MP4WriteSample(pHandle, videoId, pNalu, len + 4, duration * timeScale / 1000, 0, frame->isIdr);
	};
	//记录起始时间
	timestamp = getClock();
	//视频录制启动
	videoStream.Start();
	//音频录制启动
	audioStream.Start();
	//下面略
    ....
	MP4Close(pHandle, 0);
}

二、使用音频时钟

在一的基础上实现下列2点即可。

1.设置音频时钟

在录制开始时记录起始时间点，以音频起始为准，由于基于音频时钟所以起始点为0。

//atime作为音频时钟,必须使用double保留精度
double atime=0;
double getClock() {
	return atime;
}

2.计算音频时钟

在音频的采集处，计算音频的时长，累加即是音频时钟，计算公式为：
时长（单位：s）=数据长度（单位：bytes）/（采样率（单位：hz）x(位深/8)x声道）
注：音频的采集频率需要大于等于视频帧率，否则时钟灵敏度不够。

//计算音频时钟
atime += frame.dataLength * 1000.0 / (44100 * 16 / 8 * 2);

完整流程（C++示例）

double atime=0;
double getClock() {
	return atime;
}
void main() {
	int timestamp = 0;
	MP4FileHandle pHandle = MP4Create("test.mp4", 0);
	auto  videoId = MP4AddH264VideoTrack(/*略*/);
	//设置音频的固定帧时长
	auto  audioId = MP4AddAudioTrack(pHandle, 44100, 1024, MP4_MPEG4_AUDIO_TYPE);	
    //音频采集事件
	audioStream.capture= [&](auto frame) {
	    //计算时钟
		atime += frame.dataLength * 1000.0 / (44100 * 16 / 8 * 2);
	};	
	//音频编码事件
	audioStream.encode = [&](auto frame) {
	    //使用固定帧时长(时间戳)MP4_INVALID_DURATION
		MP4WriteSample(pHandle, audioId, frame->data, frame->dataLength, MP4_INVALID_DURATION, 0, 1);
	};
	//视频采集事件
	videoStream.capture = [&](auto frame) {
	    //记录时间戳
		frame.timestamp = getClock();
	};
	//视频编码事件
	videoStream.encode = [&](auto frame) {
		//计算与上一帧的时间差
		auto duration = frame->timestamp - _timestamp;
		//记录当前帧的时间戳，用于下次计算
		timestamp = frame->timestamp;
		MP4WriteSample(pHandle, videoId, pNalu, len + 4, duration * timeScale / 1000, 0, frame->isIdr);
	};
	//记录起始时间
	timestamp = getClock();
	//视频录制启动
	videoStream.Start();
	//音频录制启动
	audioStream.Start();
	//下面略
    ....
	MP4Close(pHandle, 0);
}

总结

以上就是今天要讲的内容，时钟同步的内容在网上查到的是理论居多，但是音视频开发中很多情况都需要依赖实践，知道理论未必能做。比如今天的音视频同步就是，需要直接代码调试才能真正确定是如何实现的，本文给出的代码示例，是通过实际调试得出的方案。