背景

因为在2021年给自己定了目标和计划，学习ffmpeg，所以这篇文章是实现计划的第一步。

ffmpeg 众所周知，就不展开介绍了，下面给出 FFmpeg 4.2 windows x64 lib库和头文件的下载地址（粉丝免积分下载）：

https://download.csdn.net/download/u012534831/14045436

本文也是属于博主的入门学习总结与分享，因此我们先从ffmpeg的软解码开始，从解码到绘制，一起体验下亲自动手的快乐。本文的语言环境基于C++，界面部分是 QT。

流程分析

在开始看代码之前，我们必须先了解下ffmpeg软解的常规流程：

在以前的教程中我们经常见到av_regeister_all，这是旧版ffmpeg的用法，必须在开始进行初始化，新版的ffmpeg4.0之后已经不需要了，详见github： av_register_all() has been deprecated in ffmpeg 4.0。

1、avformat_open_input

为 AVFormatContext 分配空间，打开输入的视频数据并且探测视频的格式，这个函数里面包含了复杂的格式解析与探测算法，可解析的内容包括：视频流、音频流、视频流参数、音频流参数、视频帧索引等。用雷神的话说就是 可以算作FFmpeg的“灵魂”。

2、avformat_find_stream_info

获取多媒体流的信息，包括码流、帧率、时长等信息。但是有些早期格式或者裸流数据它的索引并没有放到头当中，因此需要在后面进行探测。注意一个视频文件中可能会同时包括视频文件、音频文件、字幕文件等多个媒体流。

3、av_find_best_stream

当视频被解封装出来后，需要分开处理音频和视频，需要找到对应的音频流和视频流，获取音视频对应的stream_index。

4、avcodec_find_decoder(enum AVCodecID id)

“Find a registered decoder with a matching codec ID.”
上一步找到的AVStream中的成员变量 codecpar->codec_id 就是这儿的参数 ID，codecpar类型为AVCodecParameters。网上的很多资料为 AVCodecContext->codec_id，这个用法在FFMPEG3.4及以上版本已经被弃用了，官方推荐使用codecpar。

5、avcodec_alloc_context3

创建AVCodecContext并分配空间。

6、avcodec_parameters_to_context

该函数用于将流里面的参数，也就是AVStream里面的参数直接复制到AVCodecContext的上下文当中，执行真正的内容拷贝。avcodec_parameters_to_context()是新的API，替换了旧版本的avcodec_copy_context()。

7、avcodec_open2

用给定的 AVCodec 去初始化 AVCodecContext。

到这儿，解码器的初始化工作已经完成。下面就可以开始真正的解码操作了。

8、av_read_frame

读取码流中的音频若干帧或者视频一帧，av_read_frame()函数是新型ffmpeg的用法，对 av_read_packet 进行了封装，旧用法之所以被抛弃，就是因为以前获取的数据可能不是完整的，而av_read_frame()保证了视频数据一帧的完整性，使读出的数据总是完整的一帧。

8、avcodec_send_packet

发送数据到后台解码队列。

It can be NULL (or an AVPacket with data set to NULL and
size set to 0); in this case, it is considered a flush
packet, which signals the end of the stream. Sending the
first flush packet will return success. Subsequent ones are
unnecessary and will return AVERROR_EOF. If the decoder
still has frames buffered, it will return them after sending

源码中关于发送一包空数据的解释：
由于ffmpeg内部会缓存帧，在av_read_frame读不到数据的时候，需要通过packet.data = NULL;packet.size = 0;给ffmpeg发送一包空数据，即再avcodec_send_packet一次，将ffmpeg里面缓存的帧全部刷出来，解决最后几帧没有解码出来的问题。

9、avcodec_receive_frame

从解码器读取帧数据，这个函数执行完后，就已经能拿到我们的帧数据了，它被存储在 AVFrame 中。
此处需要注意的是：
一般而言，一次avcodec_send_packet()对应一次avcodec_receive_frame()，但是也会有一次对应多次的情况。这个得看具体的流，并常见于音频流，会存在一个AVPacket对应多个AVFrame的情况。因此可以看我上面的流程图有两个while循环。

代码示例

//头文件

#ifndef MAINWINDOW_H
#define MAINWINDOW_H

#include <QMainWindow>
#include<thread>
extern "C"
{
    #include "libavcodec/avcodec.h"
    #include "libavformat/avformat.h"
    #include "libavutil/pixfmt.h"
    #include "libswscale/swscale.h"
    #include "libavdevice/avdevice.h"
    #include <libavutil/pixdesc.h>
    #include <libavutil/hwcontext.h>
    #include <libavutil/opt.h>
    #include <libavutil/avassert.h>
    #include <libavutil/imgutils.h>
}

namespace Ui {
class MainWindow;
}

class MainWindow : public QMainWindow
{
    Q_OBJECT

public:
    explicit MainWindow(QWidget *parent = nullptr);
    ~MainWindow();
    void init();
    void play();
private:
    std::thread m_decodecThread;
    Ui::MainWindow *ui;
    AVFormatContext *pAVFormatCtx;
    AVCodecContext *pAVCodecCtx;
    SwsContext *pSwsCtx;
    uint8_t *pRgbBuffer;
    AVPacket packet;
    AVFrame *pAVFrame = NULL;
    AVFrame *pAVFrameRGB;
    int iVideoIndex = -1;
    QImage m_image;
    bool isFinish  =false;
    void decodec();
    signals:
    void signalDraw();
public slots:
    void slotDraw();
protected:
    void paintEvent(QPaintEvent *event) override;
};

#endif // MAINWINDOW_H

//CPP文件

#include "mainwindow.h"
#include "ui_mainwindow.h"
#include <QDebug>
#include <QPainter>
#include<thread>

MainWindow::MainWindow(QWidget *parent) :
    QMainWindow(parent),
    ui(new Ui::MainWindow)
{
    ui->setupUi(this);
    connect(this,&MainWindow::signalDraw,this,&MainWindow::slotDraw);
}

MainWindow::~MainWindow()
{
    delete ui;
}
void MainWindow::init()
{
  std::string file = "E:/Video/bb.mp4";
 //描述多媒体文件的构成及其基本信息
 if (avformat_open_input(&pAVFormatCtx, file.data(), NULL, NULL) != 0)
     {
         qDebug() <<"open file fail";
         avformat_free_context(pAVFormatCtx);
         return;
     }

 //读取一部分视音频数据并且获得一些相关的信息
 if (avformat_find_stream_info(pAVFormatCtx, NULL) < 0)
 {
     qDebug() <<"vformat find stream fail";
     avformat_close_input(&pAVFormatCtx);
     return;
 }
// 根据解码器枚举类型找到解码器
    AVCodec *pAVCodec;
    int ret = av_find_best_stream(pAVFormatCtx, AVMEDIA_TYPE_VIDEO, -1, -1, &pAVCodec, 0);
    if (ret < 0) {
        qDebug()<< "av_find_best_stream faliture";
        avformat_close_input(&pAVFormatCtx);
        return;
    }
    iVideoIndex = ret;

     pAVCodec = avcodec_find_decoder(pAVFormatCtx->streams[iVideoIndex]->codecpar->codec_id);
     if (pAVCodec == NULL)
     {
         qDebug()<<"not find decoder";
         return;
     }

 qDebug()<<"avcodec_open2 pAVCodec->name:" << QString::fromStdString(pAVCodec->name);


    if(pAVFormatCtx->streams[iVideoIndex]->avg_frame_rate.den != 0) {
        float fps_ = pAVFormatCtx->streams[iVideoIndex]->avg_frame_rate.num / pAVFormatCtx->streams[iVideoIndex]->avg_frame_rate.den;
           qDebug() <<"fps:" << fps_;
    }
      int64_t video_length_sec_ = pAVFormatCtx->duration/AV_TIME_BASE;
       qDebug() <<"video_length_sec_:" << video_length_sec_;
pAVCodecCtx = avcodec_alloc_context3(pAVCodec);
     if (pAVCodecCtx == NULL)
     {
         qDebug() <<"get pAVCodecCtx fail";
         avformat_close_input(&pAVFormatCtx);
         return;
     }
ret = avcodec_parameters_to_context(pAVCodecCtx,pAVFormatCtx->streams[iVideoIndex]->codecpar);
     if (ret < 0)
     {
         qDebug() <<"avcodec_parameters_to_context fail";
         avformat_close_input(&pAVFormatCtx);
         return;
     }
  if (avcodec_open2(pAVCodecCtx, pAVCodec, NULL) < 0)
     {
         qDebug()<<"avcodec_open2 fail";
         return;
     }
         //为解码帧分配内存
         //AVFrame 存放从AVPacket中解码出来的原始数据
             pAVFrame = av_frame_alloc();
             pAVFrameRGB = av_frame_alloc();
       //用于视频图像的转换,将源数据转换为RGB32的目标数据
         pSwsCtx = sws_getContext(pAVCodecCtx->width, pAVCodecCtx->height, pAVCodecCtx->pix_fmt,
                                              pAVCodecCtx->width, pAVCodecCtx->height, AV_PIX_FMT_RGB32,
                                              SWS_BICUBIC, NULL, NULL, NULL);

        int  m_size = av_image_get_buffer_size(AVPixelFormat(AV_PIX_FMT_RGB32), pAVCodecCtx->width, pAVCodecCtx->height, 1);
      pRgbBuffer = (uint8_t *)(av_malloc(m_size));
         //为已经分配的空间的结构体AVPicture挂上一段用于保存数据的空间
         avpicture_fill((AVPicture *)pAVFrameRGB, pRgbBuffer, AV_PIX_FMT_BGR32, pAVCodecCtx->width, pAVCodecCtx->height);
         //av_image_fill_arrays
         //AVpacket 用来存放解码数据
         av_new_packet(&packet, pAVCodecCtx->width * pAVCodecCtx->height);
}


void MainWindow::play()
{
    m_decodecThread = std::thread([this]()
    {
        decodec();
    });
    m_decodecThread.detach();
}

void MainWindow::decodec()
{
    //读取码流中视频帧
        while (true)
        {
            int ret = av_read_frame(pAVFormatCtx, &packet);
            if(ret != 0)
            {
                qDebug()<<"file end";
                isFinish = !isFinish;
                 return;
            }
            if (packet.stream_index != iVideoIndex)
            {
                av_packet_unref(&packet);
                continue;
            }
           int iGotPic = AVERROR(EAGAIN);
//             //解码一帧视频数据
            iGotPic = avcodec_send_packet(pAVCodecCtx, &packet);
            if(iGotPic!=0){
                qDebug()<<"avcodec_send_packet error";
                      continue;
            }
            iGotPic = avcodec_receive_frame(pAVCodecCtx, pAVFrame);
   if(iGotPic == 0){
                   //转换像素
                   sws_scale(pSwsCtx, (uint8_t const * const *)pAVFrame->data, pAVFrame->linesize, 0, pAVCodecCtx->height, pAVFrameRGB->data, pAVFrameRGB->linesize);

                   //构造QImage
                   QImage img(pRgbBuffer, pAVCodecCtx->width, pAVCodecCtx->height, QImage::Format_RGB32);
                   qDebug()<<"decode img";
                   m_image = img;
                   emit signalDraw();
  }else {
           qDebug()<<"decode error";
           }

            av_packet_unref(&packet);
            std::this_thread::sleep_for(std::chrono::milliseconds(25));
        }
  //资源回收
        av_free(pAVFrame);
        av_free(pAVFrameRGB);
        sws_freeContext(pSwsCtx);
        avcodec_close(pAVCodecCtx);
        avformat_close_input(&pAVFormatCtx);
}

void MainWindow::slotDraw()
{
    update();
}

void MainWindow::paintEvent(QPaintEvent *event)
{
    QPainter painter(this);
    painter.setBrush(Qt::black);
    painter.drawRect(0, 0, this->width(), this->height());

    if (m_image.size().width() <= 0)
        return;

    //比例缩放
    QImage img = m_image.scaled(this->size(),Qt::KeepAspectRatio);
    int x = this->width() - img.width();
    int y = this->height() - img.height();

    x /= 2;
    y /= 2;

    //QPoint(x,y)为中心绘制图像
    painter.drawImage(QPoint(x,y),img);
}

如有兴趣，欢迎加入我的QQ群，QT/Android/音视频 问题在线解答，资源分享。

FFmpeg介绍

FFmpeg既是一种音视频编解码工具，也是一组音视频解码开发套件。作为编解码开发套件，它为开发者提供了丰富的音视频处理的调用接口。

FFmpeg基本组成

先看图，再看字。

1. FFmpeg的封装模块 AVFormat
   AVFormat中实现了目前多媒体领域中大多数媒体封装格式，包括封装和解封装，如：MP4，FLV等文件封装格式、HTTP，RTMP，HLS等网络协议封装格式。FFmpeg是否支持某种格式，取决于编译时是否包含该封装库。如果需要配置，可以在FFmpeg项目根目录下的config.h中查看宏定义。 0为关闭，1为打开。
2. FFmpeg的编解码模块 AVCodec
   AVCodec中实现了目前多媒体领域绝大多数常用的编解码格式，既支持编码，也支持解码。AVCodec除了支持MPEG4、AAC、MJPEG等自带的媒体编解码格式之外，还支持第三方的编解码器，如H.264（AVC）编码，需要使用x264编码器；H.265（HEVC）编码，需要使用X265编码器；MP3（mp3lame）编码，需要使用libmp3lame编码器。如果希望增加自己的编码格式，或者硬件编解码，则需要在AVCodec中增加相应的编解码模块。
3. FFmpeg的滤镜模块 AVFilter
   AVFilter库提供了一个通用的音频、视频、字幕等滤镜处理框架。在AVFilter中，滤镜框架可以有多个输入或多个输出。
4. FFmpeg的多媒体设备交互 AVDevice
   使用这个库能够读取电脑（或者其它设备上）的多媒体设备的数据，或者输出数据到指定的多媒体设备上。
5. FFmpeg的工具类 AVUtil
   AVUtil为FFmpeg的工具类，其重要组成部分有：AVLog日志输出、AVOption (AVClass)选项设置、AVDictionary键值对存储、ParseUtil字符串解析。
6. FFmpeg的音频转换计算模块 swresample
   swresample模块提供了高级别的音频重采样API。例如它允许操作音频采样、音频通道布局转换与布局调整。
7. FFmpeg的视频图像转换计算模块 swscale
   swscale模块提供了高级别的图像转换API，例如它允许进行图像缩放和像素格式转换，常见于将图像从1080p转换成720p或者480p等的缩放，或者将图像数据从YUV420P转换成YUYV，或者YUV转RGB等图像格式转换。

FFmpeg 编解码工具 ffmpeg

ffmpeg是FFmpeg源代码编译后生成一个可执行程序，其可以作为命令行工具使用。
ffmpeg命令简单应用：

./ffmpeg -i input.mp4 output.avi

这是一条简单的ffmpeg命令，ffmpeg通过-i参数将input.mp4作为输入源输入，然后进行转码与转封装操作，输出到output.avi中，这条命令主要做了如下工作：
1）获得输入源input.mp4
2）转码
3）输出文件output.avi
看似简单的两步主要的工作，其实远远不止是从后缀名为MP4的文件输出成后缀名为AVI的文件，因为在ffmpeg中，MP4与AVI是两种文件封装格式，并不是后缀名就可以决定的，例如上面的命令行同样可以写成：

./ffmpeg -i input.mp4 -f avi output.dat 

这条ffmpeg命令相当于前面的那条命令做了一些改变，加了一个“-f”进行约束，“-f"参数的工作非常重要，它制定了输出文件的容器格式，所以可以看到输出的文件为output.dat，文件后缀名为.dat，但是其主要工作依然与之前的指令相同。
ffmpeg的主要工作流程相对比较简单，具体如下：
1）解封装
2）解码
3）编码
4）封装
其中需要经过6个步骤，具体如下：
1）读取输入源
2）进行音视频的解封装
3）解码每一帧音视频数据
4）编码每一帧音视频数据
5）进行音视频的重新封装
6）输出到目标

FFmpeg的播放器 ffplay

FFmpeg不但可以提供转码、转封装等功能，同时还提供了播放器相关功能，使用FFmpeg的avformat与avcodec，可以播放各种媒体文件或者流。
ffplay是FFmpeg源代码编译后生成的另一个可执行程序，与ffmpeg在FFmpeg项目中充当的角色基本相同，可以作为测试工具进行使用，ffplay提供了音视频显示和播放相关的图像信息、音频的波形信息等。

FFmpeg的多媒体分析器 ffprobe

ffprode也是FFmpeg源码编译后生成的一个可执行程序。ffprode是一个非常强大的多媒体分析工具，可以从媒体文件或者媒体流中获得你想要了解的媒体信息，比如音频的参数、视频的参数、媒体容器的参数信息等。
例如它可以帮助分析某个媒体容器中的音频是什么编码格式、视频是什么编码格式，同时还可以得到媒体文件中媒体的总时长、复合码率等信息。使用ffprode可以分析媒体文件中每个包的长度、包的类型、帧的信息等。
下面举一个简单的例子，以对ffprobe有一个基本的概念,输入以下命令：

./ffprobe -show_streams input.mp4

根据输出内容，可以看到MP4文件内容中的流信息。流信息的相关内容是通过[STREAM][/STREAM]的方式展现出来的，在[STREAM][/STREAM]之间的信息即为该视频流信息。