FFmpeg既是一款音视频编解码工具,同时也是一组音视频编解码开发套件,作为编解码开发套件,它为开发者提供了丰富的音视频的调用接口 FFmpeg中的FF指的是FastForward,FFmpeg中的mpeg则是MovingPictureExpertsGroup(动态图像专家组)强大的功能 FFMpeg提供了多种媒体格式的封装和解封装,包括多种音视频编码、多种协议的流媒体、多种色彩格式转换、多种采样率转换、多种码率转换等;FFmpeg框架提供了多种丰富的插件模块,包含封装与解封装的插件、编码与解码的插件等FFmpeg模块分类 打开FFmpeg源码,会发现有一系列libavxxx的模块,这些模块很好地划分了代码的结构和分工libavformat,format,格式封装libavcodec,codec,编码、解码libavutil,util,通用音视频工具,像素、IO、时间等工具libavfilter,filter,过滤器,可以用作音视频特效处理libavdevice,device,设备(摄像头、拾音器)libswscale,scale,视频图像缩放,像素格式互换libavresample,resample,重采样libswresample,也是重采样,类似图像缩放libpostproc,后期处理FFmpeg数据结构简介 AVFormatContext 封装格式上下文结构体,也是统领全局的结构体,保存了视频文件封装格式相关信息 iformat:输入视频的AVInputFormatnbstreams:输入视频的AVStream个数streams:输入视频的AVStream〔〕数组duration:输入视频的时长(以微秒为单位)bitrate:输入视频的码率 AVInputFormat 每种封装格式(例如FLV,MKV,MP4,AVI)对应一个该结构体 name:封装格式名称longname:封装格式的长名称extensions:封装格式的扩展名id:封装格式ID一些封装格式处理的接口函数 AVStream视频文件中每个视频(音频)流对应一个该结构体 id:序号codec:该流对应的AVCodecContexttimebase:该流的时基rframerate:该流的帧率 AVCodecContext 编码器上下文结构体,保存了视频(音频)编解码相关信息 codec:编解码器的AVCodecwidth,height:图像的宽高(只针对视频)pixfmt:像素格式(只针对视频)samplerate:采样率(只针对音频)channels:声道数(只针对音频)samplefmt:采样格式(只针对音频) AVCodec每种视频(音频)编解码器(例如H。264解码器)对应一个该结构体 name:编解码器名称longname:编解码器长名称type:编解码器类型id:编解码器ID一些编解码的接口函数 AVPacket 存储一帧压缩编码数据 pts:显示时间戳dts:解码时间戳data:压缩编码数据size:压缩编码数据大小streamindex:所属的AVStream AVFrame 存储一帧解码后像素(采样)数据 data:解码后的图像像素数据(音频采样数据)。linesize:对视频来说是图像中一行像素的大小;对音频来说是整个音频帧的大小。width,height:图像的宽高(只针对视频)。keyframe:是否为关键帧(只针对视频)。picttype:帧类型(只针对视频)。例如I,P,B。 FFmpeg的一些应用场景 下面介绍一下FFmpeg都用在了哪里(在这里仅列几个我所知的,其实远比这个多)。说白了就是为了说明:FFmpeg是非常重要的。 使用FFmpeg作为内核视频播放器:Mplayer,ffplay,射手播放器,暴风影音,KMPlayer,QQ影音。。。 使用FFmpeg作为内核的DirectshowFilter:ffdshow,lavfilters。。。 使用FFmpeg作为内核的转码工具:ffmpeg,格式工厂。。。 事实上,FFmpeg的音视频编解码功能确实太强大了,几乎囊括了现存所有的音视频编码标准,因此只要做音视频开发,几乎离不开它 为了是大家能够更好的学习音视频开发,在这里特别提供一份高级音视频开发学习笔记;里面包含了这些年学习音视频开发所遇到的难题及其解决方案;有需要这份高级音视频开发学习笔记的朋友:可在评论区下方留言,或者私信发送笔记即可直达获取;希望大家阅读过后,能够查漏补缺;早日成为高级音视频开发者 内容展示如下:H264编码基础06编码标准之战一个视频标准的普及其实是商业利益博弈的结果。一个视频标准能普及还在于他的对手WMVVP8AV1 H264编码基础01帧与场视频序列帧、场编码方式H264编码(帧内预测)视频流H264的组装三种帧的说明压缩算法的说明手写H264编码器 有需要完整版高级音视频开发学习笔记的朋友:可在评论区下方留言,或者私信发送笔记即可直达获取 对于程序员来说,要学习的知识内容、技术有太多太多,要想不被环境淘汰就只有不断提升自己,从来都是我们去适应环境,而不是环境来适应我们 技术是无止境的,你需要对自己提交的每一行代码、使用的每一个工具负责,不断挖掘其底层原理,才能使自己的技术升华到更高的层面 加油!让我们早日成为音视频高级开发者