视频处理标准和原理，再通过流媒体串起来，流媒体⾮专业的核⼼可能还 涉及：关于⾼中物理、统计学、概率论等⼀些知识。 3. FFmpeg 核⼼扩展功能开发。 FFmpeg KS [数据帧/数据包] AVFrame⽤于存储原始⾳视频数据、也包含字幕数据。 原始数据是指：解码后数据、或是编码前的数据。 ⾳频：⼀段原始WAV（或未压缩的PCM）⾳频数据。 视频：⼀帧图像、⼀个图⽚。 字幕：⼀个时间段内的⼀句或是⼏句话。 iformat（输⼊），oformat（输出），所有的数据流，格式分类，时 间参数，包seek相关，metadata，chunk，对应对的属性等等。 FFmpeg KS数据流程图 原始视频 原始⾳频 AVFrame AVFrame AVFrame 字幕 附件其他 数据 AVPacket 编码 AVPacket AVPacket AVPacket 组装 直接组包 N个合成 AVStream AVStream AVFilterChannelLayouts 数据结构 滤器⽀持类型，⾳频格式 AVBufferSinkParams AVABufferSinkParams 内部 ⾳视频参数传递 视频原始数据[AVFrame] 数据⾯个数： rgb:1 yuv:1-3 normal-4 ffmpeg-8 opencv-16 dx- IDirectDrawSurface BYTE * Data[8]（数据⾯个数）

AVFilter ➤ AVFilter操作接⼝口 filter_frame ➤ 接⼝口操作对象 AVFrame *in ➤ 接⼝口输出对象 AVFrame *out 集成操作 - 多AVFilter联动 ➤ 从⼀一个AVFilter将参数传递⾄至另⼀一个AVFilter ➤ AVFrame中需要增加 ✴ object_x ✴ object_y ✴ object_width ✴ object_height object_height 集成操作 - 多AVFilter联动 ➤ 信息传递可通过 AVFrame 的 Metadata 进⾏行行 集成操作 - 多AVFilter联动 ➤ face detect filter 与 overlay filter联动效果 ➤ ./ffmpeg -i input.mp4 -i picture.png - filter_complex "[0:v]facedetect[detect];