标签：FFmpeg int frame AVFilterContext filter 滤镜 AVFilterLink 4.0

4. Filter的结构体关系图与定义

4.1 结构体间的关系图

filter涉及的结构体，主要包括：

> FilterGraph, AVFilterGraph

> InputFilter, InputStream, OutputFilter, OutputStream

> AVFilter， AVFilterContext

> AVFilterLink

> AVFilterPad；

 

它们之间的类关系如下图所示：

图5：滤镜结构体关系图

 

从上图可以看到，FFmpeg的滤镜相关的结构体三层组成：

1) filtergraph层

由结构体 FilterGraph, AVFilterGraph组成；

其中,

FilterGraph， 包含一个InputFilter, 它指示了整个Graph的第一个滤镜，并指示了InputStream, 从而作为整个Graph的输入；

包含一个OutputFilter, 它指示了整个Graph的最后一个滤镜，并指示了OutputStream,从而作为整个Graph的输出；

包含一个AVFilterGraph的实例，它指示的是组成本graph的filter;

 

2) filterchain层

它由AVFilter, AVFilterContext, AVFilterLink, AVFilterPad组成；

其中，AVFilterContext是AVFilter的实例；

而filter之间是用 AVFilterLink进行连接，意思是，滤镜之间并不是直接相连的，是通过AVFilterLink进行连接；

AVFilterContext 通过AVFilterLink进行连接后，就组成了Filterchain。

而AVFilterContext与AVFilterLink之间的AVFilterPad是直接相连的，对应的关系是

AVFilterContext的output_pad 连接它下游AVFilterLink的 srcpad;

AVFilterContext的input_pad 连接它上游AVFilterLink的 dstpad;

 

3) filter层

由AVFilterContext, AVFilterPad组成；

其中AVFilterContext是真正进行数据处理的滤镜实体；

 

AVFilterPad用于AVFilterContext之间的callback（回调）：

第一个AVFilterContext的outputs[0]指针，指向第一个AVFilterLink，这个AVFilterLink的dst指针，指向第二个AVFilterContext。

如果在前一个AVFilterContext调用 outputs[0]->dstpad->filter_frame(Frame* input_frame1),

那其实就意味着，第一个过滤器，可以把处理好的一个frame（名字为input_frame1），可以通过这个调用，传递给第二个过滤器的input_pads的filter_frame函数。

而第二个过滤器，里面就是用户自己实现的filter_frame()，以对数据进行处理；

 

 

 

 

以 ./ffmpeg_g -i INPUT.mp4 -vn -acodec libfdk_aac -filter_complex "aresample=osf=s16,denoise" -ar 16000 -ac 1 -y OUTPUT.mp4 为例：

它们的实际数据流程如下图所示：

 

图6：-filter_complex "aresample=osf=s16,denoise"的滤镜实例图

 

从上图可以看到，虽然我们只使用了两个滤镜，但构建出来的filterchain实际上包含有：五个filter, 和四个link;

是因为ffmpeg系统会自动为用户设置的滤镜添加上必要的输入、输出滤镜，并将它们连接起来，组成一个完整的filterchain;

其中，ffmpeg默认是有3个filter的！分别是 "graph_0_in_0_0"，"format_out_0_0"， "out_0_0"

它们对应的滤镜类型是： “buffersrc”, “format”, “buffersink”。

它们对应的源码位于： libavfilter/buffersrc.c libavfilter/vf_format.c（对应视频格式） libavfilter/format.c（对应音频格式） , libavfilter/buffersink.c

 

 

上图中：

蓝色和绿色连线 是 AVFilterContext 与 AVFilterLink的连接关系 ；

红色连线 是 AVFilterPad的连接关系；

灰色连线 是 组成AVFilterGraph的AVFilterContext;

 

上图中，上半部分是filtergraph层：

左边连接的是InputFilter，用来引入filtergraph的输入流；

右边连接的是OutputFilter，用来导出filtergraph的输出流；

并且指示了组成本filtergraph的所有filter;

 

上图中，下半部分是filterchain层：

AVFilterContext与AVFilterLink是一种双向链表指针的关系，见图左的蓝色和绿色连线所示；

即 AVFilterContext的 outputs 指向 它的下游 AVFilterLink；

而 下游的AVFilterLink的 src 批向它上游的 AVFilterContext；

 

4.2 FilterGraph 滤镜图结构体定义

typedef struct FilterGraph {
    int            index;
    const char    *graph_desc;
 
    AVFilterGraph *graph;                // 指向它的实例
    int reconfiguration;
 
    InputFilter   **inputs;
    int          nb_inputs;
    OutputFilter **outputs;
    int         nb_outputs;
} FilterGraph;

 

4.3 AVFilterGraph 滤镜图结构体定义

 

typedef struct AVFilterGraph {
    const AVClass *av_class;
    AVFilterContext **filters;                      // 本 滤镜图 包含的所有 filter， 包括系统自生成的
    unsigned              nb_filters;            
 
    char *scale_sws_opts;                            ///< sws options to use for the auto-inserted scale filters
#if FF_API_LAVR_OPTS
    attribute_deprecated char *resample_lavr_opts;   ///< libavresample options to use for the auto-inserted resample filters
#endif
 
    /**
     * Type of multithreading allowed for filters in this graph. A combination
     * of AVFILTER_THREAD_* flags.
     *
     * May be set by the caller at any point, the setting will apply to all
     * filters initialized after that. The default is allowing everything.
     *
     * When a filter in this graph is initialized, this field is combined using
     * bit AND with AVFilterContext.thread_type to get the final mask used for
     * determining allowed threading types. I.e. a threading type needs to be
     * set in both to be allowed.
     */
    int thread_type;
 
    /**
     * Maximum number of threads used by filters in this graph. May be set by
     * the caller before adding any filters to the filtergraph. Zero (the
     * default) means that the number of threads is determined automatically.
     */
    int nb_threads;
 
    /**
     * Opaque object for libavfilter internal use.
     */
    AVFilterGraphInternal *internal;
 
    /**
     * Opaque user data. May be set by the caller to an arbitrary value, e.g. to
     * be used from callbacks like @ref AVFilterGraph.execute.
     * Libavfilter will not touch this field in any way.
     */
    void *opaque;
 
    /**
     * This callback may be set by the caller immediately after allocating the
     * graph and before adding any filters to it, to provide a custom
     * multithreading implementation.
     *
     * If set, filters with slice threading capability will call this callback
     * to execute multiple jobs in parallel.
     *
     * If this field is left unset, libavfilter will use its internal
     * implementation, which may or may not be multithreaded depending on the
     * platform and build options.
     */
    avfilter_execute_func *execute;
 
    char *aresample_swr_opts;                    ///< swr options to use for the auto-inserted aresample filters, Access ONLY through AVOptions
 
    /**
     * Private fields
     *
     * The following fields are for internal use only.
     * Their type, offset, number and semantic can change without notice.
     */
 
    AVFilterLink **sink_links;
    int                   sink_links_count;
 
    unsigned disable_auto_convert;
} AVFilterGraph;

4.4. 视频滤镜类型的宏定义

/**
 * 滤镜输入源的个数不能单由成员变量 AVFilter.inputs 来确定。
 * 即依赖于 options 的支持与否，这个滤镜在初始化时可以添加额外的输入源；
 */
#define AVFILTER_FLAG_DYNAMIC_INPUTS        (1 << 0)
/**
 * 滤镜输出目的的个数不能单由成员变量 AVFilter.outputs来确定。
 * 即依赖于 options 的支持与否，这个滤镜在初始化时可以添加额外的输出目的
 */
#define AVFILTER_FLAG_DYNAMIC_OUTPUTS       (1 << 1)
/**
 * 这个滤镜通过将一帧划分成多个部分，然后使用多线程来并行处理它们；
 */
#define AVFILTER_FLAG_SLICE_THREADS         (1 << 2)
/**
 *  有些滤镜支持一个一般意义上的"enable"表达式选项。它可以用来在时间轴上开启或关闭滤镜。
 * 如果滤镜支持这个选项就是设置这个标志。
 * 当 enable 表达式为假时，默认的无操作的 filter_frame()函数将被调用，它会替换掉在每个输入pad上定义的回调函数 filter_frame(); 
 * 因此，这一帧不做任何处理地透传到下一个滤镜；
 */
#define AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC  (1 << 16)
/**
 * 和 AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC一样，
 *  有些滤镜希望在 enable表达式为假时，调用自己的 filter_frame()回调函数。
 *  例如，依据AVFilterCOntext->is_disable值，这个滤镜会使用它自己的filter_frame()回调来关闭它的处理。
*/
#define AVFILTER_FLAG_SUPPORT_TIMELINE_INTERNAL (1 << 17)
/**
 * 用来测试滤镜是否支持时间轴功能(internally or generically)的掩码
 */
#define AVFILTER_FLAG_SUPPORT_TIMELINE (AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC | AVFILTER_FLAG_SUPPORT_TIMELINE_INTERNAL)
 

4.5. AVFilter 结构体定义详解

 

/**
 * 滤镜定义。
 * 它定义了滤镜与外部进行交互的pad（管脚，这个概念来自集成电脑，表示滤镜和外部交互的接口），
 * 以及和本滤镜进行交互的所有回调函数；
 */
typedef struct AVFilter {
    /* 滤镜名。必须是非空且唯一的； */
    const char *name;
 
    /* 滤镜的描述，可以为空。 */
    const char *description;
 
    /**
     *  Pad ：  输入Pad列表，以零元素结束, 它是和它的上一个AVFilterLink的 dstpad 相连的；
     *  如果没有(静态的)输入，则将其设置为空。
     *  如果滤镜是  AVFILTER_FLAG_DYNAMIC_INPUTS  类型的实例，则在这个列表中可能有多个输入
     */
    const AVFilterPad *inputs;
    /**
     * Pad ：  输出Pad列表，以零元素结束， 它是和它的下一个AVFilterLink的  srcpad 相连的；
     *  如果没有(静态的)输出，则将其设置为空。
     *  如果滤镜是 AVFILTER_FLAG_DYNAMIC_OUTPUTS 类型的实例，则在这个列表中可能有多个输出
     */
    const AVFilterPad *outputs;
 
    /**
     *  私有数据类，用于声明滤镜私有的 AVoptions 结构体；
     *  如果滤镜没有任何可选项则将这个值初始化为NULL；
     *  如果这个值不为空，那么滤镜私有数据的第一个成员变量必须是 AVClass指针；
     */
    const AVClass *priv_class;
 
    /**
     * 滤镜类型标志  ， 其值为 AVFILTER_FLAG_*   宏定义
     */
    int flags;
 
    /*****************************************************************
     *  下面的变量不是公开的API，它们不能被libavfilter的外部使用
     *****************************************************************/
 
    /**
     *   回调函数： 滤镜预初始化函数
     *   当滤镜的 context 被分配后，将立即调用这个回调函数，来分配空间和初始化子对象。
     *  如果 这个回调函数不为空， 当遇到空间分配失败时将调用  uninit 回调函数；
     *   返回值： 0， 表示成功
     *                  AVERROR，表示失败，但是这个错误码会被删除，并被调用代码视为 ENOMEM 。
     */
    int (*preinit)(AVFilterContext *ctx);
 
    /**
     *   回调函数： 滤镜初始化函数
     *   在滤镜的整个生命周期中，这个回调函数只会在  所有可选项被设置后，滤镜链建立及格式协调之前 被调用 一次。
     *   滤镜本身的基本初始化可以放在这里，
     *   ----- 意思是只是初始化滤镜本身的状态，结构体，及本滤镜专用的参数(如输入参数再计算得到的参数)可以放在这里；
     *          如果 这些初始化需要使用到本滤镜外的(如上下游滤镜，系统)参数，则需要把这样的初始化放在 config_input()中；
     *          NOTE：输入参数的默认值是在 static const AVOption xxxx_options[] 中设置的，不需要再单独设置；
     * 
     *   如果滤镜是多输入/输出类型的，那么应该在这里基于提供的可选项创建这些 inputs/outputs。
      *  对于滤镜来说，当这个回调被调用后，就不能再有滤镜的inputs/outputs的改变了。
     *
      *  这个回调函数它假设滤镜链是有效的，或者帧参数是有效的
      *  AVFilter.uninit 指针指向的 uninit  函数  保证了即使初始化失败时 ，这个函数将会被调用 ， 因此失败时这个回调函数不需要清空
      *
      *  返回值： 0， 表示成功； 负数AVERROR,  表示失败。
     
     */
    int (*init)(AVFilterContext *ctx);
 
    /**
     * Should be set instead of @ref AVFilter.init "init" by the filters that
     * want to pass a dictionary of AVOptions to nested contexts that are
     * allocated during init.
     *
     * On return, the options dict should be freed and replaced with one that
     * contains all the options which could not be processed by this filter (or
     * with NULL if all the options were processed).
     *
     * Otherwise the semantics is the same as for @ref AVFilter.init "init".
     *   回调函数： 这个变量是被滤镜设置，用来代替 AVFilter.init "init"  回调函数，
     *           它会传递一个 AVOptions的字典 给 嵌套的 context (它是在初始化进分配的) 
     *  返回时，这个字典选项应当被释放，且被一个包含所有选项的
     */
    int (*init_dict)(AVFilterContext *ctx, AVDictionary **options);
 
    /**
     * 回调函数：  滤镜释放函数 ， 它必须在滤镜释放前仅调用一次。
     *  在这个回调函数中，应当释放滤镜的所有申请的内存，指针引用等。
     *  但它不需要去释放 AVFilterContext.priv 内存空间本身；
     *  即便 AVFilter.init "init" 函数没有被调用或调用失败，这个函数也可能会被调用。
     *  因此，它必须能处理这种情况
     */
    void (*uninit)(AVFilterContext *ctx);
 
    /**
     *  回调函数： 检查本滤镜输入列表和输出列表支持的格式。
     *  它是在滤镜初始化后(这时输入列表和输出列表都固定了)，格式协商之前被调用。它可以被调用多次。
     *
     *  在这个回调函数中， 必须对每一个输入link 设置  AVFilterLink.out_formats, 对每一个输出link 设置 AVFilterLink.in_formats,
     *  列出这个滤镜的link 支持的 像素/样本格式列表。
     * 对于音频 link， 这个滤镜还需要设置的参数有：  
     *             @ref AVFilterLink.in_samplerates "in_samplerates" /
     *             @ref AVFilterLink.out_samplerates "out_samplerates" and
     *             @ref AVFilterLink.in_channel_layouts "in_channel_layouts" /
     *             @ref AVFilterLink.out_channel_layouts "out_channel_layouts"
     * 
     *   如果滤镜只有一个输入，那这个回调函数可以设置为空，
     *  在这种情况下， libavfilter假设它支持所有的输入格式，并在输出时保留它们
     * 
     *   返回值：  0， 表示成功； 负数，对应为AVERROR 码
     */
    int (*query_formats)(AVFilterContext *);
 
    int priv_size;            ///<   滤镜分配的私有数据的大小
 
    int flags_internal;     ///<  avfilter内部使用的额外的标志
 
    /**
     *  它是被滤镜注册系统使用的，任何其它代码都不需要去操作它
     */
    struct AVFilter *next;
 
    /**
     *   让滤镜实例执行一个命令；
     *  参数： cmd   ,   要执行的命令，为简化处理，所有命令必须仅为字母数字；
     *              arg   ,    命令的参数
     *             res    ,    大小为 res_size的buffer， 用于存放滤镜的返回。当命令不支持时，不需要改变它。
     *            flags  ,     如果设置为 AVFILTER_CMD_FLAG_FAST, 且这个命令是有时间消耗的时，这个滤镜将会不执行命令
     *  返回值：  >=0， 表示成功。   否则为错误码，其中，AVERROR(ENOSYS) 为滤镜不支持这个命令
     */
    int (*process_command)(AVFilterContext *, const char *cmd, const char *arg, char *res, int res_len, int flags);
 
    /**
     *  回调函数： 滤镜初始化函数，它用来替代   init()回调函数。
     *   参数中可以包含用户提供的参数  ：  opaque是用于传输二进制数据
     */
    int (*init_opaque)(AVFilterContext *ctx, void *opaque);
 
    /**
     * Filter activation function.
     *
     * Called when any processing is needed from the filter, instead of any
     * filter_frame and request_frame on pads.
     *
     * The function must examine inlinks and outlinks and perform a single
     * step of processing. If there is nothing to do, the function must do
     * nothing and not return an error. If more steps are or may be
     * possible, it must use ff_filter_set_ready() to schedule another
     * activation.
     *  回调函数： 滤镜激活函数
     *  当有处理需要这个滤镜时，就会调用这个函数。
     */
    int (*activate)(AVFilterContext *ctx);
} AVFilter;

4.6 AVFilterContext 滤镜实例的结构体

/** An instance of a filter */
struct AVFilterContext {
    const AVClass *av_class;                       ///< needed for av_log() and filters common options
 
    const AVFilter *filter;                              ///<  指明本实例是哪个AVFilter的实例
 
    char *name;                                          ///< 当前滤镜实例的名称 
 
    AVFilterPad   *input_pads;                    ///< 输入Pad的数组             array of input pads
    AVFilterLink  **inputs;                            ///< 输入link的指针数组       array of pointers to input links
    unsigned         nb_inputs;                          ///< 输入Pad的个数             number of input pads
 
    AVFilterPad   *output_pads;                ///< 输出Pad的数组              array of output pads
    AVFilterLink **outputs;                        ///< 输出link的指针数组         array of pointers to output links
    unsigned        nb_outputs;                     ///<  输出Pad的个数              number of output pads
 
    void *priv;                                          ///< 本滤镜使用的私有数据    private data for use by the filter
 
    struct AVFilterGraph *graph;            ///< 指明本滤镜是属于哪个filtergraph 
 
    /**
     * Type of multithreading being allowed/used. A combination of
     * AVFILTER_THREAD_* flags.
     *
     * May be set by the caller before initializing the filter to forbid some
     * or all kinds of multithreading for this filter. The default is allowing
     * everything.
     *
     * When the filter is initialized, this field is combined using bit AND with
     * AVFilterGraph.thread_type to get the final mask used for determining
     * allowed threading types. I.e. a threading type needs to be set in both
     * to be allowed.
     *
     * After the filter is initialized, libavfilter sets this field to the
     * threading type that is actually used (0 for no multithreading).
     */
    int thread_type;
 
    /**
     * An opaque struct for libavfilter internal use.
     */
    AVFilterInternal *internal;
 
    struct AVFilterCommand *command_queue;
 
    char *enable_str;                      ///< enable expression string
    void *enable;                            ///< parsed expression (AVExpr*)
    double *var_values;                 ///< variable values for the enable expression
    int is_disabled;                        ///< the enabled state from the last expression evaluation
 
    /**
     * For filters which will create hardware frames, sets the device the
     * filter should create them in.  All other filters will ignore this field:
     * in particular, a filter which consumes or processes hardware frames will
     * instead use the hw_frames_ctx field in AVFilterLink to carry the
     * hardware context information.
     */
    AVBufferRef *hw_device_ctx;
 
    /**
     * Max number of threads allowed in this filter instance.
     * If <= 0, its value is ignored.
     * Overrides global number of threads set per filter graph.
     */
    int nb_threads;
 
    /**
     * Ready status of the filter.
     * A non-0 value means that the filter needs activating;
     * a higher value suggests a more urgent activation.
     */
    unsigned ready;
 
    /**
     * Sets the number of extra hardware frames which the filter will
     * allocate on its output links for use in following filters or by
     * the caller.
     *
     * Some hardware filters require all frames that they will use for
     * output to be defined in advance before filtering starts.  For such
     * filters, any hardware frame pools used for output must therefore be
     * of fixed size.  The extra frames set here are on top of any number
     * that the filter needs internally in order to operate normally.
     *
     * This field must be set before the graph containing this filter is
     * configured.
     */
    int extra_hw_frames;
};

4.7 AVFilterLink ： 链接结构体定义

libavfilter/avfilter.h
/**
 *  两个滤镜之间的链接；
 *  如果两个滤镜是有链接的，则这个链接结构体包含有指向源滤镜与目的滤镜的指针，
 *  及 源滤镜的输出Pad,  和 目的滤镜的输入Pad 指针；
 *  另外，这个链接还包含有这个两个滤镜经过协商并匹配成功的参数，如图像的分辨率，格式等；
 *
 *  应用程序不能直接去访问链接结构体，而是使用 buffersrc   和  buffersink API 来访问，如：
 *  
 */
struct AVFilterLink {
    AVFilterContext *src;                                  ///<  指向和它相连的上游的源滤镜
    AVFilterPad *srcpad;                                  ///<  源Pad ，  和上游源滤镜的 output_pad  相连
 
    AVFilterContext *dst;                                 ///< 指向和它相连的下游的目的滤镜
    AVFilterPad *dstpad;                                ///<  目的Pad,    和下游目目的滤镜的  innput_pad  相连 
 
    enum AVMediaType type;                        ///< Link的媒体类型   
 
    /*  视频相关参数 */
    int w;                                                        ///< agreed upon image width
    int h;                                                        ///< agreed upon image height
    AVRational sample_aspect_ratio;            ///< agreed upon sample aspect ratio
    /* 音频相关参数 */
    uint64_t channel_layout;                         ///< channel layout of current buffer (see libavutil/channel_layout.h)
    int sample_rate;                                      ///< samples per second
 
    int format;                                               ///< 协商后并匹配成功的媒体格式 ID 
 
    /**
     *  定义将通过此链接的 帧/样本的PTS表示用的 时钟基， 
     *  在配置阶段，每个滤镜应当只能改变输出的时钟基，而输入的时钟基是不可以更改的
     */
    AVRational time_base;
 
    /*****************************************************************
     *  下面的所有成员属性与函数都不是公开API，它们不能被 libavfilter的外部使用
     *****************************************************************
     */
    /**
     *  输入滤镜与输出滤镜支持的格式、通道布局、采样率列表，这些列表用是用于实际的格式协商。
     *  当协商成功后，匹配的格式与通道布局将会更新上面的 format 、channel_layout 、sample_rate 成员属性；
     */
    AVFilterFormats                        *in_formats;
    AVFilterFormats                        *out_formats;
 
    AVFilterFormats                        *in_samplerates;
    AVFilterFormats                        *out_samplerates;
 
    struct AVFilterChannelLayouts  *in_channel_layouts;
    struct AVFilterChannelLayouts  *out_channel_layouts;
 
    /**
     *  仅用于音频；
     *  输出滤镜会设置它为一个非零值，用于请求将有设定数量的样本缓冲区发送给它。
     *  此时，对应输入Pad的 AVFilterPad.needs_fifo  也要做设置；
     *  EOF之前的最后一个buffer将会使用静音数据填充；
     */
    int request_samples;
 
    /** stage of the initialization of the link properties (dimensions, etc) */
    enum {
        AVLINK_UNINIT = 0,        ///< not started
        AVLINK_STARTINIT,        ///< started, but incomplete
        AVLINK_INIT                    ///< complete
    } init_state;
 
    /**
     * 滤镜所属的滤镜图；
     */
    struct AVFilterGraph *graph;
 
    /**
     * 本链接的当前时间戳，由最近的帧定义，单位是 上面的 time_base；
     */
    int64_t current_pts;
 
    /**
     *  本链接的当前时间戳，由最近的帧定义，单位是 AV_TIME_BASE （即ffmpeg内部使用的时钟基）
     */
    int64_t current_pts_us;
 
    /**
     * Index in the age array.
     */
    int age_index;
 
    /**
     * 本滤镜链的流的帧率，当帧率是未知或可变时，设为 {1/0}; 
     * 如果设置为 {0/0}， 将会自动从源滤镜的输入复制得到；
     *
     * 源滤镜应当将其设置为实际帧率的最佳估值。
     *  如果源滤镜帧率是未知或是可变的，则将其设置为 {1/0}.
     *  如果有必要，滤镜应当在它的处理函数中更新这个值；
     *  Sink型滤镜可以用它来设置默认的输出帧率；
      * 它和 AVStream中 的 r_frame_rate 类似；
     */
    AVRational frame_rate;
 
    /**
     * Buffer partially filled with samples to achieve a fixed/minimum size.
     *   
     */
    AVFrame *partial_buf;
 
    /**
     * Size of the partial buffer to allocate.Must be between min_samples and max_samples.
     * 
     */
    int partial_buf_size;
 
    /**
     *  滤镜一次能处理的最小样本数。
     *  如果调用  filter_frame() 函数  时 的样本数小于这个值时，那这个函数将会在 partial_buf中将这些样本累积起来。
     *  这个属性值 及 相关的属性在滤镜初始化完成后就不能再更改了；
     *  如果设置为零，则所有相关的属性都被忽略；
     */
    int min_samples;
 
    /**
     *  滤镜一次能处理的最大样本数。
     *  如果调用 filter_frame() 函数时的 样本数大于这个值时，那这个函数要将样本切分后再处理；
     */
    int max_samples;
 
    /**
     * 音频通道的个数
     */
    int channels;
 
    /**
     * Link processing flags.  链接处理标志
     */
    unsigned flags;
 
    /**
     *  通过链接的输入的帧数，输出的帧数；
     */
    int64_t frame_count_in, frame_count_out;
 
    /**
     * A pointer to a FFFramePool struct.
     */
    void *frame_pool;
 
    /**
     * True if a frame is currently wanted on the output of this filter.
     * Set when ff_request_frame() is called by the output,
     * cleared when a frame is filtered.
     *  如果当前帧希望从滤镜输出，则此值为真。
     */
    int frame_wanted_out;
 
    /**
     * For hwaccel pixel formats, this should be a reference to the
     * AVHWFramesContext describing the frames.
     */
    AVBufferRef *hw_frames_ctx;
 
#ifndef FF_INTERNAL_FIELDS
 
    /**
     * Internal structure members.
     * The fields below this limit are internal for libavfilter's use
     * and must in no way be accessed by applications.
     */
    char reserved[0xF000];
 
#else /* FF_INTERNAL_FIELDS */
 
    /**
     * Queue of frames waiting to be filtered.
     */
    FFFrameQueue fifo;
 
    /**
     * If set, the source filter can not generate a frame as is.
     * The goal is to avoid repeatedly calling the request_frame() method on
     * the same link.
     */
    int frame_blocked_in;
 
    /**
     * Link input status.
     * If not zero, all attempts of filter_frame will fail with the
     * corresponding code.
     */
    int status_in;
 
    /**
     * Timestamp of the input status change.
     */
    int64_t status_in_pts;
 
    /**
     * Link output status.
     * If not zero, all attempts of request_frame will fail with the
     * corresponding code.
     */
    int status_out;
 
#endif /* FF_INTERNAL_FIELDS */
 
};

4.8. AVFilterPad结构体定义

/**
 * @addtogroup lavu_media Media Type
 * @brief Media Type
 */
 
enum AVMediaType {
    AVMEDIA_TYPE_UNKNOWN = -1,  ///< Usually treated as AVMEDIA_TYPE_DATA
    AVMEDIA_TYPE_VIDEO,
    AVMEDIA_TYPE_AUDIO,
    AVMEDIA_TYPE_DATA,          ///< Opaque data information usually continuous
    AVMEDIA_TYPE_SUBTITLE,
    AVMEDIA_TYPE_ATTACHMENT,    ///< Opaque data information usually sparse
    AVMEDIA_TYPE_NB
};
 
 
/**
  *  一个 filter pad 就是一个滤镜的输入/输出端口
 */
struct AVFilterPad {
    /**
     *  Pad名称， 在输入列表，或输出列表内部必须是唯一的，但输入列表，输出列表之间可以重名。
     *  如果 这个 Pad  不会被以名称引用，则其值可以为NULL。
     */
    const char *name;
 
    /**
     * AVFilterPad 类型 
     */
    enum AVMediaType type;
 
    /**
     *  获得一个视频 buffer的回调函数，如果为空，则滤镜系统会使用默认的  ff_default_get_video_buffer(); 
     *   只对输入的视频 Pad 有效
     */
    AVFrame *(*get_video_buffer)(AVFilterLink *link, int w, int h);
 
    /**
     *  获得一个音频 buffer的回调函数，如果为空，则滤镜系统会使用默认的 ff_default_get_audio_buffer(); 
     * 只对输入的 音频 Pad 有效
     */
    AVFrame *(*get_audio_buffer)(AVFilterLink *link, int nb_samples);
    /**
     *  调用滤镜进行处理的回调函数：当滤镜收到一帧 音频/视频 数据时，就要调用它进行处理。
     *  它是滤镜处理的真正入口 ， 只在输入 pad中使用；
     *
     *  返回值： >=0, 表示成功，负数，为AVERROR的错误。
    *  这个函数必须确保 当滤镜的处理出现错误时未被不合适地引用，且不会将错误传递到下一个滤镜
     */
    int (*filter_frame)(AVFilterLink *link, AVFrame *frame);
 
    /**
     * Frame poll callback. This returns the number of immediately available
     * samples. It should return a positive value if the next request_frame()
     * is guaranteed to return one frame (with no delay).
     *
     * Defaults to just calling the source poll_frame() method.
     *   
     * Output pads only.
     *  回调函数： 帧轮询的回调函数， 它返回当前有效的样本个数；  只对输出Pad有效；
     *  如果下一个 request_frame()函数是有帧数据返回，则它应该返回一个正数值；
     */
    int (*poll_frame)(AVFilterLink *link);
 
    /**
     * Frame request callback. A call to this should result in some progress
     * towards producing output over the given link. This should return zero
     * on success, and another value on error.
     *
     * Output pads only.
     *   回调函数： 帧请求回调函数。只对输出Pad有效；
     *   如果调用 了这个回调函数，应当在给定的link上生成经过处理后的输出数据；
     *   返回值： 0，表示成功；否则为错误值；
     */
    int (*request_frame)(AVFilterLink *link);
 
    /**
     *   回调函数：  用于link的配置的回调函数
     *   对于 输出 Pad， 它应当设置 link的属性，如  width/height等。
     *   不要在这里设置 格式 属性；
     *   因为格式属性是由滤镜系统调用这个回调函数之前，调用query_formats() 回调函数在滤镜间进行协调得到的。
     *   对于输入 pad, 这个回调函数是用检查 link的属性，并由此更新滤镜内部的相关状态；
     *  
     *  对于既有输入，又有输出的滤镜，这个回调函数在成功时返回零，其它返回值为出错。
     */
    int (*config_props)(AVFilterLink *link);
 
    /**
     *　这个滤镜需要有一个 FIFO插入它的输入link，通常是因为这个滤镜会有一个延迟的动作。
     *   只在输入pad中使用
     */
    int needs_fifo;
 
    /**
     * 这个滤镜需要从它的输入 link中得到一个可写的帧，如果有需要，会复制数据buffer
     *  只在输入pad中使用
     */
    int needs_writable;
};

 

 

标签：FFmpeg,int,frame,AVFilterContext,filter,滤镜,AVFilterLink,4.0
来源： https://www.cnblogs.com/lidabo/p/15944637.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。