Intelligent Video Analysis

读取视频

要在 GStreamer 中读取视频并获取视频流中的视频帧，有几种方法可以实现这一目标。以下是几种常用的方法：

  1. 使用 appsink 元素：

    • appsink 元素允许你从 GStreamer 管道中获取原始的视频帧数据。你可以设置 appsink 的 caps 属性来指定所需的输出格式，例如 RGB。然后，通过连接 “new-sample” 信号到你的回调函数，你可以在回调函数中处理每一帧数据。例如，你可以使用以下代码设置 appsink 并获取帧数据 。

  2. 使用 fakesink 元素：

    • fakesink 是一个虚拟的 sink 元素，它接收数据但不显示或保存它。通过将 fakesink 与 signal-handoffs 属性结合使用，你可以在回调函数中接收帧数据。这种方式适合于调试或在不需要显示或保存视频的情况下获取帧数据 。

  3. 使用 GstDiscoverer 获取媒体信息：

    • 如果你需要获取视频的元数据信息，比如分辨率、帧率等，可以使用 GstDiscoverer。这是一个方便的接口，可以分析媒体文件并提供相关信息。你可以使用 gst-discoverer-1.0 工具或编程方式使用 GstDiscoverer API 来获取这些信息 。

  4. 使用 probe（探针）机制：

    • 探针是一种监视 GStreamer 管道中数据流的方法。你可以在特定的 pad 上添加探针，并在数据流经过时获得通知。这允许你在数据流中捕获帧数据，并对数据进行操作，例如格式转换。你可以使用 gst_pad_add_probe 函数来添加探针，并在回调中处理数据 。

  5. 使用 Filter 过滤器

    • 与 sink 元素不同, 过滤器接收输入数据, 进行读取或者修改, 可以直接从 GstBaseTransform 扩展, 实现 transform 或者 transform_ip(ip 是 ip place 的缩写) 方法, 参见 https://gstreamer.freedesktop.org/documentation/base/gstbasetransform.html