audio - 実行中の（gstreamer）パイプラインの要素を動的に（非）リンクしますか？

Question

静的パイプラインの構築と実行に関するgstreamerのドキュメントには多くの例があります。ただし、メディアが実際に流れている間は、ライブパイプラインの要素を変更/再リンクすることについてはあまりありません。それは間違いなく可能なので、質問は次のとおりです。

1. これを試す前に、どのgstreamerの概念/メカニズムを理解する必要がありますか？
2. 注意すべき落とし穴はありますか？
3. 基本的な手順、または良い例は何ですか？

受け入れられた回答は、スプーンで供給され、包括的で、ソースコードが含まれます

Answer 1

1. リンク（およびダイナミックリンク）を理解するための私のお気に入りの「概念」は、パイプラインを、水が流れる実際のパイプとして考えることです。これを行うと、いくつかのことが非常に明白になります。たとえば、「要素をリンクする前にソースをPLAYINGに設定しますか？」、「ホースを接続する前に水をオンにしますか？」のようになり、それ自体が一種の答えになります。ダイナミックリンクを使用すると、水が「漏れる」（つまり、GStreamerの「漏れ」はGST_FLOW_NOT_LINKEDを取得するのと同じであり、ソースと楽しみを停止する）または詰まる（できます）ことがないようにするにはどうすればよいでしょうか。パケットのドロップまたは輻輳を引き起こします）。

2. はい。たくさんの。私は現在まだ0.10で作業しており、その一部は1.0で修正されている可能性があるという少しの免責事項がありますが、残念ながら、GStreamer0.10で動的リンクとリンク解除を行うのは非常に困難です。説明させてください：Teeを使用していて、1つのブランチのリンクを解除したいとします。まず、Tees srcpadをリリースします（パッドのリリースの一部として発生します。リンクを解除してもかまいません）。これで、そのパッドの下流にある要素を安全に破棄できるようになります。（水に相当するのは、ティーの後でバルブを閉じることです。これで、バルブの後でパイプを分解できるようになります。濡れたくない場合は、最初にバルブを閉じずにパイプの分解を開始することはできません...）これほとんどの場合は機能しますが、ここでレースがあります。パッドを離した後、

3. 私はこれを使って多くの実験を行いましたが、安定性が必要で、クラッシュ/フリーズがオプションではない場合は、動的セーフティネットとして機能する要素が必要であることがわかりました。パッドを離したりリンクを解除したりした後、パッドでアクティビティが発生しないことを保証する要素。これを行う唯一の方法は、ロックを保持している間はプッシュしないという別のGStreamerパラダイムを破ることです。プッシュ/イベントの送信/パッド割り当て中にロックを保持する必要があります。私はここでしばらく前にそのようなものを作りました。（もちろん、テストケースは、自分の要素や他の要素の安全性をテストできるため、最も重要なことです）また、すべての悪いFlowReturnを飲み込むロックのない要素を想像して、きれいな絵を描くこともできます。そのアップストリームですが、すべてのダウンストリーム要素が「シャットダウン中にプッシュまたはパッド割り当てを受信」することを絶対に確認する必要があります。これは、要素が一度「フローを停止する」ことを保証できないためです。 （リリース/リンク解除）が実行されました。少しドロップしても通過しません。

もちろん、あなたはこれのいくつかを見通しに入れなければなりません。私が話しているこれらのひどい競合状態のウィンドウは、実際には非常に小さく、プログラムを実行するたびに1000回または10000回しか発生しない可能性があります。しかし、プロのアプリケーションの場合、これはもちろん受け入れられません。私はここでこれらのもののいくつかをカバーする話をしました

Answer 2

パッドブロッキングの複雑さではなく、状況に応じて出力セレクターまたは入力セレクタービンを使用する傾向があります（別の投稿http://gstreamer-devel.966125.n4.nabble.com/Dynamically-adding-でパッドブロッキングに回答しましたおよび-removing-branches-of-a-tee-td973635.html＃a4656812）。また、使用していないときは、セレクターをfakesrcまたはfakesinkビンに接続します。以下の例では、GTKを使用している場合、行g_timeout_add (SWITCH_TIMEOUT, switch_cb, osel);を次のように置き換えて、gtk_toggle_button現在すべてのコードをswitch_cbトグルボタンコールバック関数への関数。このコードでは、2つのイメージシンクを切り替えることができます。パイプラインを実行し続けるために、1つのイメージシンクをフェイクシンクに置き換えます。将来、ビデオを録画したいファイルシンクでティーを追加したいが、プレーヤーにオン（イメージシンクのセレクター）/オフ（セレクター）のオプションを提供したい場合に備えて偽物のシンク）ディスプレイ。これにより、セレクターを使用して実行時にビンを追加/削除できます。

#include <gst/gst.h>

#define SWITCH_TIMEOUT 1000
#define NUM_VIDEO_BUFFERS 500

static GMainLoop *loop;

/* Output selector src pads */
static GstPad *osel_src1 = NULL;
static GstPad *osel_src2 = NULL;

static gboolean
my_bus_callback (GstBus * bus, GstMessage * message, gpointer data)
{
  g_print ("Got %s message\n", GST_MESSAGE_TYPE_NAME (message));

  switch (GST_MESSAGE_TYPE (message)) {
    case GST_MESSAGE_ERROR:{
      GError *err;
      gchar *debug;

      gst_message_parse_error (message, &err, &debug);
      g_print ("Error: %s\n", err->message);
      g_error_free (err);
      g_free (debug);

      g_main_loop_quit (loop);
      break;
    }
    case GST_MESSAGE_EOS:
      /* end-of-stream */
      g_main_loop_quit (loop);
      break;
    default:
      /* unhandled message */
      break;
  }
  /* we want to be notified again the next time there is a message
   * on the bus, so returning TRUE (FALSE means we want to stop watching
   * for messages on the bus and our callback should not be called again)
   */
  return TRUE;
}

static gboolean
switch_cb (gpointer user_data)
{
  GstElement *sel = GST_ELEMENT (user_data);
  GstPad *old_pad, *new_pad = NULL;

  g_object_get (G_OBJECT (sel), "active-pad", &old_pad, NULL);

  if (old_pad == osel_src1)
    new_pad = osel_src2;
  else
    new_pad = osel_src1;

  g_object_set (G_OBJECT (sel), "active-pad", new_pad, NULL);

  g_print ("switched from %s:%s to %s:%s\n", GST_DEBUG_PAD_NAME (old_pad),
      GST_DEBUG_PAD_NAME (new_pad));

  gst_object_unref (old_pad);

  return TRUE;

}

gint
main (gint argc, gchar * argv[])
{
  GstElement *pipeline, *src, *toverlay, *osel, *sink1, *sink2, *convert;
  GstPad *sinkpad1;
  GstPad *sinkpad2;
  GstBus *bus;

  /* init GStreamer */
  gst_init (&argc, &argv);
  loop = g_main_loop_new (NULL, FALSE);

  /* create elements */
  pipeline = gst_element_factory_make ("pipeline", "pipeline");
  src = gst_element_factory_make ("videotestsrc", "src");
  toverlay = gst_element_factory_make ("timeoverlay", "timeoverlay");
  osel = gst_element_factory_make ("output-selector", "osel");
  convert = gst_element_factory_make ("ffmpegcolorspace", "convert");
  sink1 = gst_element_factory_make ("xvimagesink", "sink1");
  sink2 = gst_element_factory_make ("ximagesink", "sink2");

  if (!pipeline || !src || !toverlay || !osel || !convert || !sink1 || !sink2) {
    g_print ("missing element\n");
    return -1;
  }

  /* add them to bin */
  gst_bin_add_many (GST_BIN (pipeline), src, toverlay, osel, convert, sink1,
      sink2, NULL);

  /* set properties */
  g_object_set (G_OBJECT (src), "is-live", TRUE, NULL);
  g_object_set (G_OBJECT (src), "do-timestamp", TRUE, NULL);
  g_object_set (G_OBJECT (src), "num-buffers", NUM_VIDEO_BUFFERS, NULL);
  g_object_set (G_OBJECT (sink1), "sync", FALSE, "async", FALSE, NULL);
  g_object_set (G_OBJECT (sink2), "sync", FALSE, "async", FALSE, NULL);
  g_object_set (G_OBJECT (osel), "resend-latest", TRUE, NULL);

  /* link src ! timeoverlay ! osel */
  if (!gst_element_link_many (src, toverlay, osel, NULL)) {
    g_print ("linking failed\n");
    return -1;
  }

  /* link output 1 */
  sinkpad1 = gst_element_get_static_pad (sink1, "sink");
  osel_src1 = gst_element_get_request_pad (osel, "src%d");
  if (gst_pad_link (osel_src1, sinkpad1) != GST_PAD_LINK_OK) {
    g_print ("linking output 1 failed\n");
    return -1;
  }
  gst_object_unref (sinkpad1);

  /* link output 2 */
  sinkpad2 = gst_element_get_static_pad (convert, "sink");
  osel_src2 = gst_element_get_request_pad (osel, "src%d");
  if (gst_pad_link (osel_src2, sinkpad2) != GST_PAD_LINK_OK) {
    g_print ("linking output 2 failed\n");
    return -1;
  }
  gst_object_unref (sinkpad2);

  if (!gst_element_link (convert, sink2)) {
    g_print ("linking output 2 failed\n");
    return -1;
  }

  /* add switch callback */
  g_timeout_add (SWITCH_TIMEOUT, switch_cb, osel);

  /* change to playing */
  bus = gst_pipeline_get_bus (GST_PIPELINE (pipeline));
  gst_bus_add_watch (bus, my_bus_callback, loop);
  gst_object_unref (bus);

  gst_element_set_state (pipeline, GST_STATE_PLAYING);

  /* now run */
  g_main_loop_run (loop);

  /* also clean up */
  gst_element_set_state (pipeline, GST_STATE_NULL);
  gst_element_release_request_pad (osel, osel_src1);
  gst_element_release_request_pad (osel, osel_src2);
  gst_object_unref (GST_OBJECT (pipeline));

  return 0;
}

Answer 3

この投稿は、gstreamerパイプラインを動的に変更する方法を探したときに最初に表示されました。いくつかのリンクが見つかりましたが、現在はマニュアルに詳しく記載されています：http: //gstreamer.freedesktop.org/data/doc/gstreamer/head/manual/html/section-dynamic-pipelines.html

Answer 4

実際、私は同じことをしようとしています。まだあまり運がない:(

#gstreamer IRCチャネルで質問して次のリンクを取得しました：http： //cgit.freedesktop.org/gstreamer/gstreamer/tree/docs/design/part-dynamic.txt

たぶん正しい方向へのヒント。

他のドキュメントを見つけたら教えてください...

Answer 5

multifilesinkまたはoutput-selectorの上にGstreamer0.10用の完全に読みやすいmuxedファイルを作成することはできませんでした。

多くの代替案を分析した後、私のソリューションはコードベースとして次の例を示します：http： //gstreamer.freedesktop.org/data/doc/gstreamer/head/manual/html/section-dynamic-pipelines.html

プローブ関数APIは0.10から1.0に少し変更されましたが、以下のソリューションはN秒ごとに異なるMP4ファイルを作成するように機能します。

static GstElement *pipeline = NULL;

// Pipeline -> src                    -> dynamic pipeline
// Pipeline -> capsfilter(f264file)   -> mp4mux(mux0)                                 -> filesink(fsink0)
// Pipeline -> elem_before||blockpad| -> |elem_cur_sinkpad||elem_cur||elem_cur_srcpad -> |elem_after_sinkpad||elem_after
static gulong probe_id;             // probe ID
static GstElement *elem_before;     // SRC of dynamic pipeline
static GstElement *elem_after;      // SINK of dynamic pipeline
static GstElement *elem_cur;        // Main element of dynamic pipeline
static GstPad *blockpad;            // SRC pad to be blocked
static GstPad *elem_cur_srcpad;     // SRC pad where check EOS
static GstPad *elem_cur_sinkpad;    // SINK of dynamic pipeline
static GstPad *elem_after_sinkpad;  // SINK of SINK element

// Last Buffer Timestamp
static GstClockTime last_ts = 0;

typedef enum {
  NO_NEW_FILE,  // Keep current file destination
  NEW_FILE,     // Switch file destination
} NewFileStatus;
static NewFileStatus newfile = NO_NEW_FILE; // Switch File Flag

static int counter = 1; // Index filename

// EOS listener to switch to other file destination
static gboolean
event_probe_cb (GstPad * pad, GstEvent * event, gpointer user_data)
{
  g_print ("INSIDE event_probe_cb:%d type:%s\n",probe_id,
      GST_EVENT_TYPE (event)==GST_EVENT_EOS?"EOS":GST_EVENT_TYPE (event)==GST_EVENT_NEWSEGMENT?"NEWSEGMENT":"OTHER");

  if (GST_EVENT_TYPE (event) != GST_EVENT_EOS)
  {
    // Push the event in the pipe flow (false DROP)
    return TRUE;
  }

  // remove the probe first
  gst_pad_remove_event_probe (pad, probe_id);

  gst_object_unref (elem_cur_srcpad);
  gst_object_unref (elem_after_sinkpad);
  gst_element_release_request_pad(elem_cur, elem_cur_sinkpad);

  gst_element_set_state (elem_cur, GST_STATE_NULL);
  gst_element_set_state (elem_after, GST_STATE_NULL);

  // remove unlinks automatically
  GST_DEBUG_OBJECT (pipeline, "removing %" GST_PTR_FORMAT, elem_cur);
  gst_bin_remove (GST_BIN (pipeline), elem_cur);
  GST_DEBUG_OBJECT (pipeline, "removing %" GST_PTR_FORMAT, elem_after);
  gst_bin_remove (GST_BIN (pipeline), elem_after);

  GstElement * mux0 = gst_element_factory_make("mp4mux", "mux0");
  GstElement * fsink0 = gst_element_factory_make("filesink", "fsink0");
  elem_cur = mux0;
  elem_after = fsink0;

  if(!mux0 || !fsink0)
  {
    printf("mising elements\n");
  }

  GST_DEBUG_OBJECT (pipeline, "adding   %" GST_PTR_FORMAT, elem_cur);
  gst_bin_add (GST_BIN (pipeline), elem_cur);
  GST_DEBUG_OBJECT (pipeline, "adding   %" GST_PTR_FORMAT, elem_after);
  gst_bin_add (GST_BIN (pipeline), elem_after);

  char buffer[128];
  sprintf(buffer, "test_%d.mp4", counter++);
  g_print ("File Switching %s\n", buffer);
  g_object_set(G_OBJECT(elem_after), "location", buffer, NULL);

  GST_DEBUG_OBJECT (pipeline, "linking..");
  elem_cur_srcpad = gst_element_get_static_pad (elem_cur, "src");
  elem_cur_sinkpad = gst_element_get_request_pad (elem_cur, "video_%d");
  elem_after_sinkpad = gst_element_get_static_pad (elem_after, "sink");

  if(gst_pad_link(blockpad, elem_cur_sinkpad) != GST_PAD_LINK_OK)
  {
    printf("linking output 0 failed\n");
    return -1;
  }
  if(gst_pad_link(elem_cur_srcpad, elem_after_sinkpad) != GST_PAD_LINK_OK)
  {
    printf("linking output 1 failed\n");
    return -1;
  }

  g_print ("Moving to PLAYING\n");
  gst_element_set_state (elem_cur, GST_STATE_PLAYING);
  gst_element_set_state (elem_after, GST_STATE_PLAYING);

  GST_DEBUG_OBJECT (pipeline, "done");

  newfile = NO_NEW_FILE;
  // Push the event in the pipe flow (false DROP)
  return TRUE;
}

// Check if Buffer contains a KEY FRAME
static gboolean
is_sync_frame (GstBuffer * buffer)
{
  if (GST_BUFFER_FLAG_IS_SET(buffer, GST_BUFFER_FLAG_DELTA_UNIT)) 
  {
    return FALSE;
  }
  else if (!GST_BUFFER_FLAG_IS_SET(buffer, GST_BUFFER_FLAG_IN_CAPS)) 
  {
    return TRUE;
  }
}

// Block source and launch EOS to MUXER to achieve a full muxed file
static gboolean
pad_probe_cb (GstPad * pad, GstBuffer * buffer, gpointer user_data)
{
  g_print ("\n\tINSIDE pad_probe_cb:%d %s %s\n",probe_id, (newfile?"newfile":"thesame"), 
      (is_sync_frame (buffer)?"KEYframe":"frame"));
  GST_DEBUG_OBJECT (pad, "pad is blocked now");

  last_ts = GST_BUFFER_TIMESTAMP(buffer);
  if(!GST_CLOCK_TIME_IS_VALID(last_ts))
      last_ts=0;

  if((newfile==NO_NEW_FILE) || !is_sync_frame (buffer))
    return TRUE;

  /* remove the probe first */
  gst_pad_remove_buffer_probe (pad, probe_id);

  /* install new probe for EOS */
  probe_id = gst_pad_add_event_probe (elem_after_sinkpad, G_CALLBACK(event_probe_cb), user_data);

  /* push EOS into the element, the probe will be fired when the
   * EOS leaves the effect and it has thus drained all of its data */
  gst_pad_send_event (elem_cur_sinkpad, gst_event_new_eos ());

  // Wait til the EOS have been processed the Buffer with the Key frame will be the FIRST
  while(newfile != NO_NEW_FILE)
      Sleep(1);

  // Push the buffer in the pipe flow (false DROP)
  return TRUE;
}

// this timeout is periodically run as part of the mainloop
static gboolean timeout (gpointer user_data)
{
  g_print ("TIMEOUT\n");
  if(!playing)
      return false;
  newfile = NEW_FILE;
  /* install new probe for Keyframe and New File */
  probe_id = gst_pad_add_buffer_probe (blockpad, G_CALLBACK(pad_probe_cb), pipeline);
  return true;
}