validate/gst/validate/gst-validate-pad-monitor.c

   1 /* GStreamer
   2  *
   3  * Copyright (C) 2013 Collabora Ltd.
   4  *  Author: Thiago Sousa Santos <thiago.sousa.santos@collabora.com>
   5  *
   6  * gst-validate-pad-monitor.c - Validate PadMonitor class
   7  *
   8  * This library is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Library General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * This library is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Library General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Library General Public
  19  * License along with this library; if not, write to the
  20  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  21  * Boston, MA 02111-1307, USA.
  22  */
  23
  24 #ifdef HAVE_CONFIG_H
  25 #  include "config.h"
  26 #endif
  27
  28 #include "gst-validate-internal.h"
  29 #include "gst-validate-pad-monitor.h"
  30 #include "gst-validate-element-monitor.h"
  31 #include "gst-validate-pipeline-monitor.h"
  32 #include "gst-validate-reporter.h"
  33 #include "gst-validate-utils.h"
  34 #include "validate.h"
  35 #include <string.h>
  36 #include <stdarg.h>
  37
  38 /**
  39  * SECTION:gst-validate-pad-monitor
  40  * @short_description: Class that wraps a #GstPad for Validate checks
  41  *
  42  * TODO
  43  */
  44 #define _GET_PAD_MONITOR(p) g_object_get_qdata ((GObject*) p, _Q_VALIDATE_MONITOR)
  45 #define _SET_PAD_MONITOR(p,d) g_object_set_qdata ((GObject*) p, _Q_VALIDATE_MONITOR, d)
  46
  47 static GstValidateInterceptionReturn
  48 gst_validate_pad_monitor_intercept_report (GstValidateReporter * reporter,
  49     GstValidateReport * report);
  50
  51 #define _do_init \
  52   G_IMPLEMENT_INTERFACE (GST_TYPE_VALIDATE_REPORTER, _reporter_iface_init)
  53
  54 static void
  55 _reporter_iface_init (GstValidateReporterInterface * iface)
  56 {
  57   iface->intercept_report = gst_validate_pad_monitor_intercept_report;
  58 }
  59
  60 #define gst_validate_pad_monitor_parent_class parent_class
  61 G_DEFINE_TYPE_WITH_CODE (GstValidatePadMonitor, gst_validate_pad_monitor,
  62     GST_TYPE_VALIDATE_MONITOR, _do_init);
  63
  64 #define PENDING_FIELDS "pending-fields"
  65 #define AUDIO_TIMESTAMP_TOLERANCE (GST_MSECOND * 100)
  66
  67 #define PAD_PARENT_IS_DEMUXER(m) \
  68     (GST_VALIDATE_MONITOR_GET_PARENT(m) ? \
  69         GST_VALIDATE_ELEMENT_MONITOR_ELEMENT_IS_DEMUXER ( \
  70             GST_VALIDATE_MONITOR_GET_PARENT(m)) : \
  71         FALSE)
  72
  73 #define PAD_PARENT_IS_DECODER(m) \
  74     (GST_VALIDATE_MONITOR_GET_PARENT(m) ? \
  75         GST_VALIDATE_ELEMENT_MONITOR_ELEMENT_IS_DECODER ( \
  76             GST_VALIDATE_MONITOR_GET_PARENT(m)) : \
  77         FALSE)
  78
  79 #define PAD_PARENT_IS_ENCODER(m) \
  80     (GST_VALIDATE_MONITOR_GET_PARENT(m) ? \
  81         GST_VALIDATE_ELEMENT_MONITOR_ELEMENT_IS_ENCODER ( \
  82             GST_VALIDATE_MONITOR_GET_PARENT(m)) : \
  83         FALSE)
  84
  85 #define PAD_PARENT_IS_SINK(m) \
  86     (GST_VALIDATE_MONITOR_GET_PARENT(m) ? \
  87         GST_VALIDATE_ELEMENT_MONITOR_ELEMENT_IS_SINK ( \
  88             GST_VALIDATE_MONITOR_GET_PARENT(m)) : \
  89         FALSE)
  90
  91
  92 /*
  93  * Locking the parent should always be done before locking the
  94  * pad-monitor to prevent deadlocks in case another monitor from
  95  * another pad on the same element starts an operation that also
  96  * requires locking itself and some other monitors from internally
  97  * linked pads.
  98  *
  99  * An example:
 100  * An element has a sink and a src pad. Some test starts running at sinkpad
 101  * and it locks the parent, and then it locks itself. In case it needs to get
 102  * some information from the srcpad, it is able to lock the srcpad and get it
 103  * because the srcpad should never lock itself before locking the parent (which
 104  * it won't be able as sinkpad already locked it).
 105  *
 106  * As a side one, it is possible that srcpad locks itself without locking the
 107  * parent in case it wants to do a check that won't need to use other internally
 108  * linked pads (sinkpad). But in this case it might lock and unlock freely without
 109  * causing deadlocks.
 110  */
 111 #define GST_VALIDATE_PAD_MONITOR_PARENT_LOCK(m)                  \
 112 G_STMT_START {                                             \
 113   if (G_LIKELY (GST_VALIDATE_MONITOR_GET_PARENT (m))) {          \
 114     GST_VALIDATE_MONITOR_LOCK (GST_VALIDATE_MONITOR_GET_PARENT (m));   \
 115   } else {                                                 \
 116     GST_WARNING_OBJECT (m, "No parent found, can't lock"); \
 117   }                                                        \
 118 } G_STMT_END
 119
 120 #define GST_VALIDATE_PAD_MONITOR_PARENT_UNLOCK(m)                  \
 121 G_STMT_START {                                               \
 122   if (G_LIKELY (GST_VALIDATE_MONITOR_GET_PARENT (m))) {            \
 123     GST_VALIDATE_MONITOR_UNLOCK (GST_VALIDATE_MONITOR_GET_PARENT (m));   \
 124   } else {                                                   \
 125     GST_WARNING_OBJECT (m, "No parent found, can't unlock"); \
 126   }                                                          \
 127 } G_STMT_END
 128
 129 /* Structure used to store all seek-related information */
 130 struct _GstValidatePadSeekData
 131 {
 132   guint32 seqnum;
 133   gdouble rate;
 134   GstFormat format;
 135   GstSeekFlags flags;
 136   GstSeekType start_type, stop_type;
 137   gint64 start, stop;
 138 };
 139
 140 typedef struct
 141 {
 142   GstClockTime timestamp;
 143   GstEvent *event;
 144 } SerializedEventData;
 145
 146 static GstPad *
 147 _get_actual_pad (GstPad * pad)
 148 {
 149   pad = gst_object_ref (pad);
 150
 151   while (GST_IS_PROXY_PAD (pad)) {
 152     GstPad *next_pad;
 153
 154     if (GST_PAD_IS_SINK (pad)) {
 155       if (GST_IS_GHOST_PAD (pad))
 156         next_pad = gst_ghost_pad_get_target (GST_GHOST_PAD (pad));
 157       else
 158         next_pad = GST_PAD (gst_proxy_pad_get_internal (GST_PROXY_PAD (pad)));
 159     } else {
 160       next_pad = gst_pad_get_peer (pad);
 161     }
 162
 163     gst_object_unref (pad);
 164     if (!next_pad)
 165       return NULL;
 166
 167     pad = next_pad;
 168   }
 169
 170   return pad;
 171 }
 172
 173 static gboolean
 174 _find_master_report_on_pad (GstPad * pad, GstValidateReport * report)
 175 {
 176   GstValidatePadMonitor *pad_monitor;
 177   GstValidateReport *prev_report;
 178   gboolean result = FALSE;
 179   GstPad *tmppad = pad;
 180
 181   pad = _get_actual_pad (pad);
 182   if (pad == NULL) {
 183     GST_ERROR_OBJECT (tmppad, "Does not have a target yet");
 184
 185     return FALSE;
 186   }
 187
 188   pad_monitor = _GET_PAD_MONITOR (pad);
 189
 190   /* For some reason this pad isn't monitored */
 191   if (pad_monitor == NULL)
 192     goto done;
 193
 194   prev_report = gst_validate_reporter_get_report ((GstValidateReporter *)
 195       pad_monitor, report->issue->issue_id);
 196
 197   if (prev_report) {
 198     if (prev_report->master_report)
 199       result = gst_validate_report_set_master_report (report,
 200           prev_report->master_report);
 201     else
 202       result = gst_validate_report_set_master_report (report, prev_report);
 203   }
 204
 205 done:
 206   gst_object_unref (pad);
 207
 208   return result;
 209 }
 210
 211 static gboolean
 212 _find_master_report_for_sink_pad (GstValidatePadMonitor * pad_monitor,
 213     GstValidateReport * report)
 214 {
 215   GstPad *peerpad;
 216   gboolean result = FALSE;
 217   GstPad *pad =
 218       GST_PAD_CAST (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
 219           (pad_monitor)));
 220
 221   peerpad = gst_pad_get_peer (pad);
 222   gst_object_unref (pad);
 223
 224   /* If the peer src pad already has a similar report no need to look
 225    * any further */
 226   if (peerpad && _find_master_report_on_pad (peerpad, report))
 227     result = TRUE;
 228
 229   if (peerpad)
 230     gst_object_unref (peerpad);
 231
 232   return result;
 233 }
 234
 235 static gboolean
 236 _find_master_report_for_src_pad (GstValidatePadMonitor * pad_monitor,
 237     GstValidateReport * report)
 238 {
 239   GstIterator *iter;
 240   gboolean done;
 241   gboolean result = FALSE;
 242   GstPad *target =
 243       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
 244           (pad_monitor)));
 245
 246   iter = gst_pad_iterate_internal_links (target);
 247   done = FALSE;
 248   while (!done) {
 249     GValue value = { 0, };
 250     switch (gst_iterator_next (iter, &value)) {
 251       case GST_ITERATOR_OK:
 252       {
 253         GstPad *pad = g_value_get_object (&value);
 254
 255         if (_find_master_report_on_pad (pad, report)) {
 256           result = TRUE;
 257           done = TRUE;
 258         }
 259
 260         g_value_reset (&value);
 261         break;
 262       }
 263       case GST_ITERATOR_RESYNC:
 264         gst_iterator_resync (iter);
 265         break;
 266       case GST_ITERATOR_ERROR:
 267         GST_WARNING_OBJECT (target, "Internal links pad iteration error");
 268         done = TRUE;
 269         break;
 270       case GST_ITERATOR_DONE:
 271         done = TRUE;
 272         break;
 273     }
 274   }
 275   gst_object_unref (target);
 276   gst_iterator_free (iter);
 277
 278   return result;
 279 }
 280
 281 static GstValidateInterceptionReturn
 282 _concatenate_issues (GstValidatePadMonitor * pad_monitor,
 283     GstValidateReport * report)
 284 {
 285   GstPad *pad =
 286       GST_PAD_CAST (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
 287           (pad_monitor)));
 288
 289   if (GST_PAD_IS_SINK (pad)
 290       && _find_master_report_for_sink_pad (pad_monitor, report)) {
 291     gst_object_unref (pad);
 292     return GST_VALIDATE_REPORTER_KEEP;
 293   } else if (GST_PAD_IS_SRC (pad)
 294       && _find_master_report_for_src_pad (pad_monitor, report)) {
 295     gst_object_unref (pad);
 296     return GST_VALIDATE_REPORTER_KEEP;
 297   }
 298
 299   gst_object_unref (pad);
 300   return GST_VALIDATE_REPORTER_REPORT;
 301 }
 302
 303 static GstValidateInterceptionReturn
 304 gst_validate_pad_monitor_intercept_report (GstValidateReporter *
 305     reporter, GstValidateReport * report)
 306 {
 307   GstValidateReporterInterface *iface_class, *old_iface_class;
 308   GstValidatePadMonitor *pad_monitor = GST_VALIDATE_PAD_MONITOR (reporter);
 309   GstValidateReportingDetails monitor_reporting_level;
 310   GstValidateInterceptionReturn ret;
 311
 312   monitor_reporting_level =
 313       gst_validate_reporter_get_reporting_level (reporter);
 314
 315   iface_class =
 316       G_TYPE_INSTANCE_GET_INTERFACE (reporter, GST_TYPE_VALIDATE_REPORTER,
 317       GstValidateReporterInterface);
 318   old_iface_class = g_type_interface_peek_parent (iface_class);
 319
 320   old_iface_class->intercept_report (reporter, report);
 321
 322   switch (monitor_reporting_level) {
 323     case GST_VALIDATE_SHOW_NONE:
 324       ret = GST_VALIDATE_REPORTER_DROP;
 325       break;
 326     case GST_VALIDATE_SHOW_UNKNOWN:
 327       ret = _concatenate_issues (pad_monitor, report);
 328       break;
 329     default:
 330       ret = GST_VALIDATE_REPORTER_REPORT;
 331       break;
 332   }
 333
 334   gst_validate_report_set_reporting_level (report, monitor_reporting_level);
 335   return ret;
 336 }
 337
 338 static void
 339 debug_pending_event (GstPad * pad, GPtrArray * array)
 340 {
 341   guint i, len;
 342
 343   len = array->len;
 344   for (i = 0; i < len; i++) {
 345     SerializedEventData *data = g_ptr_array_index (array, i);
 346     GST_DEBUG_OBJECT (pad, "event #%d %" GST_TIME_FORMAT " %s %p",
 347         i, GST_TIME_ARGS (data->timestamp),
 348         GST_EVENT_TYPE_NAME (data->event), data->event);
 349   }
 350 }
 351
 352 static void
 353 _serialized_event_data_free (SerializedEventData * serialized_event)
 354 {
 355   gst_event_unref (serialized_event->event);
 356   g_slice_free (SerializedEventData, serialized_event);
 357 }
 358
 359 static gboolean gst_validate_pad_monitor_do_setup (GstValidateMonitor *
 360     monitor);
 361 static GstElement *gst_validate_pad_monitor_get_element (GstValidateMonitor *
 362     monitor);
 363 static void
 364 gst_validate_pad_monitor_setcaps_pre (GstValidatePadMonitor * pad_monitor,
 365     GstCaps * caps);
 366 static void gst_validate_pad_monitor_setcaps_post (GstValidatePadMonitor *
 367     pad_monitor, GstCaps * caps, gboolean ret);
 368
 369 #define PAD_IS_IN_PUSH_MODE(p) ((p)->mode == GST_PAD_MODE_PUSH)
 370
 371 static gboolean
 372 _structure_is_raw_video (GstStructure * structure)
 373 {
 374   return gst_structure_has_name (structure, "video/x-raw");
 375 }
 376
 377 static gboolean
 378 _structure_is_raw_audio (GstStructure * structure)
 379 {
 380   return gst_structure_has_name (structure, "audio/x-raw");
 381 }
 382
 383 static gchar *
 384 _get_event_string (GstEvent * event)
 385 {
 386   const GstStructure *st;
 387
 388   if ((st = gst_event_get_structure (event)))
 389     return gst_structure_to_string (st);
 390   else
 391     return g_strdup_printf ("%s", GST_EVENT_TYPE_NAME (event));
 392 }
 393
 394 static void
 395 _check_field_type (GstValidatePadMonitor * monitor,
 396     GstStructure * structure, gboolean mandatory, const gchar * field, ...)
 397 {
 398   va_list var_args;
 399   GType type;
 400   gchar *joined_types = NULL;
 401   const gchar *rejected_types[5];
 402   gint rejected_types_index = 0;
 403   gchar *struct_str;
 404
 405   if (!gst_structure_has_field (structure, field)) {
 406     if (mandatory) {
 407       gchar *str = gst_structure_to_string (structure);
 408
 409       GST_VALIDATE_REPORT (monitor, CAPS_IS_MISSING_FIELD,
 410           "Field '%s' is missing from structure: %s", field, str);
 411       g_free (str);
 412     } else {
 413       GST_DEBUG_OBJECT (monitor, "Field %s is missing but is not mandatory",
 414           field);
 415     }
 416     return;
 417   }
 418
 419   memset ((gchar **) rejected_types, 0, sizeof (rejected_types));
 420   va_start (var_args, field);
 421   while ((type = va_arg (var_args, GType)) != 0) {
 422     if (gst_structure_has_field_typed (structure, field, type)) {
 423       va_end (var_args);
 424       return;
 425     }
 426     rejected_types[rejected_types_index++] = g_type_name (type);
 427   }
 428   va_end (var_args);
 429
 430   joined_types = g_strjoinv (" / ", (gchar **) rejected_types);
 431   struct_str = gst_structure_to_string (structure);
 432   GST_VALIDATE_REPORT (monitor, CAPS_FIELD_HAS_BAD_TYPE,
 433       "Field '%s' has wrong type %s in structure '%s'. Expected: %s", field,
 434       g_type_name (gst_structure_get_field_type (structure, field)), struct_str,
 435       joined_types);
 436   g_free (joined_types);
 437   g_free (struct_str);
 438 }
 439
 440 static void
 441 gst_validate_pad_monitor_check_raw_video_caps_complete (GstValidatePadMonitor *
 442     monitor, GstStructure * structure)
 443 {
 444   _check_field_type (monitor, structure, TRUE, "width", G_TYPE_INT,
 445       GST_TYPE_INT_RANGE, 0);
 446   _check_field_type (monitor, structure, TRUE, "height", G_TYPE_INT,
 447       GST_TYPE_INT_RANGE, 0);
 448   _check_field_type (monitor, structure, TRUE, "framerate", GST_TYPE_FRACTION,
 449       GST_TYPE_FRACTION_RANGE, 0);
 450   _check_field_type (monitor, structure, FALSE, "pixel-aspect-ratio",
 451       GST_TYPE_FRACTION, GST_TYPE_FRACTION_RANGE, 0);
 452   _check_field_type (monitor, structure, TRUE, "format", G_TYPE_STRING,
 453       GST_TYPE_LIST);
 454 }
 455
 456 static void
 457 gst_validate_pad_monitor_check_raw_audio_caps_complete (GstValidatePadMonitor *
 458     monitor, GstStructure * structure)
 459 {
 460   gint channels;
 461   _check_field_type (monitor, structure, TRUE, "format", G_TYPE_STRING,
 462       GST_TYPE_LIST, 0);
 463   _check_field_type (monitor, structure, TRUE, "layout", G_TYPE_STRING,
 464       GST_TYPE_LIST, 0);
 465   _check_field_type (monitor, structure, TRUE, "rate", G_TYPE_INT,
 466       GST_TYPE_LIST, GST_TYPE_INT_RANGE, 0);
 467   _check_field_type (monitor, structure, TRUE, "channels", G_TYPE_INT,
 468       GST_TYPE_LIST, GST_TYPE_INT_RANGE, 0);
 469   if (gst_structure_get_int (structure, "channels", &channels)) {
 470     if (channels > 2)
 471       _check_field_type (monitor, structure, TRUE, "channel-mask",
 472           GST_TYPE_BITMASK, GST_TYPE_LIST, 0);
 473   }
 474 }
 475
 476 static void
 477 gst_validate_pad_monitor_check_caps_complete (GstValidatePadMonitor * monitor,
 478     GstCaps * caps)
 479 {
 480   GstStructure *structure;
 481   gint i;
 482
 483   GST_DEBUG_OBJECT (monitor, "Checking caps %" GST_PTR_FORMAT, caps);
 484
 485   for (i = 0; i < gst_caps_get_size (caps); i++) {
 486     structure = gst_caps_get_structure (caps, i);
 487
 488     if (_structure_is_raw_video (structure)) {
 489       gst_validate_pad_monitor_check_raw_video_caps_complete (monitor,
 490           structure);
 491
 492     } else if (_structure_is_raw_audio (structure)) {
 493       gst_validate_pad_monitor_check_raw_audio_caps_complete (monitor,
 494           structure);
 495     }
 496   }
 497 }
 498
 499 static GstCaps *
 500 gst_validate_pad_monitor_get_othercaps (GstValidatePadMonitor * monitor,
 501     GstCaps * filter)
 502 {
 503   GstCaps *caps = gst_caps_new_empty ();
 504   GstIterator *iter;
 505   gboolean done;
 506   GstPad *otherpad;
 507   GstCaps *peercaps;
 508   GstPad *pad =
 509       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
 510           (monitor)));
 511
 512   iter = gst_pad_iterate_internal_links (pad);
 513   done = FALSE;
 514   while (!done) {
 515     GValue value = { 0, };
 516     switch (gst_iterator_next (iter, &value)) {
 517       case GST_ITERATOR_OK:
 518         otherpad = g_value_get_object (&value);
 519
 520         /* TODO What would be the correct caps operation to merge the caps in
 521          * case one sink is internally linked to multiple srcs? */
 522         peercaps = gst_pad_peer_query_caps (otherpad, filter);
 523         if (peercaps)
 524           caps = gst_caps_merge (caps, peercaps);
 525
 526         g_value_reset (&value);
 527         break;
 528       case GST_ITERATOR_RESYNC:
 529         gst_iterator_resync (iter);
 530         gst_caps_unref (caps);
 531         caps = gst_caps_new_empty ();
 532         break;
 533       case GST_ITERATOR_ERROR:
 534         GST_WARNING_OBJECT (pad, "Internal links pad iteration error");
 535         done = TRUE;
 536         break;
 537       case GST_ITERATOR_DONE:
 538         done = TRUE;
 539         break;
 540     }
 541   }
 542   GST_DEBUG_OBJECT (pad, "Otherpad caps: %" GST_PTR_FORMAT, caps);
 543
 544   gst_iterator_free (iter);
 545   gst_object_unref (pad);
 546
 547   return caps;
 548 }
 549
 550 static gboolean
 551 _structure_is_video (GstStructure * structure)
 552 {
 553   const gchar *name = gst_structure_get_name (structure);
 554
 555   return g_strstr_len (name, 6, "video/")
 556       && g_strcmp0 (name, "video/quicktime") != 0;
 557 }
 558
 559 static gboolean
 560 _structure_is_audio (GstStructure * structure)
 561 {
 562   const gchar *name = gst_structure_get_name (structure);
 563
 564   return g_strstr_len (name, 6, "audio/") != NULL;
 565 }
 566
 567 static gboolean
 568 gst_validate_pad_monitor_pad_should_proxy_othercaps (GstValidatePadMonitor *
 569     monitor)
 570 {
 571   GstValidateMonitor *parent = GST_VALIDATE_MONITOR_GET_PARENT (monitor);
 572
 573   if (!parent)
 574     return FALSE;
 575
 576   /* We only know how to handle othercaps checks for codecs so far */
 577   return (GST_VALIDATE_ELEMENT_MONITOR_ELEMENT_IS_DECODER (parent) ||
 578       GST_VALIDATE_ELEMENT_MONITOR_ELEMENT_IS_ENCODER (parent)) &&
 579       !GST_VALIDATE_ELEMENT_MONITOR_ELEMENT_IS_CONVERTER (parent);
 580 }
 581
 582
 583 /* Check if the field @f from @s2 (if present) is represented in @s1
 584  * Represented here means either equal or @s1's value is in a list/range
 585  * from @s2
 586  */
 587 static gboolean
 588 _structures_field_is_contained (GstStructure * s1, GstStructure * s2,
 589     gboolean mandatory, const gchar * f)
 590 {
 591   const GValue *v1;
 592   const GValue *v2;
 593
 594   v2 = gst_structure_get_value (s2, f);
 595   if (!v2)
 596     return TRUE;                /* nothing to compare to */
 597
 598   v1 = gst_structure_get_value (s1, f);
 599   if (!v1)
 600     return !mandatory;
 601
 602   if (!gst_value_is_fixed (v1))
 603     return TRUE;
 604
 605   if (gst_value_compare (v1, v2) == GST_VALUE_EQUAL)
 606     return TRUE;
 607
 608   if (GST_VALUE_HOLDS_LIST (v2)) {
 609     gint i;
 610     for (i = 0; i < gst_value_list_get_size (v2); i++) {
 611       const GValue *v2_subvalue = gst_value_list_get_value (v2, i);
 612       if (gst_value_compare (v1, v2_subvalue) == GST_VALUE_EQUAL)
 613         return TRUE;
 614     }
 615   }
 616
 617   if (GST_VALUE_HOLDS_ARRAY (v2)) {
 618     gint i;
 619     for (i = 0; i < gst_value_array_get_size (v2); i++) {
 620       const GValue *v2_subvalue = gst_value_array_get_value (v2, i);
 621       if (gst_value_compare (v1, v2_subvalue) == GST_VALUE_EQUAL)
 622         return TRUE;
 623     }
 624   }
 625
 626   if (GST_VALUE_HOLDS_INT_RANGE (v2)) {
 627     gint min, max;
 628
 629     min = gst_value_get_int_range_min (v2);
 630     max = gst_value_get_int_range_max (v2);
 631
 632     if (G_VALUE_HOLDS_INT (v1)) {
 633       gint v = g_value_get_int (v1);
 634
 635       return v >= min && v <= max;
 636     } else {
 637       /* TODO compare int ranges with int ranges
 638        * or with lists if useful */
 639     }
 640   }
 641
 642   if (GST_VALUE_HOLDS_FRACTION_RANGE (v2)) {
 643     const GValue *min, *max;
 644
 645     min = gst_value_get_fraction_range_min (v2);
 646     max = gst_value_get_fraction_range_max (v2);
 647
 648     if (GST_VALUE_HOLDS_FRACTION (v1)) {
 649       gint v_min = gst_value_compare (v1, min);
 650       gint v_max = gst_value_compare (v1, max);
 651
 652       return (v_min == GST_VALUE_EQUAL || v_min == GST_VALUE_GREATER_THAN) &&
 653           (v_max == GST_VALUE_EQUAL || v_max == GST_VALUE_LESS_THAN);
 654     } else {
 655       /* TODO compare fraction ranges with fraction ranges
 656        * or with lists if useful */
 657     }
 658   }
 659
 660   return FALSE;
 661 }
 662
 663 static void
 664 _check_and_copy_structure_field (GstStructure * from, GstStructure * to,
 665     const gchar * name)
 666 {
 667   if (gst_structure_has_field (from, name)) {
 668     gst_structure_set_value (to, name, gst_structure_get_value (from, name));
 669   }
 670 }
 671
 672 static GstCaps *
 673 gst_validate_pad_monitor_copy_caps_fields_into_caps (GstValidatePadMonitor *
 674     monitor, GstCaps * from_caps, GstCaps * into_caps)
 675 {
 676   gint i, j, into_size, from_size;
 677   GstStructure *structure;
 678   GstCaps *res = gst_caps_new_empty ();
 679
 680   into_size = gst_caps_get_size (into_caps);
 681   from_size = gst_caps_get_size (from_caps);
 682
 683   for (i = 0; i < into_size; i++) {
 684     GstStructure *s = gst_caps_get_structure (into_caps, i);
 685
 686     for (j = 0; j < from_size; j++) {
 687       GstStructure *new_structure = gst_structure_copy (s);
 688
 689       structure = gst_caps_get_structure (from_caps, j);
 690       if (_structure_is_video (structure)) {
 691         _check_and_copy_structure_field (structure, new_structure, "width");
 692         _check_and_copy_structure_field (structure, new_structure, "height");
 693         _check_and_copy_structure_field (structure, new_structure, "framerate");
 694         _check_and_copy_structure_field (structure, new_structure,
 695             "pixel-aspect-ratio");
 696       } else if (_structure_is_audio (s)) {
 697         _check_and_copy_structure_field (structure, new_structure, "rate");
 698         _check_and_copy_structure_field (structure, new_structure, "channels");
 699       }
 700
 701       gst_caps_append_structure (res, new_structure);
 702     }
 703   }
 704   return res;
 705 }
 706
 707 static GstCaps *
 708 gst_validate_pad_monitor_transform_caps (GstValidatePadMonitor * monitor,
 709     GstCaps * caps)
 710 {
 711   GstCaps *othercaps;
 712   GstCaps *new_caps;
 713   GstIterator *iter;
 714   gboolean done;
 715   GstPad *otherpad;
 716   GstCaps *template_caps;
 717   GstPad *pad;
 718
 719
 720   GST_DEBUG_OBJECT (monitor, "Transform caps %" GST_PTR_FORMAT, caps);
 721
 722   if (caps == NULL)
 723     return NULL;
 724
 725   othercaps = gst_caps_new_empty ();
 726
 727   pad =
 728       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
 729           (monitor)));
 730   iter = gst_pad_iterate_internal_links (pad);
 731   done = FALSE;
 732   while (!done) {
 733     GValue value = { 0, };
 734     switch (gst_iterator_next (iter, &value)) {
 735       case GST_ITERATOR_OK:
 736         otherpad = g_value_get_object (&value);
 737         template_caps = gst_pad_get_pad_template_caps (otherpad);
 738
 739         new_caps =
 740             gst_validate_pad_monitor_copy_caps_fields_into_caps (monitor, caps,
 741             template_caps);
 742         if (!gst_caps_is_empty (new_caps))
 743           gst_caps_append (othercaps, new_caps);
 744         else
 745           gst_caps_unref (new_caps);
 746
 747         gst_caps_unref (template_caps);
 748         g_value_reset (&value);
 749         break;
 750       case GST_ITERATOR_RESYNC:
 751         gst_iterator_resync (iter);
 752         gst_caps_unref (othercaps);
 753         othercaps = gst_caps_new_empty ();
 754         break;
 755       case GST_ITERATOR_ERROR:
 756         GST_WARNING_OBJECT (pad, "Internal links pad iteration error");
 757         done = TRUE;
 758         break;
 759       case GST_ITERATOR_DONE:
 760         done = TRUE;
 761         break;
 762     }
 763   }
 764   gst_iterator_free (iter);
 765
 766   GST_DEBUG_OBJECT (pad, "Transformed caps: %" GST_PTR_FORMAT, othercaps);
 767   gst_object_unref (pad);
 768
 769   return othercaps;
 770 }
 771
 772 static void
 773 gst_validate_pad_monitor_check_caps_fields_proxied (GstValidatePadMonitor *
 774     monitor, GstCaps * caps, GstCaps * filter)
 775 {
 776   GstStructure *structure;
 777   GstStructure *otherstructure;
 778   GstCaps *othercaps;
 779   GstCaps *otherfilter;
 780   gint i, j;
 781
 782   if (!gst_validate_pad_monitor_pad_should_proxy_othercaps (monitor))
 783     return;
 784
 785   otherfilter = gst_validate_pad_monitor_transform_caps (monitor, filter);
 786   othercaps = gst_validate_pad_monitor_get_othercaps (monitor, otherfilter);
 787   if (otherfilter)
 788     gst_caps_unref (otherfilter);
 789
 790   for (i = 0; i < gst_caps_get_size (othercaps); i++) {
 791     gboolean found = FALSE;
 792     gboolean type_match = FALSE;
 793
 794     otherstructure = gst_caps_get_structure (othercaps, i);
 795
 796     /* look for a proxied version of 'otherstructure' */
 797     if (_structure_is_video (otherstructure)) {
 798       for (j = 0; j < gst_caps_get_size (caps); j++) {
 799         structure = gst_caps_get_structure (caps, j);
 800         if (_structure_is_video (structure)) {
 801           type_match = TRUE;
 802           if (_structures_field_is_contained (structure, otherstructure, TRUE,
 803                   "width")
 804               && _structures_field_is_contained (structure, otherstructure,
 805                   TRUE, "height")
 806               && _structures_field_is_contained (structure, otherstructure,
 807                   TRUE, "framerate")
 808               && _structures_field_is_contained (structure, otherstructure,
 809                   FALSE, "pixel-aspect-ratio")) {
 810             found = TRUE;
 811             break;
 812           }
 813         }
 814       }
 815     } else if (_structure_is_audio (otherstructure)) {
 816       for (j = 0; j < gst_caps_get_size (caps); j++) {
 817         structure = gst_caps_get_structure (caps, j);
 818         if (_structure_is_audio (structure)) {
 819           type_match = TRUE;
 820           if (_structures_field_is_contained (structure, otherstructure, TRUE,
 821                   "rate")
 822               && _structures_field_is_contained (structure, otherstructure,
 823                   TRUE, "channels")) {
 824             found = TRUE;
 825             break;
 826           }
 827         }
 828       }
 829     }
 830
 831     if (type_match && !found) {
 832       gchar *otherstruct_str = gst_structure_to_string (otherstructure),
 833           *caps_str = gst_caps_to_string (caps);
 834
 835       GST_VALIDATE_REPORT (monitor, GET_CAPS_NOT_PROXYING_FIELDS,
 836           "Peer pad structure '%s' has no similar version "
 837           "on pad's caps '%s'", otherstruct_str, caps_str);
 838
 839       g_free (otherstruct_str);
 840       g_free (caps_str);
 841     }
 842   }
 843
 844   gst_caps_unref (othercaps);
 845 }
 846
 847 static void
 848 gst_validate_pad_monitor_check_late_serialized_events (GstValidatePadMonitor *
 849     monitor, GstClockTime ts)
 850 {
 851   gint i;
 852   GstPad *pad;
 853
 854   if (!GST_CLOCK_TIME_IS_VALID (ts))
 855     return;
 856
 857   pad =
 858       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
 859           (monitor)));
 860
 861   GST_DEBUG_OBJECT (pad, "Timestamp to check %" GST_TIME_FORMAT,
 862       GST_TIME_ARGS (ts));
 863
 864   for (i = 0; i < monitor->serialized_events->len; i++) {
 865     SerializedEventData *data =
 866         g_ptr_array_index (monitor->serialized_events, i);
 867
 868     GST_DEBUG_OBJECT (pad, "Event #%d (%s) ts: %" GST_TIME_FORMAT,
 869         i, GST_EVENT_TYPE_NAME (data->event), GST_TIME_ARGS (data->timestamp));
 870
 871     if (GST_CLOCK_TIME_IS_VALID (data->timestamp) && data->timestamp < ts) {
 872       gchar *event_str = _get_event_string (data->event);
 873
 874       GST_VALIDATE_REPORT (monitor, SERIALIZED_EVENT_WASNT_PUSHED_IN_TIME,
 875           "Serialized event %s wasn't pushed before expected timestamp %"
 876           GST_TIME_FORMAT " on pad %s:%s", event_str,
 877           GST_TIME_ARGS (data->timestamp), GST_DEBUG_PAD_NAME (pad));
 878
 879       g_free (event_str);
 880     } else {
 881       /* events should be ordered by ts */
 882       break;
 883     }
 884   }
 885
 886   if (i) {
 887     debug_pending_event (pad, monitor->serialized_events);
 888     g_ptr_array_remove_range (monitor->serialized_events, 0, i);
 889   }
 890
 891   gst_object_unref (pad);
 892 }
 893
 894 static void
 895 seek_data_free (GstValidatePadSeekData * data)
 896 {
 897   g_slice_free (GstValidatePadSeekData, data);
 898 }
 899
 900 static GstValidatePadSeekData *
 901 seek_data_for_seqnum (GstValidatePadMonitor * monitor, guint32 seqnum)
 902 {
 903   GList *tmp;
 904
 905   for (tmp = monitor->seeks; tmp; tmp = tmp->next) {
 906     GstValidatePadSeekData *data = (GstValidatePadSeekData *) tmp->data;
 907     if (data->seqnum == seqnum)
 908       return data;
 909   }
 910
 911   return NULL;
 912 }
 913
 914 static void
 915 gst_validate_pad_monitor_dispose (GObject * object)
 916 {
 917   GstValidatePadMonitor *monitor = GST_VALIDATE_PAD_MONITOR_CAST (object);
 918   GstPad *pad =
 919       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
 920           (monitor)));
 921
 922   if (pad) {
 923     if (monitor->pad_probe_id)
 924       gst_pad_remove_probe (pad, monitor->pad_probe_id);
 925     gst_object_unref (pad);
 926   }
 927
 928   if (monitor->expected_segment)
 929     gst_event_unref (monitor->expected_segment);
 930
 931   gst_structure_free (monitor->pending_setcaps_fields);
 932   g_ptr_array_unref (monitor->serialized_events);
 933   g_list_free_full (monitor->expired_events, (GDestroyNotify) gst_event_unref);
 934   g_list_free_full (monitor->all_bufs, (GDestroyNotify) gst_buffer_unref);
 935   gst_caps_replace (&monitor->last_caps, NULL);
 936   gst_caps_replace (&monitor->last_query_res, NULL);
 937   gst_caps_replace (&monitor->last_query_filter, NULL);
 938   gst_caps_replace (&monitor->last_refused_caps, NULL);
 939
 940   g_list_free_full (monitor->seeks, (GDestroyNotify) seek_data_free);
 941
 942   G_OBJECT_CLASS (parent_class)->dispose (object);
 943 }
 944
 945 static void
 946 gst_validate_pad_monitor_class_init (GstValidatePadMonitorClass * klass)
 947 {
 948   GObjectClass *gobject_class;
 949   GstValidateMonitorClass *monitor_klass;
 950
 951   gobject_class = G_OBJECT_CLASS (klass);
 952   monitor_klass = GST_VALIDATE_MONITOR_CLASS (klass);
 953
 954   gobject_class->dispose = gst_validate_pad_monitor_dispose;
 955
 956   monitor_klass->setup = gst_validate_pad_monitor_do_setup;
 957   monitor_klass->get_element = gst_validate_pad_monitor_get_element;
 958 }
 959
 960 /* Called when a pad is being flushed */
 961 static void
 962 gst_validate_pad_monitor_flush (GstValidatePadMonitor * pad_monitor)
 963 {
 964   /* Note: Keep in the same order as in the GstValidatePadMonitor structure */
 965
 966   gst_caps_replace (&pad_monitor->last_caps, NULL);
 967   pad_monitor->caps_is_audio = pad_monitor->caps_is_video =
 968       pad_monitor->caps_is_raw = FALSE;
 969
 970   pad_monitor->first_buffer = TRUE;
 971
 972   pad_monitor->has_segment = FALSE;
 973   pad_monitor->is_eos = FALSE;
 974
 975   pad_monitor->pending_buffer_discont = TRUE;
 976
 977   gst_event_replace (&pad_monitor->expected_segment, NULL);
 978   if (pad_monitor->serialized_events->len)
 979     g_ptr_array_remove_range (pad_monitor->serialized_events, 0,
 980         pad_monitor->serialized_events->len);
 981   g_list_free_full (pad_monitor->expired_events,
 982       (GDestroyNotify) gst_event_unref);
 983   pad_monitor->expired_events = NULL;
 984
 985   gst_segment_init (&pad_monitor->segment, GST_FORMAT_BYTES);
 986   pad_monitor->current_timestamp = GST_CLOCK_TIME_NONE;
 987   pad_monitor->current_duration = GST_CLOCK_TIME_NONE;
 988
 989   pad_monitor->timestamp_range_start = GST_CLOCK_TIME_NONE;
 990   pad_monitor->timestamp_range_end = GST_CLOCK_TIME_NONE;
 991 }
 992
 993 /* Called when the pad monitor is initialized or when
 994  * the pad is deactivated */
 995 static void
 996 gst_validate_pad_monitor_reset (GstValidatePadMonitor * pad_monitor)
 997 {
 998   gst_validate_pad_monitor_flush (pad_monitor);
 999
1000   /* Note : For the entries that haven't been reset in _flush(), do
1001    * it here and keep in the same order as the GstValidatePadMonitor
1002    * structure */
1003
1004   pad_monitor->pending_flush_stop = FALSE;
1005   pad_monitor->pending_newsegment_seqnum = GST_SEQNUM_INVALID;
1006   pad_monitor->pending_eos_seqnum = GST_SEQNUM_INVALID;
1007
1008   if (pad_monitor->pending_setcaps_fields)
1009     gst_structure_free (pad_monitor->pending_setcaps_fields);
1010   pad_monitor->pending_setcaps_fields =
1011       gst_structure_new_empty (PENDING_FIELDS);
1012   if (pad_monitor->seeks)
1013     g_list_free_full (pad_monitor->seeks, (GDestroyNotify) seek_data_free);
1014   pad_monitor->current_seek = NULL;
1015   pad_monitor->seeks = NULL;
1016
1017   /* FIXME : Why BYTES and not UNDEFINED ? */
1018   gst_segment_init (&pad_monitor->segment, GST_FORMAT_BYTES);
1019
1020   pad_monitor->min_buf_freq = 0;
1021   pad_monitor->buffers_pushed = 0;
1022   pad_monitor->last_buffers_pushed = 0;
1023   pad_monitor->min_buf_freq_interval_ts = GST_CLOCK_TIME_NONE;
1024   pad_monitor->min_buf_freq_first_buffer_ts = GST_CLOCK_TIME_NONE;
1025   pad_monitor->min_buf_freq_start = GST_CLOCK_TIME_NONE;
1026 }
1027
1028 static void
1029 gst_validate_pad_monitor_init (GstValidatePadMonitor * pad_monitor)
1030 {
1031   pad_monitor->serialized_events =
1032       g_ptr_array_new_with_free_func ((GDestroyNotify)
1033       _serialized_event_data_free);
1034
1035   gst_validate_pad_monitor_reset (pad_monitor);
1036 }
1037
1038 /**
1039  * gst_validate_pad_monitor_new:
1040  * @pad: (transfer none): a #GstPad to run Validate on
1041  */
1042 GstValidatePadMonitor *
1043 gst_validate_pad_monitor_new (GstPad * pad, GstValidateRunner * runner,
1044     GstValidateElementMonitor * parent)
1045 {
1046   GstValidatePadMonitor *monitor = g_object_new (GST_TYPE_VALIDATE_PAD_MONITOR,
1047       "object", pad, "validate-runner", runner, "validate-parent",
1048       parent, NULL);
1049   GstObject *target =
1050       gst_validate_monitor_get_target (GST_VALIDATE_MONITOR (monitor));
1051
1052   if (target == NULL) {
1053     g_object_unref (monitor);
1054     return NULL;
1055   }
1056
1057   gst_object_unref (target);
1058   return monitor;
1059 }
1060
1061 static GstElement *
1062 gst_validate_pad_monitor_get_element (GstValidateMonitor * monitor)
1063 {
1064   GstPad *pad =
1065       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1066           (monitor)));
1067   GstElement *parent = GST_ELEMENT (gst_pad_get_parent (pad));
1068
1069   gst_object_unref (pad);
1070
1071   return parent;
1072 }
1073
1074 static void
1075 gst_validate_pad_monitor_event_overrides (GstValidatePadMonitor * pad_monitor,
1076     GstEvent * event)
1077 {
1078   GList *iter;
1079
1080   GST_VALIDATE_MONITOR_OVERRIDES_LOCK (pad_monitor);
1081   for (iter = GST_VALIDATE_MONITOR_OVERRIDES (pad_monitor).head; iter;
1082       iter = g_list_next (iter)) {
1083     GstValidateOverride *override = iter->data;
1084
1085     gst_validate_override_event_handler (override,
1086         GST_VALIDATE_MONITOR_CAST (pad_monitor), event);
1087   }
1088   GST_VALIDATE_MONITOR_OVERRIDES_UNLOCK (pad_monitor);
1089 }
1090
1091 static void
1092 gst_validate_pad_monitor_buffer_overrides (GstValidatePadMonitor * pad_monitor,
1093     GstBuffer * buffer)
1094 {
1095   GList *iter;
1096
1097   GST_VALIDATE_MONITOR_OVERRIDES_LOCK (pad_monitor);
1098   for (iter = GST_VALIDATE_MONITOR_OVERRIDES (pad_monitor).head; iter;
1099       iter = g_list_next (iter)) {
1100     GstValidateOverride *override = iter->data;
1101
1102     gst_validate_override_buffer_handler (override,
1103         GST_VALIDATE_MONITOR_CAST (pad_monitor), buffer);
1104   }
1105   GST_VALIDATE_MONITOR_OVERRIDES_UNLOCK (pad_monitor);
1106 }
1107
1108 static void
1109 gst_validate_pad_monitor_buffer_probe_overrides (GstValidatePadMonitor *
1110     pad_monitor, GstBuffer * buffer)
1111 {
1112   GList *iter;
1113
1114   GST_VALIDATE_MONITOR_OVERRIDES_LOCK (pad_monitor);
1115   for (iter = GST_VALIDATE_MONITOR_OVERRIDES (pad_monitor).head; iter;
1116       iter = g_list_next (iter)) {
1117     GstValidateOverride *override = iter->data;
1118
1119     gst_validate_override_buffer_probe_handler (override,
1120         GST_VALIDATE_MONITOR_CAST (pad_monitor), buffer);
1121   }
1122   GST_VALIDATE_MONITOR_OVERRIDES_UNLOCK (pad_monitor);
1123 }
1124
1125 static void
1126 gst_validate_pad_monitor_query_overrides (GstValidatePadMonitor * pad_monitor,
1127     GstQuery * query)
1128 {
1129   GList *iter;
1130
1131   GST_VALIDATE_MONITOR_OVERRIDES_LOCK (pad_monitor);
1132   for (iter = GST_VALIDATE_MONITOR_OVERRIDES (pad_monitor).head; iter;
1133       iter = g_list_next (iter)) {
1134     GstValidateOverride *override = iter->data;
1135
1136     gst_validate_override_query_handler (override,
1137         GST_VALIDATE_MONITOR_CAST (pad_monitor), query);
1138   }
1139   GST_VALIDATE_MONITOR_OVERRIDES_UNLOCK (pad_monitor);
1140 }
1141
1142 static void
1143 gst_validate_pad_monitor_setcaps_overrides (GstValidatePadMonitor * pad_monitor,
1144     GstCaps * caps)
1145 {
1146   GList *iter;
1147
1148   GST_VALIDATE_MONITOR_OVERRIDES_LOCK (pad_monitor);
1149   for (iter = GST_VALIDATE_MONITOR_OVERRIDES (pad_monitor).head; iter;
1150       iter = g_list_next (iter)) {
1151     GstValidateOverride *override = iter->data;
1152
1153     gst_validate_override_setcaps_handler (override,
1154         GST_VALIDATE_MONITOR_CAST (pad_monitor), caps);
1155   }
1156   GST_VALIDATE_MONITOR_OVERRIDES_UNLOCK (pad_monitor);
1157 }
1158
1159 /* FIXME : This is a bit dubious, what's the point of this check ? */
1160 static gboolean
1161 gst_validate_pad_monitor_timestamp_is_in_received_range (GstValidatePadMonitor *
1162     monitor, GstClockTime ts, GstClockTime tolerance)
1163 {
1164   GstPad *pad =
1165       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1166           (monitor)));
1167
1168   GST_DEBUG_OBJECT (pad,
1169       "Checking if timestamp %" GST_TIME_FORMAT " is in range: %"
1170       GST_TIME_FORMAT " - %" GST_TIME_FORMAT " for pad "
1171       "%s:%s with tolerance: %" GST_TIME_FORMAT, GST_TIME_ARGS (ts),
1172       GST_TIME_ARGS (monitor->timestamp_range_start),
1173       GST_TIME_ARGS (monitor->timestamp_range_end), GST_DEBUG_PAD_NAME (pad),
1174       GST_TIME_ARGS (tolerance));
1175   gst_object_unref (pad);
1176
1177   return !GST_CLOCK_TIME_IS_VALID (monitor->timestamp_range_start) ||
1178       !GST_CLOCK_TIME_IS_VALID (monitor->timestamp_range_end) ||
1179       ((monitor->timestamp_range_start >= tolerance ?
1180           monitor->timestamp_range_start - tolerance : 0) <= ts
1181       && (ts >= tolerance ? ts - tolerance : 0) <=
1182       monitor->timestamp_range_end);
1183 }
1184
1185 /* Iterates over internal links (sinkpads) to check that this buffer has
1186  * a timestamp that is in the range of the lastly received buffers */
1187 static void
1188     gst_validate_pad_monitor_check_buffer_timestamp_in_received_range
1189     (GstValidatePadMonitor * monitor, GstBuffer * buffer,
1190     GstClockTime tolerance)
1191 {
1192   GstClockTime ts;
1193   GstClockTime ts_end;
1194   GstIterator *iter;
1195   gboolean has_one = FALSE;
1196   gboolean found = FALSE;
1197   gboolean done;
1198   GstPad *otherpad;
1199   GstValidatePadMonitor *othermonitor;
1200   GstPad *pad =
1201       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1202           (monitor)));
1203
1204   if (!GST_CLOCK_TIME_IS_VALID (GST_BUFFER_TIMESTAMP (buffer))
1205       || !GST_CLOCK_TIME_IS_VALID (GST_BUFFER_DURATION (buffer))) {
1206     GST_DEBUG_OBJECT (pad,
1207         "Can't check buffer timestamps range as "
1208         "buffer has no valid timestamp/duration");
1209     goto done;
1210   }
1211
1212   ts = GST_BUFFER_TIMESTAMP (buffer);
1213   ts_end = ts + GST_BUFFER_DURATION (buffer);
1214
1215   iter = gst_pad_iterate_internal_links (pad);
1216
1217   if (iter == NULL) {
1218     GST_WARNING_OBJECT (pad, "No iterator available");
1219     goto done;
1220   }
1221
1222   done = FALSE;
1223   while (!done) {
1224     GValue value = { 0, };
1225     switch (gst_iterator_next (iter, &value)) {
1226       case GST_ITERATOR_OK:
1227         otherpad = g_value_get_object (&value);
1228         GST_DEBUG_OBJECT (pad, "Checking pad %s:%s input timestamps",
1229             GST_DEBUG_PAD_NAME (otherpad));
1230         othermonitor = _GET_PAD_MONITOR (otherpad);
1231         if (!othermonitor)
1232           continue;
1233
1234         GST_VALIDATE_MONITOR_LOCK (othermonitor);
1235         if (gst_validate_pad_monitor_timestamp_is_in_received_range
1236             (othermonitor, ts, tolerance)
1237             &&
1238             gst_validate_pad_monitor_timestamp_is_in_received_range
1239             (othermonitor, ts_end, tolerance)) {
1240           done = TRUE;
1241           found = TRUE;
1242         }
1243         GST_VALIDATE_MONITOR_UNLOCK (othermonitor);
1244         g_value_reset (&value);
1245         has_one = TRUE;
1246         break;
1247       case GST_ITERATOR_RESYNC:
1248         gst_iterator_resync (iter);
1249         has_one = FALSE;
1250         found = FALSE;
1251         break;
1252       case GST_ITERATOR_ERROR:
1253         GST_WARNING_OBJECT (pad, "Internal links pad iteration error");
1254         done = TRUE;
1255         break;
1256       case GST_ITERATOR_DONE:
1257         done = TRUE;
1258         break;
1259     }
1260   }
1261   gst_iterator_free (iter);
1262
1263   if (!has_one) {
1264     GST_DEBUG_OBJECT (pad, "Skipping timestamp in range check as no "
1265         "internal linked pad was found");
1266     goto done;
1267   }
1268   if (!found) {
1269     GST_VALIDATE_REPORT (monitor, BUFFER_TIMESTAMP_OUT_OF_RECEIVED_RANGE,
1270         "Timestamp %" GST_TIME_FORMAT " - %" GST_TIME_FORMAT
1271         " is out of range of received input", GST_TIME_ARGS (ts),
1272         GST_TIME_ARGS (ts_end));
1273   }
1274 done:
1275   if (pad)
1276     gst_object_unref (pad);
1277 }
1278
1279 static void
1280 gst_validate_pad_monitor_check_discont (GstValidatePadMonitor * pad_monitor,
1281     GstBuffer * buffer)
1282 {
1283   if (pad_monitor->pending_buffer_discont) {
1284     if (!GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_DISCONT))
1285       GST_VALIDATE_REPORT (pad_monitor, BUFFER_MISSING_DISCONT,
1286           "Buffer is missing a DISCONT flag");
1287     pad_monitor->pending_buffer_discont = FALSE;
1288   }
1289 }
1290
1291 static void
1292 gst_validate_pad_monitor_check_first_buffer (GstValidatePadMonitor *
1293     pad_monitor, GstBuffer * buffer)
1294 {
1295   GstPad *pad =
1296       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1297           (pad_monitor)));
1298
1299   if (G_UNLIKELY (pad_monitor->first_buffer)) {
1300     pad_monitor->first_buffer = FALSE;
1301
1302     if (!pad_monitor->has_segment && PAD_IS_IN_PUSH_MODE (pad)) {
1303       GST_VALIDATE_REPORT (pad_monitor, BUFFER_BEFORE_SEGMENT,
1304           "Received buffer before Segment event");
1305     }
1306
1307     GST_DEBUG_OBJECT (pad,
1308         "Checking first buffer (pts:%" GST_TIME_FORMAT " dts:%" GST_TIME_FORMAT
1309         ")", GST_TIME_ARGS (GST_BUFFER_PTS (buffer)),
1310         GST_TIME_ARGS (GST_BUFFER_DTS (buffer)));
1311
1312   }
1313
1314   gst_object_unref (pad);
1315 }
1316
1317 static void
1318 gst_validate_pad_monitor_check_eos (GstValidatePadMonitor *
1319     pad_monitor, GstBuffer * buffer)
1320 {
1321   if (G_UNLIKELY (pad_monitor->is_eos)) {
1322     GST_VALIDATE_REPORT (pad_monitor, BUFFER_AFTER_EOS,
1323         "Received buffer %" GST_PTR_FORMAT " after EOS", buffer);
1324   }
1325 }
1326
1327 static void
1328 gst_validate_pad_monitor_update_buffer_data (GstValidatePadMonitor *
1329     pad_monitor, GstBuffer * buffer)
1330 {
1331   GstPad *pad =
1332       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1333           (pad_monitor)));
1334   pad_monitor->current_timestamp = GST_BUFFER_TIMESTAMP (buffer);
1335   pad_monitor->current_duration = GST_BUFFER_DURATION (buffer);
1336   if (GST_CLOCK_TIME_IS_VALID (GST_BUFFER_TIMESTAMP (buffer))) {
1337     if (GST_CLOCK_TIME_IS_VALID (pad_monitor->timestamp_range_start)) {
1338       pad_monitor->timestamp_range_start =
1339           MIN (pad_monitor->timestamp_range_start,
1340           GST_BUFFER_TIMESTAMP (buffer));
1341     } else {
1342       pad_monitor->timestamp_range_start = GST_BUFFER_TIMESTAMP (buffer);
1343     }
1344
1345     if (GST_CLOCK_TIME_IS_VALID (GST_BUFFER_DURATION (buffer))) {
1346       GstClockTime endts =
1347           GST_BUFFER_TIMESTAMP (buffer) + GST_BUFFER_DURATION (buffer);
1348       if (GST_CLOCK_TIME_IS_VALID (pad_monitor->timestamp_range_end)) {
1349         pad_monitor->timestamp_range_end =
1350             MAX (pad_monitor->timestamp_range_end, endts);
1351       } else {
1352         pad_monitor->timestamp_range_end = endts;
1353       }
1354     }
1355   }
1356   GST_DEBUG_OBJECT (pad, "Current stored range: %" GST_TIME_FORMAT
1357       " - %" GST_TIME_FORMAT,
1358       GST_TIME_ARGS (pad_monitor->timestamp_range_start),
1359       GST_TIME_ARGS (pad_monitor->timestamp_range_end));
1360
1361   gst_object_unref (pad);
1362 }
1363
1364 static GstFlowReturn
1365 _combine_flows (GstFlowReturn ret1, GstFlowReturn ret2)
1366 {
1367   if (ret1 == ret2)
1368     return ret1;
1369   if (ret1 <= GST_FLOW_NOT_NEGOTIATED)
1370     return ret1;
1371   if (ret2 <= GST_FLOW_NOT_NEGOTIATED)
1372     return ret2;
1373   if (ret1 == GST_FLOW_FLUSHING || ret2 == GST_FLOW_FLUSHING)
1374     return GST_FLOW_FLUSHING;
1375   if (ret1 == GST_FLOW_OK || ret2 == GST_FLOW_OK)
1376     return GST_FLOW_OK;
1377   return ret2;
1378 }
1379
1380 static void
1381 gst_validate_pad_monitor_check_aggregated_return (GstValidatePadMonitor *
1382     monitor, GstObject * parent, GstFlowReturn ret)
1383 {
1384   GstIterator *iter;
1385   gboolean done;
1386   GstPad *otherpad;
1387   GstPad *peerpad;
1388   GstState state, pending;
1389   GstFlowReturn aggregated = GST_FLOW_NOT_LINKED;
1390   gboolean found_a_pad = FALSE;
1391   GstPad *pad =
1392       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1393           (monitor)));
1394
1395   iter = gst_pad_iterate_internal_links (pad);
1396   done = FALSE;
1397   while (!done) {
1398     GValue value = { 0, };
1399     switch (gst_iterator_next (iter, &value)) {
1400       case GST_ITERATOR_OK:
1401         otherpad = g_value_get_object (&value);
1402         peerpad = gst_pad_get_peer (otherpad);
1403         if (peerpad) {
1404           found_a_pad = TRUE;
1405           aggregated =
1406               _combine_flows (aggregated,
1407               gst_pad_get_last_flow_return (peerpad));
1408
1409           gst_object_unref (peerpad);
1410         }
1411         g_value_reset (&value);
1412         break;
1413       case GST_ITERATOR_RESYNC:
1414         gst_iterator_resync (iter);
1415         break;
1416       case GST_ITERATOR_ERROR:
1417         GST_WARNING_OBJECT (pad, "Internal links pad iteration error");
1418         done = TRUE;
1419         break;
1420       case GST_ITERATOR_DONE:
1421         done = TRUE;
1422         break;
1423     }
1424   }
1425   gst_iterator_free (iter);
1426   if (!found_a_pad) {
1427     /* no peer pad found, nothing to do */
1428     goto done;
1429   }
1430
1431   if (aggregated == GST_FLOW_FLUSHING) {
1432     gst_element_get_state (GST_ELEMENT (parent), &state, &pending, 0);
1433     if (state < GST_STATE_PAUSED || pending < GST_STATE_PAUSED) {
1434       /* Aggregated is flushing, we might have been aggregating a combination
1435        * of pads that are not what was present on the element during the actual
1436        * data flow combination (pads might have been removed meanwhile) */
1437
1438       goto done;
1439     }
1440   } else if (aggregated == GST_FLOW_OK || aggregated == GST_FLOW_EOS) {
1441
1442     /* those are acceptable situations */
1443     if (GST_PAD_IS_FLUSHING (pad) && ret == GST_FLOW_FLUSHING) {
1444       /* pad is flushing, always acceptable to return flushing */
1445       goto done;
1446     }
1447
1448     gst_element_get_state (GST_ELEMENT (parent), &state, &pending, 0);
1449     if (ret == GST_FLOW_FLUSHING && (state < GST_STATE_PAUSED
1450             || pending < GST_STATE_PAUSED)) {
1451       /* Element is being teared down, accept FLOW_FLUSHING */
1452
1453       goto done;
1454     }
1455
1456     if (monitor->is_eos && ret == GST_FLOW_EOS) {
1457       /* this element received eos and returned eos */
1458       goto done;
1459     }
1460
1461     if (PAD_PARENT_IS_DEMUXER (monitor) && ret == GST_FLOW_EOS) {
1462       /* a demuxer can return EOS when the samples end */
1463       goto done;
1464     }
1465   }
1466
1467   if (aggregated != ret) {
1468     GST_VALIDATE_REPORT (monitor, WRONG_FLOW_RETURN,
1469         "Wrong combined flow return %s(%d). Expected: %s(%d)",
1470         gst_flow_get_name (ret), ret, gst_flow_get_name (aggregated),
1471         aggregated);
1472   }
1473
1474 done:
1475   gst_object_unref (pad);
1476 }
1477
1478 static void
1479     gst_validate_pad_monitor_otherpad_add_pending_serialized_event
1480     (GstValidatePadMonitor * monitor, GstEvent * event, GstClockTime last_ts)
1481 {
1482   GstIterator *iter;
1483   gboolean done;
1484   GstPad *otherpad;
1485   GstValidatePadMonitor *othermonitor;
1486   GstPad *pad;
1487
1488
1489   if (!GST_EVENT_IS_SERIALIZED (event))
1490     return;
1491
1492   pad =
1493       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1494           (monitor)));
1495   iter = gst_pad_iterate_internal_links (pad);
1496   if (iter == NULL) {
1497     /* inputselector will return NULL if the sinkpad is not the active one .... */
1498     GST_FIXME_OBJECT (pad, "No iterator");
1499     gst_object_unref (pad);
1500     return;
1501   }
1502
1503   done = FALSE;
1504   while (!done) {
1505     GValue value = { 0, };
1506     switch (gst_iterator_next (iter, &value)) {
1507       case GST_ITERATOR_OK:
1508         otherpad = g_value_get_object (&value);
1509         othermonitor = _GET_PAD_MONITOR (otherpad);
1510         if (othermonitor) {
1511           SerializedEventData *data = g_slice_new0 (SerializedEventData);
1512           data->timestamp = last_ts;
1513           data->event = gst_event_ref (event);
1514           GST_VALIDATE_MONITOR_LOCK (othermonitor);
1515           GST_DEBUG_OBJECT (pad, "Storing for pad %s:%s event %p %s",
1516               GST_DEBUG_PAD_NAME (otherpad), event,
1517               GST_EVENT_TYPE_NAME (event));
1518           g_ptr_array_add (othermonitor->serialized_events, data);
1519           debug_pending_event (otherpad, othermonitor->serialized_events);
1520           GST_VALIDATE_MONITOR_UNLOCK (othermonitor);
1521         }
1522         g_value_reset (&value);
1523         break;
1524       case GST_ITERATOR_RESYNC:
1525         gst_iterator_resync (iter);
1526         break;
1527       case GST_ITERATOR_ERROR:
1528         GST_WARNING_OBJECT (pad, "Internal links pad iteration error");
1529         done = TRUE;
1530         break;
1531       case GST_ITERATOR_DONE:
1532         done = TRUE;
1533         break;
1534     }
1535   }
1536   gst_iterator_free (iter);
1537   gst_object_unref (pad);
1538 }
1539
1540 static void
1541 gst_validate_pad_monitor_otherpad_add_pending_field (GstValidatePadMonitor *
1542     monitor, GstStructure * structure, const gchar * field)
1543 {
1544   GstIterator *iter;
1545   gboolean done;
1546   GstPad *otherpad;
1547   GstValidatePadMonitor *othermonitor;
1548   const GValue *v;
1549   GstPad *pad;
1550
1551   v = gst_structure_get_value (structure, field);
1552   pad =
1553       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1554           (monitor)));
1555
1556   if (v == NULL) {
1557     GST_DEBUG_OBJECT (pad, "Not adding pending field %s as it isn't "
1558         "present on structure %" GST_PTR_FORMAT, field, structure);
1559     gst_object_unref (pad);
1560     return;
1561   }
1562
1563   iter = gst_pad_iterate_internal_links (pad);
1564   done = FALSE;
1565   while (!done) {
1566     GValue value = { 0, };
1567     switch (gst_iterator_next (iter, &value)) {
1568       case GST_ITERATOR_OK:
1569         otherpad = g_value_get_object (&value);
1570         othermonitor = _GET_PAD_MONITOR (otherpad);
1571         if (othermonitor) {
1572           GST_VALIDATE_MONITOR_LOCK (othermonitor);
1573           g_assert (othermonitor->pending_setcaps_fields != NULL);
1574           gst_structure_set_value (othermonitor->pending_setcaps_fields,
1575               field, v);
1576           GST_VALIDATE_MONITOR_UNLOCK (othermonitor);
1577         }
1578         g_value_reset (&value);
1579         break;
1580       case GST_ITERATOR_RESYNC:
1581         gst_iterator_resync (iter);
1582         break;
1583       case GST_ITERATOR_ERROR:
1584         GST_WARNING_OBJECT (pad, "Internal links pad iteration error");
1585         done = TRUE;
1586         break;
1587       case GST_ITERATOR_DONE:
1588         done = TRUE;
1589         break;
1590     }
1591   }
1592   gst_iterator_free (iter);
1593   gst_object_unref (pad);
1594 }
1595
1596 static void
1597 gst_validate_pad_monitor_otherpad_clear_pending_fields (GstValidatePadMonitor *
1598     monitor)
1599 {
1600   GstIterator *iter;
1601   gboolean done;
1602   GstPad *otherpad;
1603   GstValidatePadMonitor *othermonitor;
1604
1605   GstPad *pad =
1606       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1607           (monitor)));
1608
1609   iter = gst_pad_iterate_internal_links (pad);
1610   if (iter == NULL) {
1611     gst_object_unref (pad);
1612     GST_DEBUG_OBJECT (monitor, "No internally linked pad");
1613
1614     return;
1615   }
1616
1617   done = FALSE;
1618   while (!done) {
1619     GValue value = { 0, };
1620     switch (gst_iterator_next (iter, &value)) {
1621       case GST_ITERATOR_OK:
1622         otherpad = g_value_get_object (&value);
1623         othermonitor = _GET_PAD_MONITOR (otherpad);
1624         if (othermonitor) {
1625           GST_VALIDATE_MONITOR_LOCK (othermonitor);
1626           g_assert (othermonitor->pending_setcaps_fields != NULL);
1627           gst_structure_free (othermonitor->pending_setcaps_fields);
1628           othermonitor->pending_setcaps_fields =
1629               gst_structure_new_empty (PENDING_FIELDS);
1630           GST_VALIDATE_MONITOR_UNLOCK (othermonitor);
1631         }
1632         g_value_reset (&value);
1633         break;
1634       case GST_ITERATOR_RESYNC:
1635         gst_iterator_resync (iter);
1636         break;
1637       case GST_ITERATOR_ERROR:
1638         GST_WARNING_OBJECT (pad, "Internal links pad iteration error");
1639         done = TRUE;
1640         break;
1641       case GST_ITERATOR_DONE:
1642         done = TRUE;
1643         break;
1644     }
1645   }
1646   gst_object_unref (pad);
1647   gst_iterator_free (iter);
1648 }
1649
1650 static void
1651 gst_validate_pad_monitor_add_expected_newsegment (GstValidatePadMonitor *
1652     monitor, GstEvent * event)
1653 {
1654   GstIterator *iter;
1655   gboolean done;
1656   GstPad *otherpad;
1657   GstValidatePadMonitor *othermonitor;
1658   GstPad *pad =
1659       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1660           (monitor)));
1661
1662   iter = gst_pad_iterate_internal_links (pad);
1663   if (iter == NULL) {
1664     GST_DEBUG_OBJECT (monitor, "No internally linked pad");
1665     gst_object_unref (pad);
1666     return;
1667   }
1668
1669   done = FALSE;
1670   while (!done) {
1671     GValue value = { 0, };
1672     switch (gst_iterator_next (iter, &value)) {
1673       case GST_ITERATOR_OK:
1674         otherpad = g_value_get_object (&value);
1675         if (!otherpad) {
1676           g_value_reset (&value);
1677           continue;
1678         }
1679
1680         othermonitor = _GET_PAD_MONITOR (otherpad);
1681         if (!othermonitor) {
1682           g_value_reset (&value);
1683           continue;
1684         }
1685
1686         GST_VALIDATE_MONITOR_LOCK (othermonitor);
1687         gst_event_replace (&othermonitor->expected_segment, event);
1688         GST_VALIDATE_MONITOR_UNLOCK (othermonitor);
1689         g_value_reset (&value);
1690         break;
1691       case GST_ITERATOR_RESYNC:
1692         gst_iterator_resync (iter);
1693         break;
1694       case GST_ITERATOR_ERROR:
1695         GST_WARNING_OBJECT (pad, "Internal links pad iteration error");
1696         done = TRUE;
1697         break;
1698       case GST_ITERATOR_DONE:
1699         done = TRUE;
1700         break;
1701     }
1702   }
1703   gst_iterator_free (iter);
1704   gst_object_unref (pad);
1705 }
1706
1707 /* common checks for both sink and src event functions */
1708 static void
1709 gst_validate_pad_monitor_common_event_check (GstValidatePadMonitor *
1710     pad_monitor, GstEvent * event)
1711 {
1712   guint32 seqnum = gst_event_get_seqnum (event);
1713
1714   if (seqnum == GST_SEQNUM_INVALID)
1715     GST_VALIDATE_REPORT (pad_monitor, EVENT_INVALID_SEQNUM,
1716         "Event %p (%s) has an invalid SEQNUM", event,
1717         GST_EVENT_TYPE_NAME (event));
1718
1719   switch (GST_EVENT_TYPE (event)) {
1720     case GST_EVENT_FLUSH_START:
1721     {
1722       if (pad_monitor->seeks) {
1723         GstValidatePadSeekData *seekdata =
1724             seek_data_for_seqnum (pad_monitor, seqnum);
1725
1726         if (!seekdata)
1727           GST_VALIDATE_REPORT (pad_monitor, FLUSH_START_HAS_WRONG_SEQNUM,
1728               "Got: %" G_GUINT32_FORMAT " Expected: %" G_GUINT32_FORMAT, seqnum,
1729               ((GstValidatePadSeekData *) pad_monitor->seeks->data)->seqnum);
1730         else {
1731           if (!(seekdata->flags & GST_SEEK_FLAG_FLUSH)) {
1732             GST_VALIDATE_REPORT (pad_monitor, EVENT_FLUSH_START_UNEXPECTED,
1733                 "Received flush-start for a non-flushing seek");
1734           }
1735         }
1736       }
1737
1738       if (pad_monitor->pending_flush_stop) {
1739         GST_VALIDATE_REPORT (pad_monitor, EVENT_FLUSH_START_UNEXPECTED,
1740             "Received flush-start from when flush-stop was expected");
1741       }
1742       pad_monitor->pending_flush_stop = TRUE;
1743       /* Remove the current segment seekdata */
1744       if (pad_monitor->current_seek) {
1745         pad_monitor->seeks =
1746             g_list_remove (pad_monitor->seeks, pad_monitor->current_seek);
1747         seek_data_free (pad_monitor->current_seek);
1748         pad_monitor->current_seek = NULL;
1749       }
1750     }
1751       break;
1752     case GST_EVENT_FLUSH_STOP:
1753     {
1754       if (pad_monitor->seeks && !seek_data_for_seqnum (pad_monitor, seqnum)) {
1755         GST_VALIDATE_REPORT (pad_monitor, FLUSH_STOP_HAS_WRONG_SEQNUM,
1756             "Got: %" G_GUINT32_FORMAT " Expected: %" G_GUINT32_FORMAT, seqnum,
1757             ((GstValidatePadSeekData *) pad_monitor->seeks->data)->seqnum);
1758       }
1759
1760       pad_monitor->pending_newsegment_seqnum = seqnum;
1761       pad_monitor->pending_eos_seqnum = seqnum;
1762
1763       if (!pad_monitor->pending_flush_stop) {
1764         gchar *event_str = _get_event_string (event);
1765
1766         GST_VALIDATE_REPORT (pad_monitor, EVENT_FLUSH_STOP_UNEXPECTED,
1767             "Unexpected flush-stop %s", event_str);
1768         g_free (event_str);
1769       }
1770       pad_monitor->pending_flush_stop = FALSE;
1771
1772       /* Buffers following a FLUSH should have the DISCONT flag set */
1773       pad_monitor->pending_buffer_discont = TRUE;
1774
1775       /* cleanup our data */
1776       gst_validate_pad_monitor_flush (pad_monitor);
1777     }
1778       break;
1779     default:
1780       break;
1781   }
1782 }
1783
1784 static void
1785 mark_pads_eos (GstValidatePadMonitor * pad_monitor)
1786 {
1787   GstValidatePadMonitor *peer_monitor;
1788   GstPad *real_peer;
1789   GstPad *pad =
1790       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1791           (pad_monitor)));
1792   GstPad *peer = gst_pad_get_peer (pad);
1793
1794   gst_object_unref (pad);
1795   pad_monitor->is_eos = TRUE;
1796   if (peer) {
1797     real_peer = _get_actual_pad (peer);
1798     peer_monitor = _GET_PAD_MONITOR (real_peer);
1799     if (peer_monitor)
1800       peer_monitor->is_eos = TRUE;
1801     gst_object_unref (peer);
1802     gst_object_unref (real_peer);
1803   }
1804 }
1805
1806 static inline gboolean
1807 _should_check_buffers (GstValidatePadMonitor * pad_monitor,
1808     gboolean force_checks)
1809 {
1810   GstPad *pad =
1811       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1812           (pad_monitor)));
1813   GstValidateMonitor *monitor = GST_VALIDATE_MONITOR (pad_monitor);
1814
1815   if (pad_monitor->first_buffer || force_checks) {
1816     if (pad_monitor->segment.rate != 1.0) {
1817       GST_INFO_OBJECT (pad_monitor, "We do not support buffer checking"
1818           " for trick modes");
1819
1820       pad_monitor->check_buffers = FALSE;
1821     } else if (!PAD_PARENT_IS_DECODER (pad_monitor)) {
1822       GST_DEBUG_OBJECT (pad, "Not on a decoder => no buffer checking");
1823
1824       pad_monitor->check_buffers = FALSE;
1825     } else if (GST_PAD_DIRECTION (pad) != GST_PAD_SINK) {
1826       GST_DEBUG_OBJECT (pad, "Not a sinkpad => no buffer checking");
1827
1828       pad_monitor->check_buffers = FALSE;
1829     } else if (!pad_monitor->caps_is_video) {
1830       GST_DEBUG_OBJECT (pad, "Not working with video => no buffer checking");
1831
1832       pad_monitor->check_buffers = FALSE;
1833     } else if (monitor->media_descriptor == NULL) {
1834       GST_DEBUG_OBJECT (pad, "No media_descriptor set => no buffer checking");
1835
1836       pad_monitor->check_buffers = FALSE;
1837     } else if (!gst_validate_media_descriptor_detects_frames
1838         (monitor->media_descriptor)) {
1839       GST_DEBUG_OBJECT (pad,
1840           "No frame detection media descriptor => no buffer checking");
1841       pad_monitor->check_buffers = FALSE;
1842     } else if (pad_monitor->all_bufs == NULL &&
1843         !gst_validate_media_descriptor_get_buffers (monitor->media_descriptor,
1844             pad, NULL, &pad_monitor->all_bufs)) {
1845
1846       GST_INFO_OBJECT (monitor,
1847           "The MediaInfo is marked as detecting frame, but getting frames"
1848           " from pad %" GST_PTR_FORMAT " did not work (some format conversion"
1849           " might be happening)", pad);
1850
1851       pad_monitor->check_buffers = FALSE;
1852     } else {
1853       if (!pad_monitor->current_buf)
1854         pad_monitor->current_buf = pad_monitor->all_bufs;
1855       pad_monitor->check_buffers = TRUE;
1856     }
1857   }
1858   gst_object_unref (pad);
1859
1860   return pad_monitor->check_buffers;
1861 }
1862
1863 static void
1864 gst_validate_monitor_find_next_buffer (GstValidatePadMonitor * pad_monitor)
1865 {
1866   GList *tmp;
1867   gboolean passed_start = FALSE;
1868
1869   if (!_should_check_buffers (pad_monitor, TRUE))
1870     return;
1871
1872   for (tmp = g_list_last (pad_monitor->all_bufs); tmp; tmp = tmp->prev) {
1873     GstBuffer *cbuf = (GstBuffer *) tmp->data;
1874     GstClockTime ts =
1875         GST_CLOCK_TIME_IS_VALID (GST_BUFFER_DTS (cbuf)) ? GST_BUFFER_DTS (cbuf)
1876         : GST_BUFFER_PTS (cbuf);
1877
1878     if (!GST_CLOCK_TIME_IS_VALID (ts))
1879       continue;
1880
1881     if (ts <= pad_monitor->segment.start)
1882       passed_start = TRUE;
1883
1884     if (!passed_start)
1885       continue;
1886
1887     if (!GST_BUFFER_FLAG_IS_SET (cbuf, GST_BUFFER_FLAG_DELTA_UNIT)) {
1888       break;
1889     }
1890   }
1891
1892   if (tmp == NULL)
1893     pad_monitor->current_buf = pad_monitor->all_bufs;
1894   else
1895     pad_monitor->current_buf = tmp;
1896 }
1897
1898 static void
1899 post_segment_message (GstValidatePadMonitor * pad_monitor, GstPad * pad,
1900     const GstSegment * segment, guint32 seqnum)
1901 {
1902   GstValidateMonitor *element_monitor =
1903       GST_VALIDATE_MONITOR_GET_PARENT (pad_monitor);
1904   GstElement *element;
1905   GstStructure *structure;
1906   GstMessage *msg;
1907
1908   if (element_monitor == NULL)
1909     return;
1910
1911   element = gst_validate_monitor_get_element (element_monitor);
1912   if (element == NULL)
1913     return;
1914
1915   GST_DEBUG_OBJECT (pad,
1916       "Posting application message for seqnum:%" G_GUINT32_FORMAT " %"
1917       GST_SEGMENT_FORMAT, seqnum, segment);
1918
1919   structure =
1920       gst_structure_new ("validate-segment", "segment", GST_TYPE_SEGMENT,
1921       segment, NULL);
1922   msg = gst_message_new_application ((GstObject *) element, structure);
1923   gst_message_set_seqnum (msg, seqnum);
1924   gst_element_post_message (element, msg);
1925
1926   gst_object_unref (element);
1927
1928   return;
1929 }
1930
1931 /* Checks whether a segment is just an update of another,
1932  * That is to say that only the base and offset field differ and all
1933  * other fields are identical */
1934 static gboolean
1935 is_segment_update (GstSegment * a, const GstSegment * b)
1936 {
1937   /* Note : We never care about the position field, it is only
1938    * used for internal usage by elements */
1939   if (a->rate == b->rate &&
1940       a->applied_rate == b->applied_rate &&
1941       a->format == b->format && a->time == b->time) {
1942     /* Changes in base/offset are considered updates */
1943     /* Updating the end position of a segment is an update */
1944     /* Updating the duration of a segment is an update */
1945     if (a->rate > 0.0) {
1946       if (a->start == b->start)
1947         return TRUE;
1948     } else {
1949       if (a->stop == b->stop)
1950         return TRUE;
1951     }
1952   }
1953   return FALSE;
1954 }
1955
1956 static GstFlowReturn
1957 gst_validate_pad_monitor_downstream_event_check (GstValidatePadMonitor *
1958     pad_monitor, GstObject * parent, GstEvent * event,
1959     GstPadEventFunction handler)
1960 {
1961   GstFlowReturn ret = GST_FLOW_OK;
1962   const GstSegment *segment;
1963   guint32 seqnum = gst_event_get_seqnum (event);
1964   GstPad *pad =
1965       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
1966           (pad_monitor)));
1967
1968   gst_validate_pad_monitor_common_event_check (pad_monitor, event);
1969
1970   /* pre checks */
1971   switch (GST_EVENT_TYPE (event)) {
1972     case GST_EVENT_STREAM_START:
1973       /* Buffers following a STREAM_START should have the DISCONT flag set */
1974       pad_monitor->pending_buffer_discont = TRUE;
1975       break;
1976     case GST_EVENT_SEGMENT:
1977     {
1978       GstValidatePadSeekData *seekdata =
1979           seek_data_for_seqnum (pad_monitor, seqnum);
1980
1981       /* parse segment data to be used if event is handled */
1982       gst_event_parse_segment (event, &segment);
1983
1984       GST_DEBUG_OBJECT (pad,
1985           "Got segment seqnum:%" G_GUINT32_FORMAT " %" GST_SEGMENT_FORMAT,
1986           seqnum, segment);
1987
1988       if (pad_monitor->pending_newsegment_seqnum != GST_SEQNUM_INVALID) {
1989         /* FIXME: Convert to more robust checks */
1990         if (pad_monitor->pending_newsegment_seqnum != seqnum) {
1991           GST_VALIDATE_REPORT (pad_monitor, SEGMENT_HAS_WRONG_SEQNUM,
1992               "Got: %u Expected: %u", seqnum,
1993               pad_monitor->pending_newsegment_seqnum);
1994         }
1995       }
1996
1997       if (seekdata && seekdata != pad_monitor->current_seek) {
1998         /* Check for accurate seeks */
1999         if (seekdata->flags & GST_SEEK_FLAG_ACCURATE) {
2000           if (segment->time != seekdata->start)
2001             GST_VALIDATE_REPORT (pad_monitor, SEGMENT_HAS_WRONG_START,
2002                 "After an accurate seek, got: %" GST_TIME_FORMAT
2003                 " Expected: %" GST_TIME_FORMAT, GST_TIME_ARGS (segment->time),
2004                 GST_TIME_ARGS (seekdata->start));
2005         }
2006       }
2007
2008       pad_monitor->pending_eos_seqnum = seqnum;
2009
2010       if (GST_PAD_DIRECTION (pad) == GST_PAD_SINK) {
2011         gst_validate_pad_monitor_add_expected_newsegment (pad_monitor, event);
2012       } else {
2013         /* check if this segment is the expected one */
2014         if (pad_monitor->expected_segment) {
2015           const GstSegment *exp_segment;
2016
2017           if (pad_monitor->expected_segment != event) {
2018             gst_event_parse_segment (pad_monitor->expected_segment,
2019                 &exp_segment);
2020             if (segment->format == exp_segment->format) {
2021               if ((exp_segment->rate * exp_segment->applied_rate !=
2022                       segment->rate * segment->applied_rate))
2023                 GST_VALIDATE_REPORT (pad_monitor, EVENT_NEW_SEGMENT_MISMATCH,
2024                     "Rate * applied_rate %f != expected %f",
2025                     segment->rate * segment->applied_rate,
2026                     exp_segment->rate * exp_segment->applied_rate);
2027               if (exp_segment->start != segment->start)
2028                 GST_VALIDATE_REPORT (pad_monitor, EVENT_NEW_SEGMENT_MISMATCH,
2029                     "Start %" GST_TIME_FORMAT " != expected %" GST_TIME_FORMAT,
2030                     GST_TIME_ARGS (segment->start),
2031                     GST_TIME_ARGS (exp_segment->start));
2032               if (exp_segment->stop != segment->stop)
2033                 GST_VALIDATE_REPORT (pad_monitor, EVENT_NEW_SEGMENT_MISMATCH,
2034                     "Stop %" GST_TIME_FORMAT " != expected %" GST_TIME_FORMAT,
2035                     GST_TIME_ARGS (segment->stop),
2036                     GST_TIME_ARGS (exp_segment->stop));
2037               if (exp_segment->position != segment->position)
2038                 GST_VALIDATE_REPORT (pad_monitor, EVENT_NEW_SEGMENT_MISMATCH,
2039                     "Position %" GST_TIME_FORMAT " != expected %"
2040                     GST_TIME_FORMAT, GST_TIME_ARGS (segment->position),
2041                     GST_TIME_ARGS (exp_segment->position));
2042             }
2043           }
2044           gst_event_replace (&pad_monitor->expected_segment, NULL);
2045         }
2046       }
2047
2048       /* Drop all expected seekdata from before this segment */
2049       if (seekdata) {
2050         while (pad_monitor->seeks && pad_monitor->seeks->data != seekdata) {
2051           GstValidatePadSeekData *tmp =
2052               (GstValidatePadSeekData *) pad_monitor->seeks->data;
2053           pad_monitor->seeks =
2054               g_list_delete_link (pad_monitor->seeks, pad_monitor->seeks);
2055           seek_data_free (tmp);
2056         }
2057       }
2058       pad_monitor->current_seek = seekdata;
2059     }
2060       break;
2061     case GST_EVENT_CAPS:{
2062       GstCaps *caps;
2063
2064       gst_event_parse_caps (event, &caps);
2065       gst_validate_pad_monitor_setcaps_pre (pad_monitor, caps);
2066       break;
2067     }
2068     case GST_EVENT_EOS:
2069       pad_monitor->is_eos = TRUE;
2070       /* FIXME : This feels and looks wrong ... */
2071       if (pad_monitor->pending_eos_seqnum == GST_SEQNUM_INVALID) {
2072         GST_VALIDATE_REPORT (pad_monitor, EVENT_EOS_WITHOUT_SEGMENT,
2073             "EOS %" GST_PTR_FORMAT " received before a segment was received",
2074             event);
2075       } else if (pad_monitor->pending_eos_seqnum != seqnum) {
2076         GST_VALIDATE_REPORT (pad_monitor, EOS_HAS_WRONG_SEQNUM,
2077             "Got: %u. Expected: %u", seqnum, pad_monitor->pending_eos_seqnum);
2078       }
2079
2080       /*
2081        * TODO add end of stream checks for
2082        *  - events not pushed
2083        *  - buffer data not pushed
2084        *  - pending events not received
2085        */
2086       break;
2087
2088       /* both flushes are handled by the common event function */
2089     case GST_EVENT_FLUSH_START:
2090     case GST_EVENT_FLUSH_STOP:
2091     case GST_EVENT_TAG:
2092     case GST_EVENT_SINK_MESSAGE:
2093     default:
2094       break;
2095   }
2096
2097   GST_VALIDATE_MONITOR_UNLOCK (pad_monitor);
2098   GST_VALIDATE_PAD_MONITOR_PARENT_UNLOCK (pad_monitor);
2099   gst_validate_pad_monitor_event_overrides (pad_monitor, event);
2100   if (handler) {
2101     gst_event_ref (event);
2102     if (pad_monitor->event_full_func)
2103       ret = pad_monitor->event_full_func (pad, parent, event);
2104     else if (pad_monitor->event_func (pad, parent, event))
2105       ret = GST_FLOW_OK;
2106     else
2107       ret = GST_FLOW_ERROR;
2108   }
2109   GST_VALIDATE_PAD_MONITOR_PARENT_LOCK (pad_monitor);
2110   GST_VALIDATE_MONITOR_LOCK (pad_monitor);
2111
2112   /* post checks */
2113   switch (GST_EVENT_TYPE (event)) {
2114     case GST_EVENT_SEGMENT:
2115       if (ret == GST_FLOW_OK) {
2116         /* If the new segment is not an update of the previous one, then
2117          * the following buffer should have the DISCONT flag set */
2118         if (!is_segment_update (&pad_monitor->segment, segment))
2119           pad_monitor->pending_buffer_discont = TRUE;
2120         if (!pad_monitor->has_segment
2121             && pad_monitor->segment.format != segment->format) {
2122           gst_segment_init (&pad_monitor->segment, segment->format);
2123         }
2124         gst_segment_copy_into (segment, &pad_monitor->segment);
2125         pad_monitor->has_segment = TRUE;
2126         gst_validate_monitor_find_next_buffer (pad_monitor);
2127         if (PAD_PARENT_IS_SINK (pad_monitor))
2128           post_segment_message (pad_monitor, pad, segment, seqnum);
2129       }
2130       break;
2131     case GST_EVENT_CAPS:{
2132       GstCaps *caps;
2133
2134       gst_event_parse_caps (event, &caps);
2135       gst_validate_pad_monitor_setcaps_post (pad_monitor, caps,
2136           ret == GST_FLOW_OK);
2137       break;
2138     }
2139     case GST_EVENT_FLUSH_START:
2140     case GST_EVENT_FLUSH_STOP:
2141     case GST_EVENT_EOS:
2142     case GST_EVENT_TAG:
2143     case GST_EVENT_SINK_MESSAGE:
2144     default:
2145       break;
2146   }
2147
2148   if (handler)
2149     gst_event_unref (event);
2150   gst_object_unref (pad);
2151   return ret;
2152 }
2153
2154 static GstValidatePadSeekData *
2155 _store_seek_event_data (GstValidatePadMonitor * pad_monitor, GstEvent * event)
2156 {
2157   GstValidatePadSeekData *data = g_slice_new0 (GstValidatePadSeekData);
2158
2159   data->seqnum = gst_event_get_seqnum (event);
2160   gst_event_parse_seek (event, &data->rate, &data->format, &data->flags,
2161       &data->start_type, &data->start, &data->stop_type, &data->stop);
2162
2163   pad_monitor->seeks = g_list_append (pad_monitor->seeks, data);
2164
2165   return data;
2166 }
2167
2168 static gboolean
2169 gst_validate_pad_monitor_src_event_check (GstValidatePadMonitor * pad_monitor,
2170     GstObject * parent, GstEvent * event, GstPadEventFunction handler)
2171 {
2172   gboolean ret = TRUE;
2173   GstPad *pad =
2174       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
2175           (pad_monitor)));
2176
2177   gst_validate_pad_monitor_common_event_check (pad_monitor, event);
2178
2179   if (handler) {
2180     GstValidatePadSeekData *seekdata = NULL;
2181
2182     GST_DEBUG_OBJECT (pad, "event %" GST_PTR_FORMAT, event);
2183
2184     /* Safely store pending accurate seek values */
2185     if (GST_EVENT_TYPE (event) == GST_EVENT_SEEK)
2186       seekdata = _store_seek_event_data (pad_monitor, event);
2187     GST_VALIDATE_MONITOR_UNLOCK (pad_monitor);
2188     ret = pad_monitor->event_func (pad, parent, event);
2189
2190     GST_VALIDATE_MONITOR_LOCK (pad_monitor);
2191
2192     if (seekdata && !ret) {
2193       /* Remove failed seek from list */
2194       GST_LOG_OBJECT (pad, "Failed seek, removing stored seek data");
2195       pad_monitor->seeks = g_list_remove (pad_monitor->seeks, seekdata);
2196       g_slice_free (GstValidatePadSeekData, seekdata);
2197     }
2198   }
2199
2200   gst_object_unref (pad);
2201   return ret;
2202 }
2203
2204 static gboolean
2205 gst_validate_pad_monitor_check_right_buffer (GstValidatePadMonitor *
2206     pad_monitor, GstBuffer * buffer)
2207 {
2208   gchar *checksum;
2209   GstBuffer *wanted_buf;
2210   GstMapInfo map, wanted_map;
2211
2212   gboolean ret = TRUE;
2213   GstPad *pad;
2214
2215
2216   if (_should_check_buffers (pad_monitor, FALSE) == FALSE)
2217     return FALSE;
2218
2219   pad =
2220       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
2221           (pad_monitor)));
2222   if (pad_monitor->current_buf == NULL) {
2223     GST_INFO_OBJECT (pad, "No current buffer one pad, Why?");
2224     gst_object_unref (pad);
2225     return FALSE;
2226   }
2227
2228   wanted_buf = pad_monitor->current_buf->data;
2229
2230   if (GST_CLOCK_TIME_IS_VALID (GST_BUFFER_PTS (wanted_buf)) &&
2231       GST_CLOCK_TIME_IS_VALID (GST_BUFFER_PTS (buffer)) &&
2232       GST_BUFFER_PTS (wanted_buf) != GST_BUFFER_PTS (buffer)) {
2233
2234     GST_VALIDATE_REPORT (pad_monitor, WRONG_BUFFER,
2235         "buffer %" GST_PTR_FORMAT " PTS %" GST_TIME_FORMAT
2236         " different than expected: %" GST_TIME_FORMAT, buffer,
2237         GST_TIME_ARGS (GST_BUFFER_PTS (buffer)),
2238         GST_TIME_ARGS (GST_BUFFER_PTS (wanted_buf)));
2239
2240     ret = FALSE;
2241   }
2242
2243   if (GST_BUFFER_DTS (wanted_buf) != GST_BUFFER_DTS (buffer)) {
2244     GST_VALIDATE_REPORT (pad_monitor, WRONG_BUFFER,
2245         "buffer %" GST_PTR_FORMAT " DTS %" GST_TIME_FORMAT
2246         " different than expected: %" GST_TIME_FORMAT, buffer,
2247         GST_TIME_ARGS (GST_BUFFER_DTS (buffer)),
2248         GST_TIME_ARGS (GST_BUFFER_DTS (wanted_buf)));
2249     ret = FALSE;
2250   }
2251
2252   if (GST_BUFFER_DURATION (wanted_buf) != GST_BUFFER_DURATION (buffer)) {
2253     GST_VALIDATE_REPORT (pad_monitor, WRONG_BUFFER,
2254         "buffer %" GST_PTR_FORMAT " DURATION %" GST_TIME_FORMAT
2255         " different than expected: %" GST_TIME_FORMAT, buffer,
2256         GST_TIME_ARGS (GST_BUFFER_DURATION (buffer)),
2257         GST_TIME_ARGS (GST_BUFFER_DURATION (wanted_buf)));
2258     ret = FALSE;
2259   }
2260
2261   if (GST_BUFFER_FLAG_IS_SET (wanted_buf, GST_BUFFER_FLAG_DELTA_UNIT) !=
2262       GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_DELTA_UNIT)) {
2263     GST_VALIDATE_REPORT (pad_monitor, WRONG_BUFFER,
2264         "buffer %" GST_PTR_FORMAT "  Delta unit is set to %s but expected %s",
2265         buffer, GST_BUFFER_FLAG_IS_SET (buffer,
2266             GST_BUFFER_FLAG_DELTA_UNIT) ? "True" : "False",
2267         GST_BUFFER_FLAG_IS_SET (wanted_buf,
2268             GST_BUFFER_FLAG_DELTA_UNIT) ? "True" : "False");
2269     ret = FALSE;
2270   }
2271
2272   g_assert (gst_buffer_map (wanted_buf, &wanted_map, GST_MAP_READ));
2273   g_assert (gst_buffer_map (buffer, &map, GST_MAP_READ));
2274
2275   checksum = g_compute_checksum_for_data (G_CHECKSUM_MD5,
2276       (const guchar *) map.data, map.size);
2277
2278   if (g_strcmp0 ((gchar *) wanted_map.data, checksum)) {
2279     GST_VALIDATE_REPORT (pad_monitor, WRONG_BUFFER,
2280         "buffer %" GST_PTR_FORMAT " checksum %s different from expected: %s",
2281         buffer, checksum, wanted_map.data);
2282     ret = FALSE;
2283   }
2284
2285   gst_buffer_unmap (wanted_buf, &wanted_map);
2286   gst_buffer_unmap (buffer, &map);
2287   g_free (checksum);
2288   gst_object_unref (pad);
2289
2290   pad_monitor->current_buf = pad_monitor->current_buf->next;
2291
2292   return ret;
2293 }
2294
2295 static void
2296 gst_validate_pad_monitor_check_return (GstValidatePadMonitor * pad_monitor,
2297     GstFlowReturn ret)
2298 {
2299   GstValidateMonitor *parent = GST_VALIDATE_MONITOR (pad_monitor);
2300
2301   if (ret != GST_FLOW_ERROR)
2302     return;
2303
2304   while (GST_VALIDATE_MONITOR_GET_PARENT (parent))
2305     parent = GST_VALIDATE_MONITOR_GET_PARENT (parent);
2306
2307   if (GST_IS_VALIDATE_PIPELINE_MONITOR (parent)) {
2308     GstValidatePipelineMonitor *m = GST_VALIDATE_PIPELINE_MONITOR (parent);
2309
2310     GST_VALIDATE_MONITOR_LOCK (m);
2311     if (m->got_error == FALSE) {
2312       GST_VALIDATE_REPORT (pad_monitor, FLOW_ERROR_WITHOUT_ERROR_MESSAGE,
2313           "Pad return GST_FLOW_ERROR but no GST_MESSAGE_ERROR was received on"
2314           " the bus");
2315
2316       /* Only report it the first time */
2317       m->got_error = TRUE;
2318     }
2319     GST_VALIDATE_MONITOR_UNLOCK (m);
2320   }
2321 }
2322
2323 static GstFlowReturn
2324 gst_validate_pad_monitor_chain_func (GstPad * pad, GstObject * parent,
2325     GstBuffer * buffer)
2326 {
2327   GstValidatePadMonitor *pad_monitor = _GET_PAD_MONITOR (pad);
2328   GstFlowReturn ret;
2329
2330   GST_VALIDATE_PAD_MONITOR_PARENT_LOCK (pad_monitor);
2331   GST_VALIDATE_MONITOR_LOCK (pad_monitor);
2332
2333   gst_validate_pad_monitor_check_discont (pad_monitor, buffer);
2334   gst_validate_pad_monitor_check_right_buffer (pad_monitor, buffer);
2335   gst_validate_pad_monitor_check_first_buffer (pad_monitor, buffer);
2336   gst_validate_pad_monitor_update_buffer_data (pad_monitor, buffer);
2337   gst_validate_pad_monitor_check_eos (pad_monitor, buffer);
2338
2339   GST_VALIDATE_MONITOR_UNLOCK (pad_monitor);
2340   GST_VALIDATE_PAD_MONITOR_PARENT_UNLOCK (pad_monitor);
2341
2342   gst_validate_pad_monitor_buffer_overrides (pad_monitor, buffer);
2343
2344   ret = pad_monitor->chain_func (pad, parent, buffer);
2345
2346   gst_validate_pad_monitor_check_return (pad_monitor, ret);
2347
2348   GST_VALIDATE_PAD_MONITOR_PARENT_LOCK (pad_monitor);
2349   GST_VALIDATE_MONITOR_LOCK (pad_monitor);
2350
2351   if (ret == GST_FLOW_EOS) {
2352     mark_pads_eos (pad_monitor);
2353   }
2354   if (PAD_PARENT_IS_DEMUXER (pad_monitor))
2355     gst_validate_pad_monitor_check_aggregated_return (pad_monitor, parent, ret);
2356
2357   GST_VALIDATE_MONITOR_UNLOCK (pad_monitor);
2358   GST_VALIDATE_PAD_MONITOR_PARENT_UNLOCK (pad_monitor);
2359
2360   return ret;
2361 }
2362
2363 static gboolean
2364 gst_validate_pad_monitor_event_is_tracked (GstValidatePadMonitor * monitor,
2365     GstEvent * event)
2366 {
2367   if (!GST_EVENT_IS_SERIALIZED (event)) {
2368     return FALSE;
2369   }
2370
2371   /* we don't track Tag events because they mutate too much and it is hard
2372    * to match a tag event pushed on a source pad with the one that was received
2373    * on a sink pad.
2374    * One idea would be to use seqnum, but it seems that it is undefined whether
2375    * seqnums should be maintained in tag events that are created from others
2376    * up to today. (2013-08-29)
2377    */
2378   if (GST_EVENT_TYPE (event) == GST_EVENT_TAG)
2379     return FALSE;
2380
2381   return TRUE;
2382 }
2383
2384 static GstFlowReturn
2385 gst_validate_pad_monitor_sink_event_full_func (GstPad * pad, GstObject * parent,
2386     GstEvent * event)
2387 {
2388   GstValidatePadMonitor *pad_monitor = _GET_PAD_MONITOR (pad);
2389   GstFlowReturn ret;
2390
2391   GST_VALIDATE_PAD_MONITOR_PARENT_LOCK (pad_monitor);
2392   GST_VALIDATE_MONITOR_LOCK (pad_monitor);
2393
2394   GST_DEBUG_OBJECT (pad, "event %p %s", event, GST_EVENT_TYPE_NAME (event));
2395
2396   if (gst_validate_pad_monitor_event_is_tracked (pad_monitor, event)) {
2397     GstClockTime last_ts = GST_CLOCK_TIME_NONE;
2398     if (GST_CLOCK_TIME_IS_VALID (pad_monitor->current_timestamp)) {
2399       last_ts = pad_monitor->current_timestamp;
2400       if (GST_CLOCK_TIME_IS_VALID (pad_monitor->current_duration)) {
2401         last_ts += pad_monitor->current_duration;
2402       }
2403     }
2404     gst_validate_pad_monitor_otherpad_add_pending_serialized_event (pad_monitor,
2405         event, last_ts);
2406   }
2407
2408   ret =
2409       gst_validate_pad_monitor_downstream_event_check (pad_monitor, parent,
2410       event, pad_monitor->event_func);
2411
2412   GST_VALIDATE_MONITOR_UNLOCK (pad_monitor);
2413   GST_VALIDATE_PAD_MONITOR_PARENT_UNLOCK (pad_monitor);
2414   return ret;
2415 }
2416
2417 static gboolean
2418 gst_validate_pad_monitor_sink_event_func (GstPad * pad, GstObject * parent,
2419     GstEvent * event)
2420 {
2421   if (gst_validate_pad_monitor_sink_event_full_func (pad, parent,
2422           event) == GST_FLOW_OK)
2423     return TRUE;
2424   return FALSE;
2425 }
2426
2427 static gboolean
2428 gst_validate_pad_monitor_src_event_func (GstPad * pad, GstObject * parent,
2429     GstEvent * event)
2430 {
2431   GstValidatePadMonitor *pad_monitor = _GET_PAD_MONITOR (pad);
2432   gboolean ret;
2433
2434   GST_VALIDATE_MONITOR_LOCK (pad_monitor);
2435   ret = gst_validate_pad_monitor_src_event_check (pad_monitor, parent, event,
2436       pad_monitor->event_func);
2437   GST_VALIDATE_MONITOR_UNLOCK (pad_monitor);
2438   return ret;
2439 }
2440
2441 static gboolean
2442 gst_validate_pad_monitor_query_func (GstPad * pad, GstObject * parent,
2443     GstQuery * query)
2444 {
2445   GstValidatePadMonitor *pad_monitor = _GET_PAD_MONITOR (pad);
2446   gboolean ret;
2447
2448   gst_validate_pad_monitor_query_overrides (pad_monitor, query);
2449   ret = pad_monitor->query_func (pad, parent, query);
2450
2451   if (ret) {
2452     switch (GST_QUERY_TYPE (query)) {
2453       case GST_QUERY_ACCEPT_CAPS:
2454       {
2455         gboolean result;
2456
2457         gst_caps_replace (&pad_monitor->last_refused_caps, NULL);
2458         gst_query_parse_accept_caps_result (query, &result);
2459         if (!result) {
2460           GstCaps *refused_caps;
2461
2462           gst_query_parse_accept_caps (query, &refused_caps);
2463           pad_monitor->last_refused_caps = gst_caps_copy (refused_caps);
2464
2465         }
2466
2467         break;
2468       }
2469       case GST_QUERY_CAPS:{
2470         GstCaps *res;
2471         GstCaps *filter;
2472
2473         /* We shouldn't need to lock the parent as this doesn't modify
2474          * other monitors, just does some peer_pad_caps */
2475         GST_VALIDATE_MONITOR_LOCK (pad_monitor);
2476
2477         gst_query_parse_caps (query, &filter);
2478         gst_query_parse_caps_result (query, &res);
2479
2480         gst_caps_replace (&pad_monitor->last_query_res, NULL);
2481         gst_caps_replace (&pad_monitor->last_query_filter, NULL);
2482         pad_monitor->last_query_res =
2483             res ? gst_caps_copy (res) : gst_caps_ref (GST_CAPS_NONE);
2484         pad_monitor->last_query_filter =
2485             filter ? gst_caps_copy (filter) : gst_caps_ref (GST_CAPS_NONE);
2486
2487         if (GST_PAD_DIRECTION (pad) == GST_PAD_SINK) {
2488           gst_validate_pad_monitor_check_caps_fields_proxied (pad_monitor, res,
2489               filter);
2490         }
2491         GST_VALIDATE_MONITOR_UNLOCK (pad_monitor);
2492         break;
2493       }
2494       default:
2495         break;
2496     }
2497   }
2498
2499   return ret;
2500 }
2501
2502 static gboolean
2503 gst_validate_pad_monitor_activatemode_func (GstPad * pad, GstObject * parent,
2504     GstPadMode mode, gboolean active)
2505 {
2506   GstValidatePadMonitor *pad_monitor = _GET_PAD_MONITOR (pad);
2507   gboolean ret = TRUE;
2508
2509   /* TODO add overrides for activate func */
2510   GST_DEBUG_OBJECT (pad, "active:%d", active);
2511
2512   if (pad_monitor->activatemode_func)
2513     ret = pad_monitor->activatemode_func (pad, parent, mode, active);
2514   if (ret && active == FALSE) {
2515     GST_VALIDATE_MONITOR_LOCK (pad_monitor);
2516     gst_validate_pad_monitor_reset (pad_monitor);
2517     GST_VALIDATE_MONITOR_UNLOCK (pad_monitor);
2518   }
2519
2520   return ret;
2521 }
2522
2523 static GstFlowReturn
2524 gst_validate_pad_monitor_get_range_func (GstPad * pad, GstObject * parent,
2525     guint64 offset, guint length, GstBuffer ** buffer)
2526 {
2527   GstValidatePadMonitor *pad_monitor = _GET_PAD_MONITOR (pad);
2528
2529   if (pad_monitor->get_range_func) {
2530     GstPad *peer = gst_pad_get_peer (pad);
2531     GstTask *task = NULL;
2532     GThread *thread = NULL;
2533
2534     if (peer) {
2535       GST_OBJECT_LOCK (peer);
2536       task = GST_PAD_TASK (peer);
2537       if (task && GST_TASK_STATE (task) == GST_TASK_STARTED) {
2538         GST_OBJECT_LOCK (task);
2539         /* Only doing pointer comparison, no need to hold a ref */
2540         thread = task->thread;
2541         GST_OBJECT_UNLOCK (task);
2542       }
2543       GST_OBJECT_UNLOCK (peer);
2544
2545       if (thread && thread != g_thread_self ()) {
2546         GST_VALIDATE_REPORT (pad_monitor, PULL_RANGE_FROM_WRONG_THREAD,
2547             "Pulling from wrong thread, expected pad thread: %p, got %p",
2548             task->thread, g_thread_self ());
2549       }
2550
2551       gst_object_unref (peer);
2552     }
2553
2554     return pad_monitor->get_range_func (pad, parent, offset, length, buffer);
2555   }
2556
2557   return GST_FLOW_NOT_SUPPORTED;
2558
2559 }
2560
2561 /* The interval between two buffer frequency checks */
2562 #define BUF_FREQ_CHECK_INTERVAL (GST_SECOND)
2563
2564 static void
2565 gst_validate_pad_monitor_check_buffer_freq (GstValidatePadMonitor * monitor,
2566     GstPad * pad)
2567 {
2568   GstClockTime ts;
2569
2570   if (!GST_PAD_IS_SRC (pad))
2571     return;
2572
2573   if (!monitor->min_buf_freq)
2574     return;
2575
2576   ts = gst_util_get_timestamp ();
2577   monitor->buffers_pushed++;
2578
2579   /* Same logic as in fpsdisplaysink to compute the buffer frequency */
2580   if (G_UNLIKELY (!GST_CLOCK_TIME_IS_VALID
2581           (monitor->min_buf_freq_first_buffer_ts))) {
2582     monitor->min_buf_freq_first_buffer_ts = ts;
2583     monitor->min_buf_freq_interval_ts = ts;
2584     return;
2585   }
2586
2587   if (GST_CLOCK_DIFF (monitor->min_buf_freq_interval_ts,
2588           ts) > BUF_FREQ_CHECK_INTERVAL) {
2589     guint time_diff;
2590     gdouble fps;
2591
2592     time_diff = (gdouble) (ts - monitor->min_buf_freq_interval_ts) / GST_SECOND;
2593     fps =
2594         (gdouble) (monitor->buffers_pushed -
2595         monitor->last_buffers_pushed) / time_diff;
2596
2597     if (fps < monitor->min_buf_freq) {
2598       if (GST_CLOCK_TIME_IS_VALID (monitor->min_buf_freq_start) &&
2599           GST_CLOCK_DIFF (monitor->min_buf_freq_first_buffer_ts,
2600               ts) < monitor->min_buf_freq_start) {
2601         GST_DEBUG_OBJECT (pad,
2602             "buffer frequency is too low (%.2f) but ignore for now (buffer-frequency-start =%"
2603             GST_TIME_FORMAT ")", fps,
2604             GST_TIME_ARGS (monitor->min_buf_freq_start));
2605       } else {
2606         GST_VALIDATE_REPORT (monitor, CONFIG_BUFFER_FREQUENCY_TOO_LOW,
2607             "Buffers are not pushed fast enough on this pad: %.2f/sec (minimum: %.2f)",
2608             fps, monitor->min_buf_freq);
2609       }
2610     }
2611
2612     monitor->last_buffers_pushed = monitor->buffers_pushed;
2613     monitor->min_buf_freq_interval_ts = ts;
2614   }
2615 }
2616
2617 static gboolean
2618 gst_validate_pad_monitor_buffer_probe (GstPad * pad, GstBuffer * buffer,
2619     gpointer udata, gboolean pull_mode)
2620 {
2621   GstValidatePadMonitor *monitor = udata;
2622
2623   GST_VALIDATE_PAD_MONITOR_PARENT_LOCK (monitor);
2624   GST_VALIDATE_MONITOR_LOCK (monitor);
2625
2626   if (!pull_mode)
2627     gst_validate_pad_monitor_check_discont (monitor, buffer);
2628   gst_validate_pad_monitor_check_first_buffer (monitor, buffer);
2629   gst_validate_pad_monitor_update_buffer_data (monitor, buffer);
2630   gst_validate_pad_monitor_check_eos (monitor, buffer);
2631
2632   if (PAD_PARENT_IS_DECODER (monitor) || PAD_PARENT_IS_ENCODER (monitor)) {
2633     GstClockTime tolerance = 0;
2634
2635     if (monitor->caps_is_audio)
2636       tolerance = AUDIO_TIMESTAMP_TOLERANCE;
2637
2638     gst_validate_pad_monitor_check_buffer_timestamp_in_received_range (monitor,
2639         buffer, tolerance);
2640   }
2641
2642   gst_validate_pad_monitor_check_late_serialized_events (monitor,
2643       GST_BUFFER_TIMESTAMP (buffer));
2644
2645   /* a GstValidatePadMonitor parent must be a GstValidateElementMonitor */
2646   if (PAD_PARENT_IS_DECODER (monitor)) {
2647
2648     /* should not push out of segment data */
2649     if (GST_CLOCK_TIME_IS_VALID (GST_BUFFER_TIMESTAMP (buffer)) &&
2650         GST_CLOCK_TIME_IS_VALID (GST_BUFFER_DURATION (buffer)) &&
2651         ((!gst_segment_clip (&monitor->segment, monitor->segment.format,
2652                     GST_BUFFER_TIMESTAMP (buffer),
2653                     GST_BUFFER_TIMESTAMP (buffer) +
2654                     GST_BUFFER_DURATION (buffer), NULL, NULL)) ||
2655             /* In the case of raw data, buffers should be strictly contained inside the
2656              * segment */
2657             (monitor->caps_is_raw &&
2658                 GST_BUFFER_PTS (buffer) + GST_BUFFER_DURATION (buffer) <
2659                 monitor->segment.start))
2660         ) {
2661       /* TODO is this a timestamp issue? */
2662       GST_VALIDATE_REPORT (monitor, BUFFER_IS_OUT_OF_SEGMENT,
2663           "buffer is out of segment and shouldn't be pushed. Timestamp: %"
2664           GST_TIME_FORMAT " - Duration: %" GST_TIME_FORMAT ". Range: %"
2665           GST_TIME_FORMAT " - %" GST_TIME_FORMAT,
2666           GST_TIME_ARGS (GST_BUFFER_TIMESTAMP (buffer)),
2667           GST_TIME_ARGS (GST_BUFFER_DURATION (buffer)),
2668           GST_TIME_ARGS (monitor->segment.start),
2669           GST_TIME_ARGS (monitor->segment.stop));
2670     }
2671   }
2672
2673   gst_validate_pad_monitor_check_buffer_freq (monitor, pad);
2674
2675   GST_VALIDATE_MONITOR_UNLOCK (monitor);
2676   GST_VALIDATE_PAD_MONITOR_PARENT_UNLOCK (monitor);
2677   gst_validate_pad_monitor_buffer_probe_overrides (monitor, buffer);
2678   return TRUE;
2679 }
2680
2681 static void
2682 gst_validate_pad_monitor_event_probe (GstPad * pad, GstEvent * event,
2683     gpointer udata)
2684 {
2685   GstValidatePadMonitor *monitor = GST_VALIDATE_PAD_MONITOR_CAST (udata);
2686   guint32 seqnum = gst_event_get_seqnum (event);
2687
2688   GST_VALIDATE_PAD_MONITOR_PARENT_LOCK (monitor);
2689   GST_VALIDATE_MONITOR_LOCK (monitor);
2690
2691   GST_DEBUG_OBJECT (pad, "event %p %s seqnum:%" G_GUINT32_FORMAT, event,
2692       GST_EVENT_TYPE_NAME (event), seqnum);
2693
2694   if (GST_EVENT_IS_SERIALIZED (event)) {
2695     gint i;
2696
2697     /* Detect if events the element received are being forwarded in the same order
2698      *
2699      * Several scenarios:
2700      * 1) The element pushes the event as-is
2701      * 2) The element consumes the event and does not forward it
2702      * 3) The element consumes the event and creates another one instead
2703      * 4) The element pushes other serialized event before pushing out the
2704      *    one it received
2705      *
2706      * For each pad we have two lists to track serialized events:
2707      *  1) We received on input and expect to see (serialized_events)
2708      *  2) We received on input but don't expect to see (expired_events)
2709      *
2710      * To detect events that are pushed in a different order from the one they were
2711      * received in we check that:
2712      *
2713      * For each event being outputted:
2714      *   If it is in the expired_events list:
2715      *     RAISE WARNING
2716      *   If it is in the serialized_events list:
2717      *     If there are other events that were received before:
2718      *        Put those events on the expired_events list
2719      *     Remove that event and any previous ones from the serialized_events list
2720      *
2721      * Clear expired events list when flushing or on pad deactivation
2722      *
2723      */
2724
2725     if (g_list_find (monitor->expired_events, event)) {
2726       gchar *event_str = _get_event_string (event);
2727       /* If it's the expired events, we've failed */
2728       GST_WARNING_OBJECT (pad, "Did not expect event %p %s", event,
2729           GST_EVENT_TYPE_NAME (event));
2730       GST_VALIDATE_REPORT (monitor, EVENT_SERIALIZED_OUT_OF_ORDER,
2731           "Serialized event was pushed out of order: %s", event_str);
2732
2733       g_free (event_str);
2734       monitor->expired_events = g_list_remove (monitor->expired_events, event);
2735       gst_event_unref (event);  /* remove the ref that was on the list */
2736     } else if (monitor->serialized_events->len) {
2737       for (i = 0; i < monitor->serialized_events->len; i++) {
2738         SerializedEventData *next_event =
2739             g_ptr_array_index (monitor->serialized_events, i);
2740         GST_DEBUG_OBJECT (pad, "Checking against stored event #%d: %p %s", i,
2741             next_event->event, GST_EVENT_TYPE_NAME (next_event->event));
2742
2743         if (event == next_event->event
2744             || GST_EVENT_TYPE (event) == GST_EVENT_TYPE (next_event->event)) {
2745           /* We have found our event */
2746           GST_DEBUG_OBJECT (pad, "Found matching event");
2747
2748           while (monitor->serialized_events->len > i
2749               && GST_EVENT_TYPE (event) == GST_EVENT_TYPE (next_event->event)) {
2750             /* Swallow all expected events of the same type */
2751             g_ptr_array_remove_index (monitor->serialized_events, i);
2752             next_event = g_ptr_array_index (monitor->serialized_events, i);
2753           }
2754
2755           /* Move all previous events to expired events */
2756           if (G_UNLIKELY (i > 0)) {
2757             GST_DEBUG_OBJECT (pad,
2758                 "Moving previous expected events to expired list");
2759             while (i--) {
2760               next_event = g_ptr_array_index (monitor->serialized_events, 0);
2761               monitor->expired_events =
2762                   g_list_append (monitor->expired_events,
2763                   gst_event_ref (next_event->event));
2764               g_ptr_array_remove_index (monitor->serialized_events, 0);
2765             }
2766           }
2767           debug_pending_event (pad, monitor->serialized_events);
2768           break;
2769         }
2770       }
2771     }
2772   }
2773
2774   /* This so far is just like an event that is flowing downstream,
2775    * so we do the same checks as a sinkpad event handler */
2776   gst_validate_pad_monitor_downstream_event_check (monitor, NULL, event, NULL);
2777   GST_VALIDATE_MONITOR_UNLOCK (monitor);
2778   GST_VALIDATE_PAD_MONITOR_PARENT_UNLOCK (monitor);
2779 }
2780
2781 static GstPadProbeReturn
2782 gst_validate_pad_monitor_pad_probe (GstPad * pad, GstPadProbeInfo * info,
2783     gpointer udata)
2784 {
2785   if (info->type & GST_PAD_PROBE_TYPE_BUFFER)
2786     gst_validate_pad_monitor_buffer_probe (pad, info->data, udata,
2787         GST_PAD_PROBE_INFO_TYPE (info) & GST_PAD_PROBE_TYPE_PULL);
2788   else if (info->type & GST_PAD_PROBE_TYPE_EVENT_DOWNSTREAM)
2789     gst_validate_pad_monitor_event_probe (pad, info->data, udata);
2790
2791   return GST_PAD_PROBE_OK;
2792 }
2793
2794 static void
2795 gst_validate_pad_monitor_update_caps_info (GstValidatePadMonitor * pad_monitor,
2796     GstCaps * caps)
2797 {
2798   GstStructure *structure;
2799
2800   g_return_if_fail (gst_caps_is_fixed (caps));
2801
2802   pad_monitor->caps_is_audio = FALSE;
2803   pad_monitor->caps_is_video = FALSE;
2804
2805   structure = gst_caps_get_structure (caps, 0);
2806   if (g_str_has_prefix (gst_structure_get_name (structure), "audio/")) {
2807     pad_monitor->caps_is_audio = TRUE;
2808   } else if (g_str_has_prefix (gst_structure_get_name (structure), "video/")) {
2809     pad_monitor->caps_is_video = TRUE;
2810   }
2811
2812   if (g_str_has_prefix (gst_structure_get_name (structure), "audio/x-raw") ||
2813       g_str_has_prefix (gst_structure_get_name (structure), "video/x-raw")) {
2814     pad_monitor->caps_is_raw = TRUE;
2815   } else {
2816     pad_monitor->caps_is_raw = FALSE;
2817   }
2818 }
2819
2820 static void
2821 gst_validate_pad_monitor_setcaps_pre (GstValidatePadMonitor * pad_monitor,
2822     GstCaps * caps)
2823 {
2824   GstStructure *structure;
2825   GstPad *pad =
2826       GST_PAD (gst_validate_monitor_get_target (GST_VALIDATE_MONITOR
2827           (pad_monitor)));
2828
2829   /* Check if caps are identical to last caps and complain if so
2830    * Only checked for sink pads as src pads might push the same caps
2831    * multiple times during unlinked/autoplugging scenarios */
2832   if (GST_PAD_IS_SINK (pad) && pad_monitor->last_caps
2833       && gst_caps_is_equal (caps, pad_monitor->last_caps)) {
2834     gchar *caps_str = gst_caps_to_string (caps);
2835
2836     GST_VALIDATE_REPORT (pad_monitor, EVENT_CAPS_DUPLICATE, "%s", caps_str);
2837     g_free (caps_str);
2838
2839   }
2840
2841   gst_validate_pad_monitor_check_caps_complete (pad_monitor, caps);
2842
2843   if (caps) {
2844     structure = gst_caps_get_structure (caps, 0);
2845     if (gst_structure_n_fields (pad_monitor->pending_setcaps_fields)) {
2846       gint i;
2847       for (i = 0;
2848           i < gst_structure_n_fields (pad_monitor->pending_setcaps_fields);
2849           i++) {
2850         const gchar *name =
2851             gst_structure_nth_field_name (pad_monitor->pending_setcaps_fields,
2852             i);
2853         const GValue *v = gst_structure_get_value (structure, name);
2854         const GValue *otherv =
2855             gst_structure_get_value (pad_monitor->pending_setcaps_fields, name);
2856
2857         if (v == NULL) {
2858           gchar *caps_str = gst_caps_to_string (caps);
2859
2860           GST_VALIDATE_REPORT (pad_monitor, CAPS_EXPECTED_FIELD_NOT_FOUND,
2861               "Field %s is missing from setcaps caps '%s'", name, caps_str);
2862           g_free (caps_str);
2863         } else if (gst_value_compare (v, otherv) != GST_VALUE_EQUAL) {
2864           gchar *caps_str = gst_caps_to_string (caps),
2865               *pending_setcaps_fields_str =
2866               gst_structure_to_string (pad_monitor->pending_setcaps_fields);
2867
2868
2869           GST_VALIDATE_REPORT (pad_monitor, CAPS_FIELD_UNEXPECTED_VALUE,
2870               "Field %s from setcaps caps '%s' is different "
2871               "from expected value in caps '%s'", name, caps_str,
2872               pending_setcaps_fields_str);
2873
2874           g_free (pending_setcaps_fields_str);
2875           g_free (caps_str);
2876         }
2877       }
2878     }
2879
2880     if (GST_PAD_IS_SINK (pad) &&
2881         gst_validate_pad_monitor_pad_should_proxy_othercaps (pad_monitor)) {
2882       if (_structure_is_video (structure)) {
2883         GST_DEBUG_OBJECT (pad,
2884             "Adding video common pending fields to other pad: %" GST_PTR_FORMAT,
2885             structure);
2886         gst_validate_pad_monitor_otherpad_add_pending_field (pad_monitor,
2887             structure, "width");
2888         gst_validate_pad_monitor_otherpad_add_pending_field (pad_monitor,
2889             structure, "height");
2890         gst_validate_pad_monitor_otherpad_add_pending_field (pad_monitor,
2891             structure, "framerate");
2892         gst_validate_pad_monitor_otherpad_add_pending_field (pad_monitor,
2893             structure, "pixel-aspect-ratio");
2894       } else if (_structure_is_audio (structure)) {
2895         GST_DEBUG_OBJECT (pad,
2896             "Adding audio common pending fields to other pad: %" GST_PTR_FORMAT,
2897             structure);
2898         gst_validate_pad_monitor_otherpad_add_pending_field (pad_monitor,
2899             structure, "rate");
2900         gst_validate_pad_monitor_otherpad_add_pending_field (pad_monitor,
2901             structure, "channels");
2902       }
2903     }
2904   }
2905
2906   gst_structure_free (pad_monitor->pending_setcaps_fields);
2907   pad_monitor->pending_setcaps_fields =
2908       gst_structure_new_empty (PENDING_FIELDS);
2909   gst_object_unref (pad);
2910
2911   gst_validate_pad_monitor_setcaps_overrides (pad_monitor, caps);
2912 }
2913
2914 static void
2915 gst_validate_pad_monitor_setcaps_post (GstValidatePadMonitor * pad_monitor,
2916     GstCaps * caps, gboolean ret)
2917 {
2918   if (!ret)
2919     gst_validate_pad_monitor_otherpad_clear_pending_fields (pad_monitor);
2920   else {
2921     if (pad_monitor->last_caps) {
2922       gst_caps_unref (pad_monitor->last_caps);
2923     }
2924     pad_monitor->last_caps = gst_caps_ref (caps);
2925     gst_validate_pad_monitor_update_caps_info (pad_monitor, caps);
2926   }
2927 }
2928
2929 static void
2930 gst_validate_pad_monitor_get_min_buffer_frequency (GstValidatePadMonitor *
2931     monitor, GstPad * pad)
2932 {
2933   GList *config, *l;
2934
2935   if (!GST_PAD_IS_SRC (pad))
2936     return;
2937
2938   config = gst_validate_plugin_get_config (NULL);
2939   for (l = config; l != NULL; l = g_list_next (l)) {
2940     GstStructure *s = l->data;
2941     gdouble min_buf_freq;
2942     const gchar *pad_name;
2943     GstElement *element = NULL;
2944
2945     if (!gst_structure_get_double (s, "min-buffer-frequency", &min_buf_freq)) {
2946       gint max_int;
2947
2948       if (!gst_structure_get_int (s, "min-buffer-frequency", &max_int))
2949         goto next;
2950
2951       min_buf_freq = max_int;
2952     }
2953
2954     pad_name = gst_structure_get_string (s, "name");
2955     if (!pad_name)
2956       pad_name = "src";
2957
2958     if (g_strcmp0 (GST_PAD_NAME (pad), pad_name))
2959       goto next;
2960
2961     element = gst_pad_get_parent_element (pad);
2962
2963     if (!gst_validate_element_matches_target (element, s))
2964       goto next;
2965
2966     monitor->min_buf_freq = min_buf_freq;
2967
2968     gst_validate_utils_get_clocktime (s, "buffer-frequency-start",
2969         &monitor->min_buf_freq_start);
2970
2971     GST_DEBUG_OBJECT (pad, "pad has a minimum buffer frequency of %f",
2972         min_buf_freq);
2973   next:
2974     g_clear_object (&element);
2975   }
2976 }
2977
2978 static gboolean
2979 gst_validate_pad_monitor_do_setup (GstValidateMonitor * monitor)
2980 {
2981   GstValidatePadMonitor *pad_monitor = GST_VALIDATE_PAD_MONITOR_CAST (monitor);
2982   GstPad *pad = (gpointer) gst_validate_monitor_get_target (monitor);
2983
2984   if (!GST_IS_PAD (pad)) {
2985     GST_WARNING_OBJECT (monitor, "Trying to create pad monitor with other "
2986         "type of object");
2987     gst_object_unref (pad);
2988     return FALSE;
2989   }
2990
2991   if (_GET_PAD_MONITOR (pad)) {
2992     GST_WARNING_OBJECT (pad_monitor,
2993         "Pad already has a validate-monitor associated");
2994     gst_object_unref (pad);
2995     return FALSE;
2996   }
2997
2998   _SET_PAD_MONITOR (pad, pad_monitor);
2999
3000   pad_monitor->event_func = GST_PAD_EVENTFUNC (pad);
3001   pad_monitor->event_full_func = GST_PAD_EVENTFULLFUNC (pad);
3002   pad_monitor->query_func = GST_PAD_QUERYFUNC (pad);
3003   pad_monitor->activatemode_func = GST_PAD_ACTIVATEMODEFUNC (pad);
3004   pad_monitor->get_range_func = GST_PAD_GETRANGEFUNC (pad);
3005   if (GST_PAD_DIRECTION (pad) == GST_PAD_SINK) {
3006
3007     pad_monitor->chain_func = GST_PAD_CHAINFUNC (pad);
3008     if (pad_monitor->chain_func)
3009       gst_pad_set_chain_function (pad, gst_validate_pad_monitor_chain_func);
3010
3011     if (pad_monitor->event_full_func)
3012       gst_pad_set_event_full_function (pad,
3013           gst_validate_pad_monitor_sink_event_full_func);
3014     else
3015       gst_pad_set_event_function (pad,
3016           gst_validate_pad_monitor_sink_event_func);
3017   } else {
3018     gst_pad_set_event_function (pad, gst_validate_pad_monitor_src_event_func);
3019
3020     /* add buffer/event probes */
3021     pad_monitor->pad_probe_id =
3022         gst_pad_add_probe (pad,
3023         GST_PAD_PROBE_TYPE_BUFFER | GST_PAD_PROBE_TYPE_EVENT_DOWNSTREAM |
3024         GST_PAD_PROBE_TYPE_EVENT_FLUSH,
3025         (GstPadProbeCallback) gst_validate_pad_monitor_pad_probe, pad_monitor,
3026         NULL);
3027   }
3028   gst_pad_set_query_function (pad, gst_validate_pad_monitor_query_func);
3029   gst_pad_set_activatemode_function (pad,
3030       gst_validate_pad_monitor_activatemode_func);
3031
3032   if (GST_PAD_IS_SRC (pad)) {
3033     gst_pad_set_getrange_function (pad,
3034         gst_validate_pad_monitor_get_range_func);
3035   }
3036
3037   gst_validate_reporter_set_name (GST_VALIDATE_REPORTER (monitor),
3038       g_strdup_printf ("%s:%s", GST_DEBUG_PAD_NAME (pad)));
3039
3040   if (G_UNLIKELY (GST_PAD_PARENT (pad) == NULL))
3041     GST_FIXME ("Saw a pad not belonging to any object");
3042
3043   gst_validate_pad_monitor_get_min_buffer_frequency (pad_monitor, pad);
3044
3045   gst_object_unref (pad);
3046   return TRUE;
3047 }