libs/gst/base/gstadapter.c

   1 /* GStreamer
   2  * Copyright (C) 2004 Benjamin Otte <otte@gnome.org>
   3  *               2005 Wim Taymans <wim@fluendo.com>
   4  *
   5  * This library is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU Library General Public
   7  * License as published by the Free Software Foundation; either
   8  * version 2 of the License, or (at your option) any later version.
   9  *
  10  * This library is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * Library General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU Library General Public
  16  * License along with this library; if not, write to the
  17  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  18  * Boston, MA 02110-1301, USA.
  19  */
  20
  21 /**
  22  * SECTION:gstadapter
  23  * @short_description: adapts incoming data on a sink pad into chunks of N bytes
  24  *
  25  * This class is for elements that receive buffers in an undesired size.
  26  * While for example raw video contains one image per buffer, the same is not
  27  * true for a lot of other formats, especially those that come directly from
  28  * a file. So if you have undefined buffer sizes and require a specific size,
  29  * this object is for you.
  30  *
  31  * An adapter is created with gst_adapter_new(). It can be freed again with
  32  * g_object_unref().
  33  *
  34  * The theory of operation is like this: All buffers received are put
  35  * into the adapter using gst_adapter_push() and the data is then read back
  36  * in chunks of the desired size using gst_adapter_map()/gst_adapter_unmap()
  37  * and/or gst_adapter_copy(). After the data has been processed, it is freed
  38  * using gst_adapter_unmap().
  39  *
  40  * Other methods such as gst_adapter_take() and gst_adapter_take_buffer()
  41  * combine gst_adapter_map() and gst_adapter_unmap() in one method and are
  42  * potentially more convenient for some use cases.
  43  *
  44  * For example, a sink pad's chain function that needs to pass data to a library
  45  * in 512-byte chunks could be implemented like this:
  46  * |[
  47  * static GstFlowReturn
  48  * sink_pad_chain (GstPad *pad, GstObject *parent, GstBuffer *buffer)
  49  * {
  50  *   MyElement *this;
  51  *   GstAdapter *adapter;
  52  *   GstFlowReturn ret = GST_FLOW_OK;
  53  *
  54  *   this = MY_ELEMENT (parent);
  55  *
  56  *   adapter = this->adapter;
  57  *
  58  *   // put buffer into adapter
  59  *   gst_adapter_push (adapter, buffer);
  60  *
  61  *   // while we can read out 512 bytes, process them
  62  *   while (gst_adapter_available (adapter) >= 512 && ret == GST_FLOW_OK) {
  63  *     const guint8 *data = gst_adapter_map (adapter, 512);
  64  *     // use flowreturn as an error value
  65  *     ret = my_library_foo (data);
  66  *     gst_adapter_unmap (adapter);
  67  *     gst_adapter_flush (adapter, 512);
  68  *   }
  69  *   return ret;
  70  * }
  71  * ]|
  72  *
  73  * For another example, a simple element inside GStreamer that uses GstAdapter
  74  * is the libvisual element.
  75  *
  76  * An element using GstAdapter in its sink pad chain function should ensure that
  77  * when the FLUSH_STOP event is received, that any queued data is cleared using
  78  * gst_adapter_clear(). Data should also be cleared or processed on EOS and
  79  * when changing state from #GST_STATE_PAUSED to #GST_STATE_READY.
  80  *
  81  * Also check the GST_BUFFER_FLAG_DISCONT flag on the buffer. Some elements might
  82  * need to clear the adapter after a discontinuity.
  83  *
  84  * The adapter will keep track of the timestamps of the buffers
  85  * that were pushed. The last seen timestamp before the current position
  86  * can be queried with gst_adapter_prev_pts(). This function can
  87  * optionally return the number of bytes between the start of the buffer that
  88  * carried the timestamp and the current adapter position. The distance is
  89  * useful when dealing with, for example, raw audio samples because it allows
  90  * you to calculate the timestamp of the current adapter position by using the
  91  * last seen timestamp and the amount of bytes since.  Additionally, the
  92  * gst_adapter_prev_pts_at_offset() can be used to determine the last
  93  * seen timestamp at a particular offset in the adapter.
  94  *
  95  * A last thing to note is that while GstAdapter is pretty optimized,
  96  * merging buffers still might be an operation that requires a malloc() and
  97  * memcpy() operation, and these operations are not the fastest. Because of
  98  * this, some functions like gst_adapter_available_fast() are provided to help
  99  * speed up such cases should you want to. To avoid repeated memory allocations,
 100  * gst_adapter_copy() can be used to copy data into a (statically allocated)
 101  * user provided buffer.
 102  *
 103  * GstAdapter is not MT safe. All operations on an adapter must be serialized by
 104  * the caller. This is not normally a problem, however, as the normal use case
 105  * of GstAdapter is inside one pad's chain function, in which case access is
 106  * serialized via the pad's STREAM_LOCK.
 107  *
 108  * Note that gst_adapter_push() takes ownership of the buffer passed. Use
 109  * gst_buffer_ref() before pushing it into the adapter if you still want to
 110  * access the buffer later. The adapter will never modify the data in the
 111  * buffer pushed in it.
 112  *
 113  * Last reviewed on 2009-05-13 (0.10.24).
 114  */
 115
 116 #include <gst/gst_private.h>
 117 #include "gstadapter.h"
 118 #include <string.h>
 119
 120 /* default size for the assembled data buffer */
 121 #define DEFAULT_SIZE 4096
 122
 123 static void gst_adapter_flush_unchecked (GstAdapter * adapter, gsize flush);
 124
 125 GST_DEBUG_CATEGORY_STATIC (gst_adapter_debug);
 126 #define GST_CAT_DEFAULT gst_adapter_debug
 127
 128 struct _GstAdapter
 129 {
 130   GObject object;
 131
 132   /*< private > */
 133   GSList *buflist;
 134   GSList *buflist_end;
 135   gsize size;
 136   gsize skip;
 137
 138   /* we keep state of assembled pieces */
 139   gpointer assembled_data;
 140   gsize assembled_size;
 141   gsize assembled_len;
 142
 143   GstClockTime pts;
 144   guint64 pts_distance;
 145   GstClockTime dts;
 146   guint64 dts_distance;
 147
 148   gsize scan_offset;
 149   GSList *scan_entry;
 150
 151   GstMapInfo info;
 152 };
 153
 154 struct _GstAdapterClass
 155 {
 156   GObjectClass parent_class;
 157 };
 158
 159 #define _do_init \
 160   GST_DEBUG_CATEGORY_INIT (gst_adapter_debug, "adapter", 0, "object to splice and merge buffers to desired size")
 161 #define gst_adapter_parent_class parent_class
 162 G_DEFINE_TYPE_WITH_CODE (GstAdapter, gst_adapter, G_TYPE_OBJECT, _do_init);
 163
 164 static void gst_adapter_dispose (GObject * object);
 165 static void gst_adapter_finalize (GObject * object);
 166
 167 static void
 168 gst_adapter_class_init (GstAdapterClass * klass)
 169 {
 170   GObjectClass *object = G_OBJECT_CLASS (klass);
 171
 172   object->dispose = gst_adapter_dispose;
 173   object->finalize = gst_adapter_finalize;
 174 }
 175
 176 static void
 177 gst_adapter_init (GstAdapter * adapter)
 178 {
 179   adapter->assembled_data = g_malloc (DEFAULT_SIZE);
 180   adapter->assembled_size = DEFAULT_SIZE;
 181   adapter->pts = GST_CLOCK_TIME_NONE;
 182   adapter->pts_distance = 0;
 183   adapter->dts = GST_CLOCK_TIME_NONE;
 184   adapter->dts_distance = 0;
 185 }
 186
 187 static void
 188 gst_adapter_dispose (GObject * object)
 189 {
 190   GstAdapter *adapter = GST_ADAPTER (object);
 191
 192   gst_adapter_clear (adapter);
 193
 194   GST_CALL_PARENT (G_OBJECT_CLASS, dispose, (object));
 195 }
 196
 197 static void
 198 gst_adapter_finalize (GObject * object)
 199 {
 200   GstAdapter *adapter = GST_ADAPTER (object);
 201
 202   g_free (adapter->assembled_data);
 203
 204   GST_CALL_PARENT (G_OBJECT_CLASS, finalize, (object));
 205 }
 206
 207 /**
 208  * gst_adapter_new:
 209  *
 210  * Creates a new #GstAdapter. Free with g_object_unref().
 211  *
 212  * Returns: (transfer full): a new #GstAdapter
 213  */
 214 GstAdapter *
 215 gst_adapter_new (void)
 216 {
 217   return g_object_newv (GST_TYPE_ADAPTER, 0, NULL);
 218 }
 219
 220 /**
 221  * gst_adapter_clear:
 222  * @adapter: a #GstAdapter
 223  *
 224  * Removes all buffers from @adapter.
 225  */
 226 void
 227 gst_adapter_clear (GstAdapter * adapter)
 228 {
 229   g_return_if_fail (GST_IS_ADAPTER (adapter));
 230
 231   if (adapter->info.memory)
 232     gst_adapter_unmap (adapter);
 233
 234   g_slist_foreach (adapter->buflist, (GFunc) gst_mini_object_unref, NULL);
 235   g_slist_free (adapter->buflist);
 236   adapter->buflist = NULL;
 237   adapter->buflist_end = NULL;
 238   adapter->size = 0;
 239   adapter->skip = 0;
 240   adapter->assembled_len = 0;
 241   adapter->pts = GST_CLOCK_TIME_NONE;
 242   adapter->pts_distance = 0;
 243   adapter->dts = GST_CLOCK_TIME_NONE;
 244   adapter->dts_distance = 0;
 245   adapter->scan_offset = 0;
 246   adapter->scan_entry = NULL;
 247 }
 248
 249 static inline void
 250 update_timestamps (GstAdapter * adapter, GstBuffer * buf)
 251 {
 252   GstClockTime pts, dts;
 253
 254   pts = GST_BUFFER_PTS (buf);
 255   if (GST_CLOCK_TIME_IS_VALID (pts)) {
 256     GST_LOG_OBJECT (adapter, "new pts %" GST_TIME_FORMAT, GST_TIME_ARGS (pts));
 257     adapter->pts = pts;
 258     adapter->pts_distance = 0;
 259   }
 260   dts = GST_BUFFER_DTS (buf);
 261   if (GST_CLOCK_TIME_IS_VALID (dts)) {
 262     GST_LOG_OBJECT (adapter, "new dts %" GST_TIME_FORMAT, GST_TIME_ARGS (dts));
 263     adapter->dts = dts;
 264     adapter->dts_distance = 0;
 265   }
 266 }
 267
 268 /* copy data into @dest, skipping @skip bytes from the head buffers */
 269 static void
 270 copy_into_unchecked (GstAdapter * adapter, guint8 * dest, gsize skip,
 271     gsize size)
 272 {
 273   GSList *g;
 274   GstBuffer *buf;
 275   gsize bsize, csize;
 276
 277   /* first step, do skipping */
 278   /* we might well be copying where we were scanning */
 279   if (adapter->scan_entry && (adapter->scan_offset <= skip)) {
 280     g = adapter->scan_entry;
 281     skip -= adapter->scan_offset;
 282   } else {
 283     g = adapter->buflist;
 284   }
 285   buf = g->data;
 286   bsize = gst_buffer_get_size (buf);
 287   while (G_UNLIKELY (skip >= bsize)) {
 288     skip -= bsize;
 289     g = g_slist_next (g);
 290     buf = g->data;
 291     bsize = gst_buffer_get_size (buf);
 292   }
 293   /* copy partial buffer */
 294   csize = MIN (bsize - skip, size);
 295   GST_DEBUG ("bsize %" G_GSIZE_FORMAT ", skip %" G_GSIZE_FORMAT ", csize %"
 296       G_GSIZE_FORMAT, bsize, skip, csize);
 297   GST_CAT_LOG_OBJECT (GST_CAT_PERFORMANCE, adapter, "extract %" G_GSIZE_FORMAT
 298       " bytes", csize);
 299   gst_buffer_extract (buf, skip, dest, csize);
 300   size -= csize;
 301   dest += csize;
 302
 303   /* second step, copy remainder */
 304   while (size > 0) {
 305     g = g_slist_next (g);
 306     buf = g->data;
 307     bsize = gst_buffer_get_size (buf);
 308     if (G_LIKELY (bsize > 0)) {
 309       csize = MIN (bsize, size);
 310       GST_CAT_LOG_OBJECT (GST_CAT_PERFORMANCE, adapter,
 311           "extract %" G_GSIZE_FORMAT " bytes", csize);
 312       gst_buffer_extract (buf, 0, dest, csize);
 313       size -= csize;
 314       dest += csize;
 315     }
 316   }
 317 }
 318
 319 /**
 320  * gst_adapter_push:
 321  * @adapter: a #GstAdapter
 322  * @buf: (transfer full): a #GstBuffer to add to queue in the adapter
 323  *
 324  * Adds the data from @buf to the data stored inside @adapter and takes
 325  * ownership of the buffer.
 326  */
 327 void
 328 gst_adapter_push (GstAdapter * adapter, GstBuffer * buf)
 329 {
 330   gsize size;
 331
 332   g_return_if_fail (GST_IS_ADAPTER (adapter));
 333   g_return_if_fail (GST_IS_BUFFER (buf));
 334
 335   size = gst_buffer_get_size (buf);
 336   adapter->size += size;
 337
 338   /* Note: merging buffers at this point is premature. */
 339   if (G_UNLIKELY (adapter->buflist == NULL)) {
 340     GST_LOG_OBJECT (adapter, "pushing %p first %" G_GSIZE_FORMAT " bytes",
 341         buf, size);
 342     adapter->buflist = adapter->buflist_end = g_slist_append (NULL, buf);
 343     update_timestamps (adapter, buf);
 344   } else {
 345     /* Otherwise append to the end, and advance our end pointer */
 346     GST_LOG_OBJECT (adapter, "pushing %p %" G_GSIZE_FORMAT " bytes at end, "
 347         "size now %" G_GSIZE_FORMAT, buf, size, adapter->size);
 348     adapter->buflist_end = g_slist_append (adapter->buflist_end, buf);
 349     adapter->buflist_end = g_slist_next (adapter->buflist_end);
 350   }
 351 }
 352
 353 #if 0
 354 /* Internal method only. Tries to merge buffers at the head of the queue
 355  * to form a single larger buffer of size 'size'.
 356  *
 357  * Returns TRUE if it managed to merge anything.
 358  */
 359 static gboolean
 360 gst_adapter_try_to_merge_up (GstAdapter * adapter, gsize size)
 361 {
 362   GstBuffer *cur, *head;
 363   GSList *g;
 364   gboolean ret = FALSE;
 365   gsize hsize;
 366
 367   g = adapter->buflist;
 368   if (g == NULL)
 369     return FALSE;
 370
 371   head = g->data;
 372
 373   hsize = gst_buffer_get_size (head);
 374
 375   /* Remove skipped part from the buffer (otherwise the buffer might grow indefinitely) */
 376   head = gst_buffer_make_writable (head);
 377   gst_buffer_resize (head, adapter->skip, hsize - adapter->skip);
 378   hsize -= adapter->skip;
 379   adapter->skip = 0;
 380   g->data = head;
 381
 382   g = g_slist_next (g);
 383
 384   while (g != NULL && hsize < size) {
 385     cur = g->data;
 386     /* Merge the head buffer and the next in line */
 387     GST_LOG_OBJECT (adapter, "Merging buffers of size %" G_GSIZE_FORMAT " & %"
 388         G_GSIZE_FORMAT " in search of target %" G_GSIZE_FORMAT,
 389         hsize, gst_buffer_get_size (cur), size);
 390
 391     head = gst_buffer_append (head, cur);
 392     hsize = gst_buffer_get_size (head);
 393     ret = TRUE;
 394
 395     /* Delete the front list item, and store our new buffer in the 2nd list
 396      * item */
 397     adapter->buflist = g_slist_delete_link (adapter->buflist, adapter->buflist);
 398     g->data = head;
 399
 400     /* invalidate scan position */
 401     adapter->scan_offset = 0;
 402     adapter->scan_entry = NULL;
 403
 404     g = g_slist_next (g);
 405   }
 406
 407   return ret;
 408 }
 409 #endif
 410
 411 /**
 412  * gst_adapter_map:
 413  * @adapter: a #GstAdapter
 414  * @size: the number of bytes to map/peek
 415  *
 416  * Gets the first @size bytes stored in the @adapter. The returned pointer is
 417  * valid until the next function is called on the adapter.
 418  *
 419  * Note that setting the returned pointer as the data of a #GstBuffer is
 420  * incorrect for general-purpose plugins. The reason is that if a downstream
 421  * element stores the buffer so that it has access to it outside of the bounds
 422  * of its chain function, the buffer will have an invalid data pointer after
 423  * your element flushes the bytes. In that case you should use
 424  * gst_adapter_take(), which returns a freshly-allocated buffer that you can set
 425  * as #GstBuffer memory or the potentially more performant
 426  * gst_adapter_take_buffer().
 427  *
 428  * Returns #NULL if @size bytes are not available.
 429  *
 430  * Returns: (transfer none) (array length=size) (element-type guint8):
 431  *     a pointer to the first @size bytes of data, or NULL
 432  */
 433 gconstpointer
 434 gst_adapter_map (GstAdapter * adapter, gsize size)
 435 {
 436   GstBuffer *cur;
 437   gsize skip, csize;
 438   gsize toreuse, tocopy;
 439   guint8 *data;
 440
 441   g_return_val_if_fail (GST_IS_ADAPTER (adapter), NULL);
 442   g_return_val_if_fail (size > 0, NULL);
 443
 444   if (adapter->info.memory)
 445     gst_adapter_unmap (adapter);
 446
 447   /* we don't have enough data, return NULL. This is unlikely
 448    * as one usually does an _available() first instead of peeking a
 449    * random size. */
 450   if (G_UNLIKELY (size > adapter->size))
 451     return NULL;
 452
 453   /* we have enough assembled data, return it */
 454   if (adapter->assembled_len >= size)
 455     return adapter->assembled_data;
 456
 457 #if 0
 458   do {
 459 #endif
 460     cur = adapter->buflist->data;
 461     skip = adapter->skip;
 462
 463     csize = gst_buffer_get_size (cur);
 464     if (csize >= size + skip) {
 465       if (!gst_buffer_map (cur, &adapter->info, GST_MAP_READ))
 466         return FALSE;
 467
 468       return (guint8 *) adapter->info.data + skip;
 469     }
 470     /* We may be able to efficiently merge buffers in our pool to
 471      * gather a big enough chunk to return it from the head buffer directly */
 472 #if 0
 473   } while (gst_adapter_try_to_merge_up (adapter, size));
 474 #endif
 475
 476   /* see how much data we can reuse from the assembled memory and how much
 477    * we need to copy */
 478   toreuse = adapter->assembled_len;
 479   tocopy = size - toreuse;
 480
 481   /* Gonna need to copy stuff out */
 482   if (G_UNLIKELY (adapter->assembled_size < size)) {
 483     adapter->assembled_size = (size / DEFAULT_SIZE + 1) * DEFAULT_SIZE;
 484     GST_DEBUG_OBJECT (adapter, "resizing internal buffer to %" G_GSIZE_FORMAT,
 485         adapter->assembled_size);
 486     if (toreuse == 0) {
 487       GST_CAT_DEBUG (GST_CAT_PERFORMANCE, "alloc new buffer");
 488       /* no g_realloc to avoid a memcpy that is not desired here since we are
 489        * not going to reuse any data here */
 490       g_free (adapter->assembled_data);
 491       adapter->assembled_data = g_malloc (adapter->assembled_size);
 492     } else {
 493       /* we are going to reuse all data, realloc then */
 494       GST_CAT_DEBUG (GST_CAT_PERFORMANCE, "reusing %" G_GSIZE_FORMAT " bytes",
 495           toreuse);
 496       adapter->assembled_data =
 497           g_realloc (adapter->assembled_data, adapter->assembled_size);
 498     }
 499   }
 500   GST_CAT_DEBUG (GST_CAT_PERFORMANCE, "copy remaining %" G_GSIZE_FORMAT
 501       " bytes from adapter", tocopy);
 502   data = adapter->assembled_data;
 503   copy_into_unchecked (adapter, data + toreuse, skip + toreuse, tocopy);
 504   adapter->assembled_len = size;
 505
 506   return adapter->assembled_data;
 507 }
 508
 509 /**
 510  * gst_adapter_unmap:
 511  * @adapter: a #GstAdapter
 512  *
 513  * Releases the memory obtained with the last gst_adapter_map().
 514  */
 515 void
 516 gst_adapter_unmap (GstAdapter * adapter)
 517 {
 518   g_return_if_fail (GST_IS_ADAPTER (adapter));
 519
 520   if (adapter->info.memory) {
 521     GstBuffer *cur = adapter->buflist->data;
 522     GST_LOG_OBJECT (adapter, "unmap memory buffer %p", cur);
 523     gst_buffer_unmap (cur, &adapter->info);
 524     adapter->info.memory = NULL;
 525   }
 526 }
 527
 528 /**
 529  * gst_adapter_copy:
 530  * @adapter: a #GstAdapter
 531  * @dest: (out caller-allocates) (array length=size) (element-type guint8):
 532  *     the memory to copy into
 533  * @offset: the bytes offset in the adapter to start from
 534  * @size: the number of bytes to copy
 535  *
 536  * Copies @size bytes of data starting at @offset out of the buffers
 537  * contained in @GstAdapter into an array @dest provided by the caller.
 538  *
 539  * The array @dest should be large enough to contain @size bytes.
 540  * The user should check that the adapter has (@offset + @size) bytes
 541  * available before calling this function.
 542  */
 543 void
 544 gst_adapter_copy (GstAdapter * adapter, gpointer dest, gsize offset, gsize size)
 545 {
 546   g_return_if_fail (GST_IS_ADAPTER (adapter));
 547   g_return_if_fail (size > 0);
 548   g_return_if_fail (offset + size <= adapter->size);
 549
 550   copy_into_unchecked (adapter, dest, offset + adapter->skip, size);
 551 }
 552
 553 /*Flushes the first @flush bytes in the @adapter*/
 554 static void
 555 gst_adapter_flush_unchecked (GstAdapter * adapter, gsize flush)
 556 {
 557   GstBuffer *cur;
 558   gsize size;
 559   GSList *g;
 560
 561   GST_LOG_OBJECT (adapter, "flushing %" G_GSIZE_FORMAT " bytes", flush);
 562
 563   if (adapter->info.memory)
 564     gst_adapter_unmap (adapter);
 565
 566   /* clear state */
 567   adapter->size -= flush;
 568   adapter->assembled_len = 0;
 569
 570   /* take skip into account */
 571   flush += adapter->skip;
 572   /* distance is always at least the amount of skipped bytes */
 573   adapter->pts_distance -= adapter->skip;
 574   adapter->dts_distance -= adapter->skip;
 575
 576   g = adapter->buflist;
 577   cur = g->data;
 578   size = gst_buffer_get_size (cur);
 579   while (flush >= size) {
 580     /* can skip whole buffer */
 581     GST_LOG_OBJECT (adapter, "flushing out head buffer");
 582     adapter->pts_distance += size;
 583     adapter->dts_distance += size;
 584     flush -= size;
 585
 586     gst_buffer_unref (cur);
 587     g = g_slist_delete_link (g, g);
 588
 589     if (G_UNLIKELY (g == NULL)) {
 590       GST_LOG_OBJECT (adapter, "adapter empty now");
 591       adapter->buflist_end = NULL;
 592       break;
 593     }
 594     /* there is a new head buffer, update the timestamps */
 595     cur = g->data;
 596     update_timestamps (adapter, cur);
 597     size = gst_buffer_get_size (cur);
 598   }
 599   adapter->buflist = g;
 600   /* account for the remaining bytes */
 601   adapter->skip = flush;
 602   adapter->pts_distance += flush;
 603   adapter->dts_distance += flush;
 604   /* invalidate scan position */
 605   adapter->scan_offset = 0;
 606   adapter->scan_entry = NULL;
 607 }
 608
 609 /**
 610  * gst_adapter_flush:
 611  * @adapter: a #GstAdapter
 612  * @flush: the number of bytes to flush
 613  *
 614  * Flushes the first @flush bytes in the @adapter. The caller must ensure that
 615  * at least this many bytes are available.
 616  *
 617  * See also: gst_adapter_map(), gst_adapter_unmap()
 618  */
 619 void
 620 gst_adapter_flush (GstAdapter * adapter, gsize flush)
 621 {
 622   g_return_if_fail (GST_IS_ADAPTER (adapter));
 623   g_return_if_fail (flush <= adapter->size);
 624
 625   /* flushing out 0 bytes will do nothing */
 626   if (G_UNLIKELY (flush == 0))
 627     return;
 628
 629   gst_adapter_flush_unchecked (adapter, flush);
 630 }
 631
 632 /* internal function, nbytes should be flushed after calling this function */
 633 static guint8 *
 634 gst_adapter_take_internal (GstAdapter * adapter, gsize nbytes)
 635 {
 636   guint8 *data;
 637   gsize toreuse, tocopy;
 638
 639   /* see how much data we can reuse from the assembled memory and how much
 640    * we need to copy */
 641   toreuse = MIN (nbytes, adapter->assembled_len);
 642   tocopy = nbytes - toreuse;
 643
 644   /* find memory to return */
 645   if (adapter->assembled_size >= nbytes && toreuse > 0) {
 646     /* we reuse already allocated memory but only when we're going to reuse
 647      * something from it because else we are worse than the malloc and copy
 648      * case below */
 649     GST_LOG_OBJECT (adapter, "reusing %" G_GSIZE_FORMAT " bytes of assembled"
 650         " data", toreuse);
 651     /* we have enough free space in the assembled array */
 652     data = adapter->assembled_data;
 653     /* flush after this function should set the assembled_size to 0 */
 654     adapter->assembled_data = g_malloc (adapter->assembled_size);
 655   } else {
 656     GST_LOG_OBJECT (adapter, "allocating %" G_GSIZE_FORMAT " bytes", nbytes);
 657     /* not enough bytes in the assembled array, just allocate new space */
 658     data = g_malloc (nbytes);
 659     /* reuse what we can from the already assembled data */
 660     if (toreuse) {
 661       GST_LOG_OBJECT (adapter, "reusing %" G_GSIZE_FORMAT " bytes", toreuse);
 662       GST_CAT_LOG_OBJECT (GST_CAT_PERFORMANCE, adapter,
 663           "memcpy %" G_GSIZE_FORMAT " bytes", toreuse);
 664       memcpy (data, adapter->assembled_data, toreuse);
 665     }
 666   }
 667   if (tocopy) {
 668     /* copy the remaining data */
 669     copy_into_unchecked (adapter, toreuse + data, toreuse + adapter->skip,
 670         tocopy);
 671   }
 672   return data;
 673 }
 674
 675 /**
 676  * gst_adapter_take:
 677  * @adapter: a #GstAdapter
 678  * @nbytes: the number of bytes to take
 679  *
 680  * Returns a freshly allocated buffer containing the first @nbytes bytes of the
 681  * @adapter. The returned bytes will be flushed from the adapter.
 682  *
 683  * Caller owns returned value. g_free after usage.
 684  *
 685  * Free-function: g_free
 686  *
 687  * Returns: (transfer full) (array length=nbytes) (element-type guint8):
 688  *     oven-fresh hot data, or #NULL if @nbytes bytes are not available
 689  */
 690 gpointer
 691 gst_adapter_take (GstAdapter * adapter, gsize nbytes)
 692 {
 693   gpointer data;
 694
 695   g_return_val_if_fail (GST_IS_ADAPTER (adapter), NULL);
 696   g_return_val_if_fail (nbytes > 0, NULL);
 697
 698   /* we don't have enough data, return NULL. This is unlikely
 699    * as one usually does an _available() first instead of peeking a
 700    * random size. */
 701   if (G_UNLIKELY (nbytes > adapter->size))
 702     return NULL;
 703
 704   data = gst_adapter_take_internal (adapter, nbytes);
 705
 706   gst_adapter_flush_unchecked (adapter, nbytes);
 707
 708   return data;
 709 }
 710
 711 /**
 712  * gst_adapter_take_buffer:
 713  * @adapter: a #GstAdapter
 714  * @nbytes: the number of bytes to take
 715  *
 716  * Returns a #GstBuffer containing the first @nbytes bytes of the
 717  * @adapter. The returned bytes will be flushed from the adapter.
 718  * This function is potentially more performant than gst_adapter_take()
 719  * since it can reuse the memory in pushed buffers by subbuffering
 720  * or merging.
 721  *
 722  * Note that no assumptions should be made as to whether certain buffer
 723  * flags such as the DISCONT flag are set on the returned buffer, or not.
 724  * The caller needs to explicitly set or unset flags that should be set or
 725  * unset.
 726  *
 727  * Caller owns a reference to the returned buffer. gst_buffer_unref() after
 728  * usage.
 729  *
 730  * Free-function: gst_buffer_unref
 731  *
 732  * Returns: (transfer full): a #GstBuffer containing the first @nbytes of
 733  *     the adapter, or #NULL if @nbytes bytes are not available.
 734  *     gst_buffer_unref() when no longer needed.
 735  */
 736 GstBuffer *
 737 gst_adapter_take_buffer (GstAdapter * adapter, gsize nbytes)
 738 {
 739   GstBuffer *buffer;
 740   GstBuffer *cur;
 741   gsize hsize, skip;
 742   guint8 *data;
 743
 744   g_return_val_if_fail (GST_IS_ADAPTER (adapter), NULL);
 745   g_return_val_if_fail (nbytes > 0, NULL);
 746
 747   GST_LOG_OBJECT (adapter, "taking buffer of %" G_GSIZE_FORMAT " bytes",
 748       nbytes);
 749
 750   /* we don't have enough data, return NULL. This is unlikely
 751    * as one usually does an _available() first instead of grabbing a
 752    * random size. */
 753   if (G_UNLIKELY (nbytes > adapter->size))
 754     return NULL;
 755
 756   cur = adapter->buflist->data;
 757   skip = adapter->skip;
 758   hsize = gst_buffer_get_size (cur);
 759
 760   /* our head buffer has enough data left, return it */
 761   if (skip == 0 && hsize == nbytes) {
 762     GST_LOG_OBJECT (adapter, "providing buffer of %" G_GSIZE_FORMAT " bytes"
 763         " as head buffer", nbytes);
 764     buffer = gst_buffer_ref (cur);
 765     goto done;
 766   } else if (hsize >= nbytes + skip) {
 767     GST_LOG_OBJECT (adapter, "providing buffer of %" G_GSIZE_FORMAT " bytes"
 768         " via region copy", nbytes);
 769     buffer = gst_buffer_copy_region (cur, GST_BUFFER_COPY_ALL, skip, nbytes);
 770     goto done;
 771   }
 772 #if 0
 773   if (gst_adapter_try_to_merge_up (adapter, nbytes)) {
 774     /* Merged something, let's try again for sub-buffering */
 775     cur = adapter->buflist->data;
 776     skip = adapter->skip;
 777     if (gst_buffer_get_size (cur) >= nbytes + skip) {
 778       GST_LOG_OBJECT (adapter, "providing buffer of %" G_GSIZE_FORMAT " bytes"
 779           " via sub-buffer", nbytes);
 780       buffer = gst_buffer_copy_region (cur, GST_BUFFER_COPY_ALL, skip, nbytes);
 781       goto done;
 782     }
 783   }
 784 #endif
 785
 786   data = gst_adapter_take_internal (adapter, nbytes);
 787
 788   buffer = gst_buffer_new_wrapped (data, nbytes);
 789
 790 done:
 791   gst_adapter_flush_unchecked (adapter, nbytes);
 792
 793   return buffer;
 794 }
 795
 796 /**
 797  * gst_adapter_take_list:
 798  * @adapter: a #GstAdapter
 799  * @nbytes: the number of bytes to take
 800  *
 801  * Returns a #GList of buffers containing the first @nbytes bytes of the
 802  * @adapter. The returned bytes will be flushed from the adapter.
 803  * When the caller can deal with individual buffers, this function is more
 804  * performant because no memory should be copied.
 805  *
 806  * Caller owns returned list and contained buffers. gst_buffer_unref() each
 807  * buffer in the list before freeing the list after usage.
 808  *
 809  * Returns: (element-type Gst.Buffer) (transfer full): a #GList of buffers
 810  *     containing the first @nbytes of the adapter, or #NULL if @nbytes bytes
 811  *     are not available
 812  */
 813 GList *
 814 gst_adapter_take_list (GstAdapter * adapter, gsize nbytes)
 815 {
 816   GQueue queue = G_QUEUE_INIT;
 817   GstBuffer *cur;
 818   gsize hsize, skip;
 819
 820   g_return_val_if_fail (GST_IS_ADAPTER (adapter), NULL);
 821   g_return_val_if_fail (nbytes <= adapter->size, NULL);
 822
 823   GST_LOG_OBJECT (adapter, "taking %" G_GSIZE_FORMAT " bytes", nbytes);
 824
 825   while (nbytes > 0) {
 826     cur = adapter->buflist->data;
 827     skip = adapter->skip;
 828     hsize = MIN (nbytes, gst_buffer_get_size (cur) - skip);
 829
 830     cur = gst_adapter_take_buffer (adapter, hsize);
 831
 832     g_queue_push_tail (&queue, cur);
 833
 834     nbytes -= hsize;
 835   }
 836   return queue.head;
 837 }
 838
 839 /**
 840  * gst_adapter_available:
 841  * @adapter: a #GstAdapter
 842  *
 843  * Gets the maximum amount of bytes available, that is it returns the maximum
 844  * value that can be supplied to gst_adapter_map() without that function
 845  * returning NULL.
 846  *
 847  * Returns: number of bytes available in @adapter
 848  */
 849 gsize
 850 gst_adapter_available (GstAdapter * adapter)
 851 {
 852   g_return_val_if_fail (GST_IS_ADAPTER (adapter), 0);
 853
 854   return adapter->size;
 855 }
 856
 857 /**
 858  * gst_adapter_available_fast:
 859  * @adapter: a #GstAdapter
 860  *
 861  * Gets the maximum number of bytes that are immediately available without
 862  * requiring any expensive operations (like copying the data into a
 863  * temporary buffer).
 864  *
 865  * Returns: number of bytes that are available in @adapter without expensive
 866  * operations
 867  */
 868 gsize
 869 gst_adapter_available_fast (GstAdapter * adapter)
 870 {
 871   GstBuffer *cur;
 872   gsize size;
 873   GSList *g;
 874
 875   g_return_val_if_fail (GST_IS_ADAPTER (adapter), 0);
 876
 877   /* no data */
 878   if (adapter->size == 0)
 879     return 0;
 880
 881   /* some stuff we already assembled */
 882   if (adapter->assembled_len)
 883     return adapter->assembled_len;
 884
 885   /* take the first non-zero buffer */
 886   g = adapter->buflist;
 887   while (TRUE) {
 888     cur = g->data;
 889     size = gst_buffer_get_size (cur);
 890     if (size != 0)
 891       break;
 892     g = g_slist_next (g);
 893   }
 894
 895   /* we can quickly get the (remaining) data of the first buffer */
 896   return size - adapter->skip;
 897 }
 898
 899 /**
 900  * gst_adapter_prev_pts:
 901  * @adapter: a #GstAdapter
 902  * @distance: (out) (allow-none): pointer to location for distance, or NULL
 903  *
 904  * Get the pts that was before the current byte in the adapter. When
 905  * @distance is given, the amount of bytes between the pts and the current
 906  * position is returned.
 907  *
 908  * The pts is reset to GST_CLOCK_TIME_NONE and the distance is set to 0 when
 909  * the adapter is first created or when it is cleared. This also means that before
 910  * the first byte with a pts is removed from the adapter, the pts
 911  * and distance returned are GST_CLOCK_TIME_NONE and 0 respectively.
 912  *
 913  * Returns: The previously seen pts.
 914  */
 915 GstClockTime
 916 gst_adapter_prev_pts (GstAdapter * adapter, guint64 * distance)
 917 {
 918   g_return_val_if_fail (GST_IS_ADAPTER (adapter), GST_CLOCK_TIME_NONE);
 919
 920   if (distance)
 921     *distance = adapter->pts_distance;
 922
 923   return adapter->pts;
 924 }
 925
 926 /**
 927  * gst_adapter_prev_dts:
 928  * @adapter: a #GstAdapter
 929  * @distance: (out) (allow-none): pointer to location for distance, or NULL
 930  *
 931  * Get the dts that was before the current byte in the adapter. When
 932  * @distance is given, the amount of bytes between the dts and the current
 933  * position is returned.
 934  *
 935  * The dts is reset to GST_CLOCK_TIME_NONE and the distance is set to 0 when
 936  * the adapter is first created or when it is cleared. This also means that before
 937  * the first byte with a dts is removed from the adapter, the dts
 938  * and distance returned are GST_CLOCK_TIME_NONE and 0 respectively.
 939  *
 940  * Returns: The previously seen dts.
 941  */
 942 GstClockTime
 943 gst_adapter_prev_dts (GstAdapter * adapter, guint64 * distance)
 944 {
 945   g_return_val_if_fail (GST_IS_ADAPTER (adapter), GST_CLOCK_TIME_NONE);
 946
 947   if (distance)
 948     *distance = adapter->dts_distance;
 949
 950   return adapter->dts;
 951 }
 952
 953 /**
 954  * gst_adapter_prev_pts_at_offset:
 955  * @adapter: a #GstAdapter
 956  * @offset: the offset in the adapter at which to get timestamp
 957  * @distance: (out) (allow-none): pointer to location for distance, or NULL
 958  *
 959  * Get the pts that was before the byte at offset @offset in the adapter. When
 960  * @distance is given, the amount of bytes between the pts and the current
 961  * position is returned.
 962  *
 963  * The pts is reset to GST_CLOCK_TIME_NONE and the distance is set to 0 when
 964  * the adapter is first created or when it is cleared. This also means that before
 965  * the first byte with a pts is removed from the adapter, the pts
 966  * and distance returned are GST_CLOCK_TIME_NONE and 0 respectively.
 967  *
 968  * Since: 1.2
 969  * Returns: The previously seen pts at given offset.
 970  */
 971 GstClockTime
 972 gst_adapter_prev_pts_at_offset (GstAdapter * adapter, gsize offset,
 973     guint64 * distance)
 974 {
 975   GstBuffer *cur;
 976   GSList *g;
 977   gsize read_offset = 0;
 978   GstClockTime pts = adapter->pts;
 979
 980   g_return_val_if_fail (GST_IS_ADAPTER (adapter), GST_CLOCK_TIME_NONE);
 981   g_return_val_if_fail (offset >= 0, GST_CLOCK_TIME_NONE);
 982
 983   g = adapter->buflist;
 984
 985   while (g && read_offset < offset + adapter->skip) {
 986     cur = g->data;
 987
 988     read_offset += gst_buffer_get_size (cur);
 989     if (GST_CLOCK_TIME_IS_VALID (GST_BUFFER_PTS (cur))) {
 990       pts = GST_BUFFER_PTS (cur);
 991     }
 992
 993     g = g_slist_next (g);
 994   }
 995
 996   if (distance)
 997     *distance = adapter->dts_distance + offset;
 998
 999   return pts;
1000 }
1001
1002 /**
1003  * gst_adapter_prev_dts_at_offset:
1004  * @adapter: a #GstAdapter
1005  * @offset: the offset in the adapter at which to get timestamp
1006  * @distance: (out) (allow-none): pointer to location for distance, or NULL
1007  *
1008  * Get the dts that was before the byte at offset @offset in the adapter. When
1009  * @distance is given, the amount of bytes between the dts and the current
1010  * position is returned.
1011  *
1012  * The dts is reset to GST_CLOCK_TIME_NONE and the distance is set to 0 when
1013  * the adapter is first created or when it is cleared. This also means that before
1014  * the first byte with a dts is removed from the adapter, the dts
1015  * and distance returned are GST_CLOCK_TIME_NONE and 0 respectively.
1016  *
1017  * Since: 1.2
1018  * Returns: The previously seen dts at given offset.
1019  */
1020 GstClockTime
1021 gst_adapter_prev_dts_at_offset (GstAdapter * adapter, gsize offset,
1022     guint64 * distance)
1023 {
1024   GstBuffer *cur;
1025   GSList *g;
1026   gsize read_offset = 0;
1027   GstClockTime dts = adapter->dts;
1028
1029   g_return_val_if_fail (GST_IS_ADAPTER (adapter), GST_CLOCK_TIME_NONE);
1030   g_return_val_if_fail (offset >= 0, GST_CLOCK_TIME_NONE);
1031
1032   g = adapter->buflist;
1033
1034   while (g && read_offset < offset + adapter->skip) {
1035     cur = g->data;
1036
1037     read_offset += gst_buffer_get_size (cur);
1038     if (GST_CLOCK_TIME_IS_VALID (GST_BUFFER_DTS (cur))) {
1039       dts = GST_BUFFER_DTS (cur);
1040     }
1041
1042     g = g_slist_next (g);
1043   }
1044
1045   if (distance)
1046     *distance = adapter->dts_distance + offset;
1047
1048   return dts;
1049 }
1050
1051 /**
1052  * gst_adapter_masked_scan_uint32_peek:
1053  * @adapter: a #GstAdapter
1054  * @mask: mask to apply to data before matching against @pattern
1055  * @pattern: pattern to match (after mask is applied)
1056  * @offset: offset into the adapter data from which to start scanning, returns
1057  *          the last scanned position.
1058  * @size: number of bytes to scan from offset
1059  * @value: pointer to uint32 to return matching data
1060  *
1061  * Scan for pattern @pattern with applied mask @mask in the adapter data,
1062  * starting from offset @offset.  If a match is found, the value that matched
1063  * is returned through @value, otherwise @value is left untouched.
1064  *
1065  * The bytes in @pattern and @mask are interpreted left-to-right, regardless
1066  * of endianness.  All four bytes of the pattern must be present in the
1067  * adapter for it to match, even if the first or last bytes are masked out.
1068  *
1069  * It is an error to call this function without making sure that there is
1070  * enough data (offset+size bytes) in the adapter.
1071  *
1072  * Returns: offset of the first match, or -1 if no match was found.
1073  */
1074 gssize
1075 gst_adapter_masked_scan_uint32_peek (GstAdapter * adapter, guint32 mask,
1076     guint32 pattern, gsize offset, gsize size, guint32 * value)
1077 {
1078   GSList *g;
1079   gsize skip, bsize, i;
1080   guint32 state;
1081   GstMapInfo info;
1082   guint8 *bdata;
1083   GstBuffer *buf;
1084
1085   g_return_val_if_fail (size > 0, -1);
1086   g_return_val_if_fail (offset + size <= adapter->size, -1);
1087   g_return_val_if_fail (((~mask) & pattern) == 0, -1);
1088
1089   /* we can't find the pattern with less than 4 bytes */
1090   if (G_UNLIKELY (size < 4))
1091     return -1;
1092
1093   skip = offset + adapter->skip;
1094
1095   /* first step, do skipping and position on the first buffer */
1096   /* optimistically assume scanning continues sequentially */
1097   if (adapter->scan_entry && (adapter->scan_offset <= skip)) {
1098     g = adapter->scan_entry;
1099     skip -= adapter->scan_offset;
1100   } else {
1101     g = adapter->buflist;
1102     adapter->scan_offset = 0;
1103     adapter->scan_entry = NULL;
1104   }
1105   buf = g->data;
1106   bsize = gst_buffer_get_size (buf);
1107   while (G_UNLIKELY (skip >= bsize)) {
1108     skip -= bsize;
1109     g = g_slist_next (g);
1110     adapter->scan_offset += bsize;
1111     adapter->scan_entry = g;
1112     buf = g->data;
1113     bsize = gst_buffer_get_size (buf);
1114   }
1115   /* get the data now */
1116   if (!gst_buffer_map (buf, &info, GST_MAP_READ))
1117     return -1;
1118
1119   bdata = (guint8 *) info.data + skip;
1120   bsize = info.size - skip;
1121   skip = 0;
1122
1123   /* set the state to something that does not match */
1124   state = ~pattern;
1125
1126   /* now find data */
1127   do {
1128     bsize = MIN (bsize, size);
1129     for (i = 0; i < bsize; i++) {
1130       state = ((state << 8) | bdata[i]);
1131       if (G_UNLIKELY ((state & mask) == pattern)) {
1132         /* we have a match but we need to have skipped at
1133          * least 4 bytes to fill the state. */
1134         if (G_LIKELY (skip + i >= 3)) {
1135           if (G_LIKELY (value))
1136             *value = state;
1137           gst_buffer_unmap (buf, &info);
1138           return offset + skip + i - 3;
1139         }
1140       }
1141     }
1142     size -= bsize;
1143     if (size == 0)
1144       break;
1145
1146     /* nothing found yet, go to next buffer */
1147     skip += bsize;
1148     g = g_slist_next (g);
1149     adapter->scan_offset += info.size;
1150     adapter->scan_entry = g;
1151     gst_buffer_unmap (buf, &info);
1152     buf = g->data;
1153
1154     if (!gst_buffer_map (buf, &info, GST_MAP_READ))
1155       return -1;
1156
1157     bsize = info.size;
1158     bdata = info.data;
1159   } while (TRUE);
1160
1161   gst_buffer_unmap (buf, &info);
1162
1163   /* nothing found */
1164   return -1;
1165 }
1166
1167 /**
1168  * gst_adapter_masked_scan_uint32:
1169  * @adapter: a #GstAdapter
1170  * @mask: mask to apply to data before matching against @pattern
1171  * @pattern: pattern to match (after mask is applied)
1172  * @offset: offset into the adapter data from which to start scanning, returns
1173  *          the last scanned position.
1174  * @size: number of bytes to scan from offset
1175  *
1176  * Scan for pattern @pattern with applied mask @mask in the adapter data,
1177  * starting from offset @offset.
1178  *
1179  * The bytes in @pattern and @mask are interpreted left-to-right, regardless
1180  * of endianness.  All four bytes of the pattern must be present in the
1181  * adapter for it to match, even if the first or last bytes are masked out.
1182  *
1183  * It is an error to call this function without making sure that there is
1184  * enough data (offset+size bytes) in the adapter.
1185  *
1186  * This function calls gst_adapter_masked_scan_uint32_peek() passing NULL
1187  * for value.
1188  *
1189  * Returns: offset of the first match, or -1 if no match was found.
1190  *
1191  * Example:
1192  * <programlisting>
1193  * // Assume the adapter contains 0x00 0x01 0x02 ... 0xfe 0xff
1194  *
1195  * gst_adapter_masked_scan_uint32 (adapter, 0xffffffff, 0x00010203, 0, 256);
1196  * // -> returns 0
1197  * gst_adapter_masked_scan_uint32 (adapter, 0xffffffff, 0x00010203, 1, 255);
1198  * // -> returns -1
1199  * gst_adapter_masked_scan_uint32 (adapter, 0xffffffff, 0x01020304, 1, 255);
1200  * // -> returns 1
1201  * gst_adapter_masked_scan_uint32 (adapter, 0xffff, 0x0001, 0, 256);
1202  * // -> returns -1
1203  * gst_adapter_masked_scan_uint32 (adapter, 0xffff, 0x0203, 0, 256);
1204  * // -> returns 0
1205  * gst_adapter_masked_scan_uint32 (adapter, 0xffff0000, 0x02030000, 0, 256);
1206  * // -> returns 2
1207  * gst_adapter_masked_scan_uint32 (adapter, 0xffff0000, 0x02030000, 0, 4);
1208  * // -> returns -1
1209  * </programlisting>
1210  */
1211 gssize
1212 gst_adapter_masked_scan_uint32 (GstAdapter * adapter, guint32 mask,
1213     guint32 pattern, gsize offset, gsize size)
1214 {
1215   return gst_adapter_masked_scan_uint32_peek (adapter, mask, pattern, offset,
1216       size, NULL);
1217 }