gst/gstmemory.c

   1 /* GStreamer
   2  * Copyright (C) 2011 Wim Taymans <wim.taymans@gmail.be>
   3  *
   4  * gstmemory.c: memory block handling
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Library General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Library General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Library General Public
  17  * License along with this library; if not, write to the
  18  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  19  * Boston, MA 02111-1307, USA.
  20  */
  21
  22 /**
  23  * SECTION:gstmemory
  24  * @short_description: refcounted wrapper for memory blocks
  25  * @see_also: #GstBuffer
  26  *
  27  * GstMemory is a lightweight refcounted object that wraps a region of memory.
  28  * They are typically used to manage the data of a #GstBuffer.
  29  *
  30  * Memory is usually created by allocators with a gst_allocator_alloc()
  31  * method call. When NULL is used as the allocator, the default allocator will
  32  * be used.
  33  *
  34  * New allocators can be registered with gst_allocator_register().
  35  * Allocators are identified by name and can be retrieved with
  36  * gst_allocator_find().
  37  *
  38  * New memory can be created with gst_memory_new_wrapped() that wraps the memory
  39  * allocated elsewhere.
  40  *
  41  * Refcounting of the memory block is performed with gst_memory_ref() and
  42  * gst_memory_unref().
  43  *
  44  * The size of the memory can be retrieved and changed with
  45  * gst_memory_get_sizes() and gst_memory_resize() respectively.
  46  *
  47  * Getting access to the data of the memory is performed with gst_memory_map().
  48  * After the memory access is completed, gst_memory_unmap() should be called.
  49  *
  50  * Memory can be copied with gst_memory_copy(), which will returnn a writable
  51  * copy. gst_memory_share() will create a new memory block that shares the
  52  * memory with an existing memory block at a custom offset and with a custom
  53  * size.
  54  *
  55  * Memory can be efficiently merged when gst_memory_is_span() returns TRUE.
  56  *
  57  * Last reviewed on 2011-06-08 (0.11.0)
  58  */
  59
  60 #include "config.h"
  61 #include "gst_private.h"
  62 #include "gstmemory.h"
  63
  64 G_DEFINE_BOXED_TYPE (GstMemory, gst_memory, (GBoxedCopyFunc) gst_memory_ref,
  65     (GBoxedFreeFunc) gst_memory_unref);
  66
  67 /* buffer alignment in bytes - 1
  68  * an alignment of 7 would be the same as malloc() guarantees
  69  */
  70 #if defined(MEMORY_ALIGNMENT_MALLOC)
  71 size_t gst_memory_alignment = 7;
  72 #elif defined(MEMORY_ALIGNMENT_PAGESIZE)
  73 /* we fill this in in the _init method */
  74 size_t gst_memory_alignment = 0;
  75 #elif defined(MEMORY_ALIGNMENT)
  76 size_t gst_memory_alignment = MEMORY_ALIGNMENT - 1;
  77 #else
  78 #error "No memory alignment configured"
  79 size_t gst_memory_alignment = 0;
  80 #endif
  81
  82 struct _GstAllocator
  83 {
  84   GQuark name;
  85
  86   GstMemoryInfo info;
  87 };
  88
  89 /* default memory implementation */
  90 typedef struct
  91 {
  92   GstMemory mem;
  93   gsize slice_size;
  94   guint8 *data;
  95   GFreeFunc free_func;
  96   gsize maxsize;
  97   gsize offset;
  98   gsize size;
  99 } GstMemoryDefault;
 100
 101 /* the default allocator */
 102 static const GstAllocator *_default_allocator;
 103
 104 /* our predefined allocators */
 105 static const GstAllocator *_default_mem_impl;
 106
 107 /* initialize the fields */
 108 static void
 109 _default_mem_init (GstMemoryDefault * mem, GstMemoryFlags flags,
 110     GstMemory * parent, gsize slice_size, gpointer data,
 111     GFreeFunc free_func, gsize maxsize, gsize offset, gsize size)
 112 {
 113   mem->mem.allocator = _default_mem_impl;
 114   mem->mem.flags = flags;
 115   mem->mem.refcount = 1;
 116   mem->mem.parent = parent ? gst_memory_ref (parent) : NULL;
 117   mem->slice_size = slice_size;
 118   mem->data = data;
 119   mem->free_func = free_func;
 120   mem->maxsize = maxsize;
 121   mem->offset = offset;
 122   mem->size = size;
 123 }
 124
 125 /* create a new memory block that manages the given memory */
 126 static GstMemoryDefault *
 127 _default_mem_new (GstMemoryFlags flags, GstMemory * parent, gpointer data,
 128     GFreeFunc free_func, gsize maxsize, gsize offset, gsize size)
 129 {
 130   GstMemoryDefault *mem;
 131   gsize slice_size;
 132
 133   slice_size = sizeof (GstMemoryDefault);
 134
 135   mem = g_slice_alloc (slice_size);
 136   _default_mem_init (mem, flags, parent, slice_size,
 137       data, free_func, maxsize, offset, size);
 138
 139   return mem;
 140 }
 141
 142 /* allocate the memory and structure in one block */
 143 static GstMemoryDefault *
 144 _default_mem_new_block (gsize maxsize, gsize align, gsize offset, gsize size)
 145 {
 146   GstMemoryDefault *mem;
 147   gsize aoffset, slice_size;
 148   guint8 *data;
 149
 150   /* ensure configured alignment */
 151   align |= gst_memory_alignment;
 152   /* allocate more to compensate for alignment */
 153   maxsize += align;
 154   /* alloc header and data in one block */
 155   slice_size = sizeof (GstMemoryDefault) + maxsize;
 156
 157   mem = g_slice_alloc (slice_size);
 158   if (mem == NULL)
 159     return NULL;
 160
 161   data = (guint8 *) mem + sizeof (GstMemoryDefault);
 162
 163   if ((aoffset = ((guintptr) data & align)))
 164     aoffset = (align + 1) - aoffset;
 165
 166   _default_mem_init (mem, 0, NULL, slice_size, data, NULL, maxsize,
 167       aoffset + offset, size);
 168
 169   return mem;
 170 }
 171
 172 static GstMemory *
 173 _default_mem_alloc (const GstAllocator * allocator, gsize maxsize, gsize align)
 174 {
 175   return (GstMemory *) _default_mem_new_block (maxsize, align, 0, maxsize);
 176 }
 177
 178 static gsize
 179 _default_mem_get_sizes (GstMemoryDefault * mem, gsize * offset, gsize * maxsize)
 180 {
 181   if (offset)
 182     *offset = mem->offset;
 183   if (maxsize)
 184     *maxsize = mem->maxsize;
 185
 186   return mem->size;
 187 }
 188
 189 static void
 190 _default_mem_resize (GstMemoryDefault * mem, gssize offset, gsize size)
 191 {
 192   g_return_if_fail (size + mem->offset + offset <= mem->maxsize);
 193
 194   mem->offset += offset;
 195   mem->size = size;
 196 }
 197
 198 static gpointer
 199 _default_mem_map (GstMemoryDefault * mem, gsize * size, gsize * maxsize,
 200     GstMapFlags flags)
 201 {
 202   if (size)
 203     *size = mem->size;
 204   if (maxsize)
 205     *maxsize = mem->maxsize;
 206
 207   return mem->data + mem->offset;
 208 }
 209
 210 static gboolean
 211 _default_mem_unmap (GstMemoryDefault * mem, gpointer data, gsize size)
 212 {
 213   if (size != -1)
 214     mem->size = size;
 215   return TRUE;
 216 }
 217
 218 static void
 219 _default_mem_free (GstMemoryDefault * mem)
 220 {
 221   if (mem->mem.parent)
 222     gst_memory_unref (mem->mem.parent);
 223
 224   if (mem->free_func)
 225     mem->free_func (mem->data);
 226
 227   g_slice_free1 (mem->slice_size, mem);
 228 }
 229
 230 static GstMemoryDefault *
 231 _default_mem_copy (GstMemoryDefault * mem, gssize offset, gsize size)
 232 {
 233   GstMemoryDefault *copy;
 234
 235   if (size == -1)
 236     size = mem->size > offset ? mem->size - offset : 0;
 237
 238   copy = _default_mem_new_block (mem->maxsize, 0, mem->offset + offset, size);
 239   memcpy (copy->data, mem->data, mem->maxsize);
 240
 241   return copy;
 242 }
 243
 244 static GstMemoryDefault *
 245 _default_mem_share (GstMemoryDefault * mem, gssize offset, gsize size)
 246 {
 247   GstMemoryDefault *sub;
 248   GstMemory *parent;
 249
 250   /* find the real parent */
 251   if ((parent = mem->mem.parent) == NULL)
 252     parent = (GstMemory *) mem;
 253
 254   if (size == -1)
 255     size = mem->size - offset;
 256
 257   sub = _default_mem_new (parent->flags, parent, mem->data, NULL, mem->maxsize,
 258       mem->offset + offset, size);
 259
 260   return sub;
 261 }
 262
 263 static gboolean
 264 _default_mem_is_span (GstMemoryDefault * mem1, GstMemoryDefault * mem2,
 265     gsize * offset)
 266 {
 267
 268   if (offset) {
 269     GstMemoryDefault *parent;
 270
 271     parent = (GstMemoryDefault *) mem1->mem.parent;
 272
 273     *offset = mem1->offset - parent->offset;
 274   }
 275
 276   /* and memory is contiguous */
 277   return mem1->data + mem1->offset + mem1->size == mem2->data + mem2->offset;
 278 }
 279
 280 static GstMemory *
 281 _fallback_copy (GstMemory * mem, gssize offset, gssize size)
 282 {
 283   GstMemory *copy;
 284   guint8 *data, *dest;
 285   gsize msize;
 286
 287   data = gst_memory_map (mem, &msize, NULL, GST_MAP_READ);
 288   if (size == -1)
 289     size = msize > offset ? msize - offset : 0;
 290   /* use the same allocator as the memory we copy, FIXME, alignment?  */
 291   copy = gst_allocator_alloc (mem->allocator, size, 0);
 292   dest = gst_memory_map (copy, NULL, NULL, GST_MAP_WRITE);
 293   memcpy (dest, data + offset, size);
 294   gst_memory_unmap (copy, dest, size);
 295
 296   gst_memory_unmap (mem, data, msize);
 297
 298   return (GstMemory *) copy;
 299 }
 300
 301 static gboolean
 302 _fallback_is_span (GstMemory * mem1, GstMemory * mem2, gsize * offset)
 303 {
 304   return FALSE;
 305 }
 306
 307 static GStaticRWLock lock = G_STATIC_RW_LOCK_INIT;
 308 static GHashTable *allocators;
 309
 310 void
 311 _priv_gst_memory_initialize (void)
 312 {
 313   static const GstMemoryInfo _mem_info = {
 314     (GstMemoryAllocFunction) _default_mem_alloc,
 315     (GstMemoryGetSizesFunction) _default_mem_get_sizes,
 316     (GstMemoryResizeFunction) _default_mem_resize,
 317     (GstMemoryMapFunction) _default_mem_map,
 318     (GstMemoryUnmapFunction) _default_mem_unmap,
 319     (GstMemoryFreeFunction) _default_mem_free,
 320     (GstMemoryCopyFunction) _default_mem_copy,
 321     (GstMemoryShareFunction) _default_mem_share,
 322     (GstMemoryIsSpanFunction) _default_mem_is_span,
 323     NULL
 324   };
 325
 326   allocators = g_hash_table_new (g_str_hash, g_str_equal);
 327
 328 #ifdef HAVE_GETPAGESIZE
 329 #ifdef MEMORY_ALIGNMENT_PAGESIZE
 330   gst_memory_alignment = getpagesize () - 1;
 331 #endif
 332 #endif
 333
 334   GST_DEBUG ("memory alignment: %" G_GSIZE_FORMAT, gst_memory_alignment);
 335
 336   _default_mem_impl = gst_allocator_register (GST_ALLOCATOR_SYSMEM, &_mem_info);
 337
 338   _default_allocator = _default_mem_impl;
 339 }
 340
 341 /**
 342  * gst_memory_new_wrapped:
 343  * @flags: #GstMemoryFlags
 344  * @data: data to wrap
 345  * @free_func: function to free @data
 346  * @maxsize: allocated size of @data
 347  * @offset: offset in @data
 348  * @size: size of valid data
 349  *
 350  * Allocate a new memory block that wraps the given @data.
 351  *
 352  * Returns: a new #GstMemory.
 353  */
 354 GstMemory *
 355 gst_memory_new_wrapped (GstMemoryFlags flags, gpointer data,
 356     GFreeFunc free_func, gsize maxsize, gsize offset, gsize size)
 357 {
 358   GstMemoryDefault *mem;
 359
 360   g_return_val_if_fail (data != NULL, NULL);
 361   g_return_val_if_fail (offset + size <= maxsize, NULL);
 362
 363   mem = _default_mem_new (flags, NULL, data, free_func, maxsize, offset, size);
 364
 365   return (GstMemory *) mem;
 366 }
 367
 368 /**
 369  * gst_memory_ref:
 370  * @mem: a #GstMemory
 371  *
 372  * Increases the refcount of @mem.
 373  *
 374  * Returns: @mem with increased refcount
 375  */
 376 GstMemory *
 377 gst_memory_ref (GstMemory * mem)
 378 {
 379   g_return_val_if_fail (mem != NULL, NULL);
 380
 381   g_atomic_int_inc (&mem->refcount);
 382
 383   return mem;
 384 }
 385
 386 /**
 387  * gst_memory_unref:
 388  * @mem: a #GstMemory
 389  *
 390  * Decreases the refcount of @mem. When the refcount reaches 0, the free
 391  * function of @mem will be called.
 392  */
 393 void
 394 gst_memory_unref (GstMemory * mem)
 395 {
 396   g_return_if_fail (mem != NULL);
 397   g_return_if_fail (mem->allocator != NULL);
 398
 399   if (g_atomic_int_dec_and_test (&mem->refcount))
 400     mem->allocator->info.free (mem);
 401 }
 402
 403 /**
 404  * gst_memory_get_sizes:
 405  * @mem: a #GstMemory
 406  * @offset: pointer to offset
 407  * @maxsize: pointer to maxsize
 408  *
 409  * Get the current @size, @offset and @maxsize of @mem.
 410  *
 411  * Returns: the current sizes of @mem
 412  */
 413 gsize
 414 gst_memory_get_sizes (GstMemory * mem, gsize * offset, gsize * maxsize)
 415 {
 416   g_return_val_if_fail (mem != NULL, 0);
 417
 418   return mem->allocator->info.get_sizes (mem, offset, maxsize);
 419 }
 420
 421 /**
 422  * gst_memory_resize:
 423  * @mem: a #GstMemory
 424  * @offset: a new offset
 425  * @size: a new size
 426  *
 427  * Resize the memory region. @mem should be writable and offset + size should be
 428  * less than the maxsize of @mem.
 429  */
 430 void
 431 gst_memory_resize (GstMemory * mem, gssize offset, gsize size)
 432 {
 433   g_return_if_fail (mem != NULL);
 434   g_return_if_fail (GST_MEMORY_IS_WRITABLE (mem));
 435
 436   mem->allocator->info.resize (mem, offset, size);
 437 }
 438
 439 /**
 440  * gst_memory_map:
 441  * @mem: a #GstMemory
 442  * @size: (out) (allow-none): pointer for size
 443  * @maxsize: (out) (allow-none): pointer for maxsize
 444  * @flags: mapping flags
 445  *
 446  * Get a pointer to the memory of @mem that can be accessed according to @flags.
 447  *
 448  * @size and @maxsize will contain the size of the memory and the maximum
 449  * allocated memory of @mem respectively. They can be set to NULL.
 450  *
 451  * Returns: (transfer none): a pointer to the memory of @mem.
 452  */
 453 gpointer
 454 gst_memory_map (GstMemory * mem, gsize * size, gsize * maxsize,
 455     GstMapFlags flags)
 456 {
 457   g_return_val_if_fail (mem != NULL, NULL);
 458   g_return_val_if_fail (!(flags & GST_MAP_WRITE) ||
 459       GST_MEMORY_IS_WRITABLE (mem), NULL);
 460
 461   return mem->allocator->info.map (mem, size, maxsize, flags);
 462 }
 463
 464 /**
 465  * gst_memory_unmap:
 466  * @mem: a #GstMemory
 467  * @data: data to unmap
 468  * @size: new size of @mem, or -1
 469  *
 470  * Release the memory pointer obtained with gst_memory_map() and set the size of
 471  * the memory to @size. @size can be set to -1 when the size should not be
 472  * updated.
 473  *
 474  * Returns: TRUE when the memory was release successfully.
 475  */
 476 gboolean
 477 gst_memory_unmap (GstMemory * mem, gpointer data, gssize size)
 478 {
 479   g_return_val_if_fail (mem != NULL, FALSE);
 480
 481   return mem->allocator->info.unmap (mem, data, size);
 482 }
 483
 484 /**
 485  * gst_memory_copy:
 486  * @mem: a #GstMemory
 487  * @offset: an offset to copy
 488  * @size: size to copy or -1 to copy all bytes from offset
 489  *
 490  * Return a copy of @size bytes from @mem starting from @offset. This copy is
 491  * guaranteed to be writable. @size can be set to -1 to return a copy all bytes
 492  * from @offset.
 493  *
 494  * Returns: a new #GstMemory.
 495  */
 496 GstMemory *
 497 gst_memory_copy (GstMemory * mem, gssize offset, gssize size)
 498 {
 499   g_return_val_if_fail (mem != NULL, NULL);
 500
 501   return mem->allocator->info.copy (mem, offset, size);
 502 }
 503
 504 /**
 505  * gst_memory_share:
 506  * @mem: a #GstMemory
 507  * @offset: an offset to share
 508  * @size: size to share or -1 to share bytes from offset
 509  *
 510  * Return a shared copy of @size bytes from @mem starting from @offset. No
 511  * memory copy is performed and the memory region is simply shared. The result
 512  * is guaranteed to be not-writable. @size can be set to -1 to return a share
 513  * all bytes from @offset.
 514  *
 515  * Returns: a new #GstMemory.
 516  */
 517 GstMemory *
 518 gst_memory_share (GstMemory * mem, gssize offset, gssize size)
 519 {
 520   g_return_val_if_fail (mem != NULL, NULL);
 521
 522   return mem->allocator->info.share (mem, offset, size);
 523 }
 524
 525 /**
 526  * gst_memory_is_span:
 527  * @mem1: a #GstMemory
 528  * @mem2: a #GstMemory
 529  * @offset: a pointer to a result offset
 530  *
 531  * Check if @mem1 and mem2 share the memory with a common parent memory object
 532  * and that the memory is contiguous.
 533  *
 534  * If this is the case, the memory of @mem1 and @mem2 can be merged
 535  * efficiently by performing gst_memory_share() on the parent object from
 536  * the returned @offset.
 537  *
 538  * Returns: %TRUE if the memory is contiguous and of a common parent.
 539  */
 540 gboolean
 541 gst_memory_is_span (GstMemory * mem1, GstMemory * mem2, gsize * offset)
 542 {
 543   g_return_val_if_fail (mem1 != NULL, FALSE);
 544   g_return_val_if_fail (mem2 != NULL, FALSE);
 545
 546   /* need to have the same allocators */
 547   if (mem1->allocator != mem2->allocator)
 548     return FALSE;
 549
 550   /* need to have the same parent */
 551   if (mem1->parent == NULL || mem1->parent != mem2->parent)
 552     return FALSE;
 553
 554   /* and memory is contiguous */
 555   if (!mem1->allocator->info.is_span (mem1, mem2, offset))
 556     return FALSE;
 557
 558   return TRUE;
 559 }
 560
 561 /**
 562  * gst_allocator_register:
 563  * @name: the name of the allocator
 564  * @info: #GstMemoryInfo
 565  *
 566  * Registers the memory allocator with @name and implementation functions
 567  * @info.
 568  *
 569  * All functions in @info are mandatory exept the copy and is_span
 570  * functions, which will have a default implementation when left NULL.
 571  *
 572  * The user_data field in @info will be passed to all calls of the alloc
 573  * function.
 574  *
 575  * Returns: a new #GstAllocator.
 576  */
 577 const GstAllocator *
 578 gst_allocator_register (const gchar * name, const GstMemoryInfo * info)
 579 {
 580   GstAllocator *allocator;
 581
 582 #define INSTALL_FALLBACK(_t) \
 583   if (allocator->info._t == NULL) allocator->info._t = _fallback_ ##_t;
 584
 585   g_return_val_if_fail (name != NULL, NULL);
 586   g_return_val_if_fail (info != NULL, NULL);
 587   g_return_val_if_fail (info->alloc != NULL, NULL);
 588   g_return_val_if_fail (info->get_sizes != NULL, NULL);
 589   g_return_val_if_fail (info->resize != NULL, NULL);
 590   g_return_val_if_fail (info->map != NULL, NULL);
 591   g_return_val_if_fail (info->unmap != NULL, NULL);
 592   g_return_val_if_fail (info->free != NULL, NULL);
 593   g_return_val_if_fail (info->share != NULL, NULL);
 594
 595   allocator = g_slice_new (GstAllocator);
 596   allocator->name = g_quark_from_string (name);
 597   allocator->info = *info;
 598   INSTALL_FALLBACK (copy);
 599   INSTALL_FALLBACK (is_span);
 600 #undef INSTALL_FALLBACK
 601
 602   GST_DEBUG ("registering allocator \"%s\"", name);
 603
 604   g_static_rw_lock_writer_lock (&lock);
 605   g_hash_table_insert (allocators, (gpointer) name, (gpointer) allocator);
 606   g_static_rw_lock_writer_unlock (&lock);
 607
 608   return allocator;
 609 }
 610
 611 /**
 612  * gst_allocator_find:
 613  * @name: the name of the allocator
 614  *
 615  * Find a previously registered allocator with @name. When @name is NULL, the
 616  * default allocator will be returned.
 617  *
 618  * Returns: a #GstAllocator or NULL when the allocator with @name was not
 619  * registered.
 620  */
 621 const GstAllocator *
 622 gst_allocator_find (const gchar * name)
 623 {
 624   const GstAllocator *allocator;
 625
 626   g_static_rw_lock_reader_lock (&lock);
 627   if (name) {
 628     allocator = g_hash_table_lookup (allocators, (gconstpointer) name);
 629   } else {
 630     allocator = _default_allocator;
 631   }
 632   g_static_rw_lock_reader_unlock (&lock);
 633
 634   return allocator;
 635 }
 636
 637 /**
 638  * gst_allocator_set_default:
 639  * @allocator: a #GstAllocator
 640  *
 641  * Set the default allocator.
 642  */
 643 void
 644 gst_allocator_set_default (const GstAllocator * allocator)
 645 {
 646   g_return_if_fail (allocator != NULL);
 647
 648   g_static_rw_lock_writer_lock (&lock);
 649   _default_allocator = allocator;
 650   g_static_rw_lock_writer_unlock (&lock);
 651 }
 652
 653 /**
 654  * gst_allocator_alloc:
 655  * @allocator: (transfer none) (allow-none): a #GstAllocator to use
 656  * @maxsize: allocated size of @data
 657  * @align: alignment for the data
 658  *
 659  * Use @allocator to allocate a new memory block with memory that is at least
 660  * @maxsize big and has the given alignment.
 661  *
 662  * When @allocator is NULL, the default allocator will be used.
 663  *
 664  * @align is given as a bitmask so that @align + 1 equals the amount of bytes to
 665  * align to. For example, to align to 8 bytes, use an alignment of 7.
 666  *
 667  * Returns: (transfer full): a new #GstMemory.
 668  */
 669 GstMemory *
 670 gst_allocator_alloc (const GstAllocator * allocator, gsize maxsize, gsize align)
 671 {
 672   g_return_val_if_fail (((align + 1) & align) == 0, NULL);
 673
 674   if (allocator == NULL)
 675     allocator = _default_allocator;
 676
 677   return allocator->info.alloc (allocator, maxsize, align,
 678       allocator->info.user_data);
 679 }