src/third_party/WebKit/Source/modules/webaudio/MediaElementAudioSourceNode.cpp

   1 /*
   2  * Copyright (C) 2011, Google Inc. All rights reserved.
   3  *
   4  * Redistribution and use in source and binary forms, with or without
   5  * modification, are permitted provided that the following conditions
   6  * are met:
   7  * 1.  Redistributions of source code must retain the above copyright
   8  *    notice, this list of conditions and the following disclaimer.
   9  * 2.  Redistributions in binary form must reproduce the above copyright
  10  *    notice, this list of conditions and the following disclaimer in the
  11  *    documentation and/or other materials provided with the distribution.
  12  *
  13  * THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS ``AS IS'' AND ANY
  14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  15  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  16  * DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS BE LIABLE FOR ANY
  17  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  18  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  19  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON
  20  * ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  21  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  22  * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  23  */
  24
  25 #include "config.h"
  26
  27 #if ENABLE(WEB_AUDIO)
  28
  29 #include "modules/webaudio/MediaElementAudioSourceNode.h"
  30
  31 #include "core/html/HTMLMediaElement.h"
  32 #include "modules/webaudio/AudioContext.h"
  33 #include "modules/webaudio/AudioNodeOutput.h"
  34 #include "platform/Logging.h"
  35 #include "platform/graphics/media/MediaPlayer.h"
  36 #include "wtf/Locker.h"
  37
  38 // These are somewhat arbitrary limits, but we need to do some kind of sanity-checking.
  39 const unsigned minSampleRate = 8000;
  40 const unsigned maxSampleRate = 192000;
  41
  42 namespace WebCore {
  43
  44 PassRefPtrWillBeRawPtr<MediaElementAudioSourceNode> MediaElementAudioSourceNode::create(AudioContext* context, HTMLMediaElement* mediaElement)
  45 {
  46     return adoptRefWillBeNoop(new MediaElementAudioSourceNode(context, mediaElement));
  47 }
  48
  49 MediaElementAudioSourceNode::MediaElementAudioSourceNode(AudioContext* context, HTMLMediaElement* mediaElement)
  50     : AudioSourceNode(context, context->sampleRate())
  51     , m_mediaElement(mediaElement)
  52     , m_sourceNumberOfChannels(0)
  53     , m_sourceSampleRate(0)
  54 {
  55     ScriptWrappable::init(this);
  56     // Default to stereo. This could change depending on what the media element .src is set to.
  57     addOutput(adoptPtr(new AudioNodeOutput(this, 2)));
  58
  59     setNodeType(NodeTypeMediaElementAudioSource);
  60
  61     initialize();
  62 }
  63
  64 MediaElementAudioSourceNode::~MediaElementAudioSourceNode()
  65 {
  66     m_mediaElement->setAudioSourceNode(0);
  67     uninitialize();
  68 }
  69
  70 void MediaElementAudioSourceNode::setFormat(size_t numberOfChannels, float sourceSampleRate)
  71 {
  72     if (numberOfChannels != m_sourceNumberOfChannels || sourceSampleRate != m_sourceSampleRate) {
  73         if (!numberOfChannels || numberOfChannels > AudioContext::maxNumberOfChannels() || sourceSampleRate < minSampleRate || sourceSampleRate > maxSampleRate) {
  74             // process() will generate silence for these uninitialized values.
  75             WTF_LOG(Media, "MediaElementAudioSourceNode::setFormat(%u, %f) - unhandled format change", static_cast<unsigned>(numberOfChannels), sourceSampleRate);
  76             m_sourceNumberOfChannels = 0;
  77             m_sourceSampleRate = 0;
  78             return;
  79         }
  80
  81         m_sourceNumberOfChannels = numberOfChannels;
  82         m_sourceSampleRate = sourceSampleRate;
  83
  84         // Synchronize with process().
  85         Locker<MediaElementAudioSourceNode> locker(*this);
  86
  87         if (sourceSampleRate != sampleRate()) {
  88             double scaleFactor = sourceSampleRate / sampleRate();
  89             m_multiChannelResampler = adoptPtr(new MultiChannelResampler(scaleFactor, numberOfChannels));
  90         } else {
  91             // Bypass resampling.
  92             m_multiChannelResampler.clear();
  93         }
  94
  95         {
  96             // The context must be locked when changing the number of output channels.
  97             AudioContext::AutoLocker contextLocker(context());
  98
  99             // Do any necesssary re-configuration to the output's number of channels.
 100             output(0)->setNumberOfChannels(numberOfChannels);
 101         }
 102     }
 103 }
 104
 105 void MediaElementAudioSourceNode::process(size_t numberOfFrames)
 106 {
 107     AudioBus* outputBus = output(0)->bus();
 108
 109     if (!mediaElement() || !m_sourceNumberOfChannels || !m_sourceSampleRate) {
 110         outputBus->zero();
 111         return;
 112     }
 113
 114     // Use a tryLock() to avoid contention in the real-time audio thread.
 115     // If we fail to acquire the lock then the HTMLMediaElement must be in the middle of
 116     // reconfiguring its playback engine, so we output silence in this case.
 117     MutexTryLocker tryLocker(m_processLock);
 118     if (tryLocker.locked()) {
 119         if (AudioSourceProvider* provider = mediaElement()->audioSourceProvider()) {
 120             if (m_multiChannelResampler.get()) {
 121                 ASSERT(m_sourceSampleRate != sampleRate());
 122                 m_multiChannelResampler->process(provider, outputBus, numberOfFrames);
 123             } else {
 124                 // Bypass the resampler completely if the source is at the context's sample-rate.
 125                 ASSERT(m_sourceSampleRate == sampleRate());
 126                 provider->provideInput(outputBus, numberOfFrames);
 127             }
 128         } else {
 129             // Either this port doesn't yet support HTMLMediaElement audio stream access,
 130             // or the stream is not yet available.
 131             outputBus->zero();
 132         }
 133     } else {
 134         // We failed to acquire the lock.
 135         outputBus->zero();
 136     }
 137 }
 138
 139 void MediaElementAudioSourceNode::lock()
 140 {
 141     ref();
 142     m_processLock.lock();
 143 }
 144
 145 void MediaElementAudioSourceNode::unlock()
 146 {
 147     m_processLock.unlock();
 148     deref();
 149 }
 150
 151 } // namespace WebCore
 152
 153 #endif // ENABLE(WEB_AUDIO)