[3.0] Combine StencilMode and WriteToColorBuffer to RenderMode
[platform/core/uifw/dali-core.git] / dali / internal / render / common / render-algorithms.cpp
index 95c0cae..ce56324 100644 (file)
@@ -85,7 +85,7 @@ inline void SetScissorTest( const RenderList& renderList, Context& context )
  * @param[in] depthTestEnabled True if depth test is enabled for the layer
  * @param[in] isLayer3D True if the layer is a 3D layer
  */
-inline void SetRenderFlags( const RenderList& renderList, Context& context, bool depthTestEnabled, bool isLayer3D )
+inline void SetRenderFlags( const RenderList& renderList, Context& context, bool depthTestEnabled )
 {
   const unsigned int renderFlags = renderList.GetFlags();
   GLbitfield clearMask = 0u;
@@ -108,20 +108,18 @@ inline void SetRenderFlags( const RenderList& renderList, Context& context, bool
   }
 
   // Enable and Clear the depth buffer if required.
-  // DepthTest must be enabled for the layer, else testing is turned off.
-  if( !depthTestEnabled )
+  if( depthTestEnabled )
   {
-    context.EnableDepthBuffer( false );
-  }
-  else if( renderList.HasColorRenderItems() || isLayer3D ) // Also, within the context of this if(), depth test is enabled.
-  {
-
     clearMask |= GL_DEPTH_BUFFER_BIT;
+
     // We need to enable the depth buffer to clear it.
     // Subsequently it is enabled and disabled on a per-RenderItem basis.
-    // If we do not have color renderers, this is only done for 3D layers.
     context.EnableDepthBuffer( true );
   }
+  else
+  {
+    context.EnableDepthBuffer( false );
+  }
 
   // Clear Depth and/or stencil buffers as required.
   // Note: The buffers will only be cleared if written to since a previous clear.
@@ -146,10 +144,12 @@ inline void SetupPerRendererFlags( const RenderItem& item, Context& context, boo
 
   // Setup the color buffer based on the renderers properties.
   Renderer *renderer = item.mRenderer;
-  context.ColorMask( renderer->GetWriteToColorBuffer() );
+  RenderMode::Type renderMode = renderer->GetRenderMode();
+  const bool writeToColorBuffer = ( renderMode == RenderMode::AUTO ) || ( renderMode == RenderMode::COLOR ) || ( renderMode == RenderMode::COLOR_STENCIL );
+  context.ColorMask( writeToColorBuffer );
 
   // If the stencil buffer is disabled for this renderer, exit now to save unnecessary value setting.
-  if( renderer->GetStencilMode() != StencilMode::ON )
+  if( ( renderMode != RenderMode::STENCIL ) && ( renderMode != RenderMode::COLOR_STENCIL ) )
   {
     // No per-renderer stencil setup, exit.
     context.EnableStencilBuffer( false );
@@ -184,21 +184,21 @@ inline void SetupPerRendererFlags( const RenderItem& item, Context& context, boo
  * If AUTO is selected for writing, the decision will be based on the items opacity.
  * @param item The RenderItem to set up the depth buffer for
  * @param context The context used to execute GL commands.
- * @param isLayer3D True if the layer behavior is set to LAYER_3D
+ * @param depthTestEnabled True if depth testing has been enabled.
  */
-inline void SetupDepthBuffer( const RenderItem& item, Context& context, bool isLayer3D )
+inline void SetupDepthBuffer( const RenderItem& item, Context& context, bool depthTestEnabled )
 {
   // Set up whether or not to write to the depth buffer.
   const DepthWriteMode::Type depthWriteMode = item.mRenderer->GetDepthWriteMode();
   // Most common mode (AUTO) is tested first.
-  bool enableDepthWrite = ( ( depthWriteMode == DepthWriteMode::AUTO ) && item.mIsOpaque ) ||
+  bool enableDepthWrite = ( ( depthWriteMode == DepthWriteMode::AUTO ) && depthTestEnabled && item.mIsOpaque ) ||
                           ( depthWriteMode == DepthWriteMode::ON );
   context.DepthMask( enableDepthWrite );
 
   // Set up whether or not to read from (test) the depth buffer.
   const DepthTestMode::Type depthTestMode = item.mRenderer->GetDepthTestMode();
   // Most common mode (AUTO) is tested first.
-  bool enableDepthTest = ( ( depthTestMode == DepthTestMode::AUTO ) && isLayer3D ) ||
+  bool enableDepthTest = ( ( depthTestMode == DepthTestMode::AUTO ) && depthTestEnabled ) ||
                          ( depthTestMode == DepthTestMode::ON );
   // Look-up the GL depth function from the Dali::DepthFunction enum, and set it.
   context.DepthFunc( DaliDepthToGLDepthTable[ item.mRenderer->GetDepthFunction() ] );
@@ -227,45 +227,29 @@ inline void ProcessRenderList(
 {
   DALI_PRINT_RENDER_LIST( renderList );
 
-  bool depthTestEnabled = !( renderList.GetSourceLayer()->IsDepthTestDisabled() );
-  bool isLayer3D = renderList.GetSourceLayer()->GetBehavior() == Dali::Layer::LAYER_3D;
+  bool autoDepthTestMode = !( renderList.GetSourceLayer()->IsDepthTestDisabled() ) && renderList.HasColorRenderItems();
   bool usedStencilBuffer = false;
   bool stencilManagedByDrawMode = renderList.GetFlags() & RenderList::STENCIL_BUFFER_ENABLED;
 
   SetScissorTest( renderList, context );
-  SetRenderFlags( renderList, context, depthTestEnabled, isLayer3D );
+  SetRenderFlags( renderList, context, autoDepthTestMode );
 
-  // The Layers depth enabled flag overrides the per-renderer depth flags.
-  // So if depth test is disabled at the layer level, we ignore per-render flags.
-  // Note: Overlay renderers will not read or write from the depth buffer.
-  if( DALI_LIKELY( !renderList.HasColorRenderItems() || !depthTestEnabled ) )
+  const size_t count = renderList.Count();
+  for ( size_t index = 0; index < count; ++index )
   {
-    size_t count = renderList.Count();
-    for ( size_t index = 0; index < count; ++index )
-    {
-      const RenderItem& item = renderList.GetItem( index );
-      DALI_PRINT_RENDER_ITEM( item );
-
-      SetupPerRendererFlags( item, context, usedStencilBuffer, stencilManagedByDrawMode );
-      item.mRenderer->Render( context, textureCache, bufferIndex, *item.mNode, defaultShader,
-                              item.mModelMatrix, item.mModelViewMatrix, viewMatrix, projectionMatrix, item.mSize, !item.mIsOpaque );
-    }
-  }
-  else
-  {
-    size_t count = renderList.Count();
-    for ( size_t index = 0; index < count; ++index )
-    {
-      const RenderItem& item = renderList.GetItem( index );
-      DALI_PRINT_RENDER_ITEM( item );
-
-      // Set up the depth buffer based on per-renderer flags.
-      SetupDepthBuffer( item, context, isLayer3D );
-      SetupPerRendererFlags( item, context, usedStencilBuffer, stencilManagedByDrawMode );
-
-      item.mRenderer->Render( context, textureCache, bufferIndex, *item.mNode, defaultShader,
-                              item.mModelMatrix, item.mModelViewMatrix, viewMatrix, projectionMatrix, item.mSize, !item.mIsOpaque );
-    }
+    const RenderItem& item = renderList.GetItem( index );
+    DALI_PRINT_RENDER_ITEM( item );
+
+    // Set up the depth buffer based on per-renderer flags.
+    // If the per renderer flags are set to "ON" or "OFF", they will always override any Layer depth mode or
+    // draw-mode state, such as Overlays.
+    // If the flags are set to "AUTO", the behaviour then depends on the type of renderer. Overlay Renderers will always
+    // disable depth testing and writing. Color Renderers will enable them if the Layer does.
+    SetupDepthBuffer( item, context, autoDepthTestMode );
+    SetupPerRendererFlags( item, context, usedStencilBuffer, stencilManagedByDrawMode );
+
+    item.mRenderer->Render( context, textureCache, bufferIndex, *item.mNode, defaultShader,
+                            item.mModelMatrix, item.mModelViewMatrix, viewMatrix, projectionMatrix, item.mSize, !item.mIsOpaque );
   }
 }