draw: add vertex shader run_linear function
authorKeith Whitwell <keith@tungstengraphics.com>
Thu, 17 Apr 2008 13:20:00 +0000 (14:20 +0100)
committerKeith Whitwell <keith@tungstengraphics.com>
Thu, 17 Apr 2008 13:23:13 +0000 (14:23 +0100)
15 files changed:
src/gallium/auxiliary/draw/draw_aapoint.c
src/gallium/auxiliary/draw/draw_clip.c
src/gallium/auxiliary/draw/draw_context.c
src/gallium/auxiliary/draw/draw_flatshade.c
src/gallium/auxiliary/draw/draw_private.h
src/gallium/auxiliary/draw/draw_pt_fetch_pipeline.c
src/gallium/auxiliary/draw/draw_pt_fetch_shade_pipeline.c
src/gallium/auxiliary/draw/draw_twoside.c
src/gallium/auxiliary/draw/draw_vertex_fetch.c
src/gallium/auxiliary/draw/draw_vertex_shader.c
src/gallium/auxiliary/draw/draw_vs.h
src/gallium/auxiliary/draw/draw_vs_exec.c
src/gallium/auxiliary/draw/draw_vs_llvm.c
src/gallium/auxiliary/draw/draw_vs_sse.c
src/gallium/auxiliary/draw/draw_wide_point.c

index fcebe3e..e84d380 100644 (file)
@@ -48,7 +48,7 @@
 #include "tgsi/util/tgsi_dump.h"
 
 #include "draw_context.h"
-#include "draw_private.h"
+#include "draw_vs.h"
 
 
 /*
index e24c5d8..0ac3a24 100644 (file)
@@ -36,7 +36,7 @@
 #include "pipe/p_shader_tokens.h"
 
 #include "draw_context.h"
-#include "draw_private.h"
+#include "draw_vs.h"
 
 
 #ifndef IS_NEGATIVE
index cdcbfdc..9b2dcc0 100644 (file)
@@ -33,8 +33,8 @@
 
 #include "pipe/p_util.h"
 #include "draw_context.h"
-#include "draw_private.h"
 #include "draw_vbuf.h"
+#include "draw_vs.h"
 
 
 struct draw_context *draw_create( void )
@@ -108,6 +108,8 @@ struct draw_context *draw_create( void )
    draw_vertex_cache_invalidate( draw );
    draw_set_mapped_element_buffer( draw, 0, NULL );
 
+   tgsi_exec_machine_init(&draw->machine);
+
    if (!draw_pt_init( draw ))
       goto fail;
 
@@ -460,3 +462,16 @@ boolean draw_get_edgeflag( struct draw_context *draw,
    else
       return 1;
 }
+
+
+#if 0
+/* Crufty init function.  Fix me.
+ */
+boolean draw_init_machine( struct draw_context *draw )
+{
+   ALIGN16_DECL(struct tgsi_exec_vector, inputs, PIPE_MAX_ATTRIBS);
+   ALIGN16_DECL(struct tgsi_exec_vector, outputs, PIPE_MAX_ATTRIBS);
+   machine->Inputs = ALIGN16_ASSIGN(inputs);
+   machine->Outputs = ALIGN16_ASSIGN(outputs);
+}
+#endif
index af2cb05..54baa1f 100644 (file)
@@ -30,7 +30,7 @@
 
 #include "pipe/p_util.h"
 #include "pipe/p_shader_tokens.h"
-#include "draw_private.h"
+#include "draw_vs.h"
 
 
 /** subclass of draw_stage */
index 359a8b8..7953dbb 100644 (file)
@@ -55,6 +55,7 @@ struct gallivm_cpu_engine;
 
 struct draw_pt_middle_end;
 struct draw_pt_front_end;
+struct draw_vertex_shader;
 
 #define MAX_SHADER_VERTICES 128
 
@@ -132,33 +133,6 @@ struct draw_stage
 #define VCACHE_OVERFLOW        4
 #define VS_QUEUE_LENGTH        (VCACHE_SIZE + VCACHE_OVERFLOW + 1)     /* can never fill up */
 
-/**
- * Private version of the compiled vertex_shader
- */
-struct draw_vertex_shader {
-
-   /* This member will disappear shortly:
-    */
-   struct pipe_shader_state   state;
-
-   struct tgsi_shader_info info;
-
-   void (*prepare)( struct draw_vertex_shader *shader,
-                   struct draw_context *draw );
-
-   /* Run the shader - this interface will get cleaned up in the
-    * future:
-    */
-   boolean (*run)( struct draw_vertex_shader *shader,
-                   struct draw_context *draw,
-                   const unsigned *elts,
-                   unsigned count,
-                   void *out,
-                   unsigned vertex_size);
-
-
-   void (*delete)( struct draw_vertex_shader * );
-};
 
 
 /* Internal function for vertex fetch.
index db6d6c7..79548d4 100644 (file)
@@ -32,9 +32,9 @@
 
 #include "pipe/p_util.h"
 #include "draw/draw_context.h"
-#include "draw/draw_private.h"
 #include "draw/draw_vertex.h"
 #include "draw/draw_pt.h"
+#include "draw/draw_vs.h"
 
 /* The simplest 'middle end' in the new vertex code.  
  * 
index a66e8b0..cf37493 100644 (file)
 
 #include "pipe/p_util.h"
 #include "draw/draw_context.h"
-#include "draw/draw_private.h"
 #include "draw/draw_vbuf.h"
 #include "draw/draw_vertex.h"
 #include "draw/draw_pt.h"
+#include "draw/draw_vs.h"
 #include "translate/translate.h"
 
 
index 3debaac..01d905c 100644 (file)
@@ -31,7 +31,7 @@
 #include "pipe/p_util.h"
 #include "pipe/p_defines.h"
 #include "pipe/p_shader_tokens.h"
-#include "draw_private.h"
+#include "draw_vs.h"
 
 
 struct twoside_stage {
index 9041041..0bc2fcb 100644 (file)
@@ -32,7 +32,7 @@
 
 #include "pipe/p_util.h"
 #include "pipe/p_shader_tokens.h"
-#include "draw_private.h"
+#include "draw_vs.h"
 #include "draw_context.h"
 
 
index 8572a6d..c0c17c1 100644 (file)
@@ -95,10 +95,8 @@ draw_create_vertex_shader(struct draw_context *draw,
          vs = draw_create_vs_exec( draw, shader );
       }
    }
-   assert(vs);
-
-   tgsi_scan_shader(shader->tokens, &vs->info);
 
+   assert(vs);
    return vs;
 }
 
@@ -113,9 +111,6 @@ draw_bind_vertex_shader(struct draw_context *draw,
    {
       draw->vertex_shader = dvs;
       draw->num_vs_outputs = dvs->info.num_outputs;
-
-      tgsi_exec_machine_init(&draw->machine);
-
       dvs->prepare( dvs, draw );
    }
    else {
index 33ce1e3..e88d00e 100644 (file)
 #include "draw_private.h"
 
 
-struct draw_vertex_shader;
 struct draw_context;
 struct pipe_shader_state;
 
+/**
+ * Private version of the compiled vertex_shader
+ */
+struct draw_vertex_shader {
+
+   /* This member will disappear shortly:
+    */
+   struct pipe_shader_state   state;
+
+   struct tgsi_shader_info info;
+
+   void (*prepare)( struct draw_vertex_shader *shader,
+                   struct draw_context *draw );
+
+   /* Run the shader - this interface will get cleaned up in the
+    * future:
+    */
+   boolean (*run)( struct draw_vertex_shader *shader,
+                   struct draw_context *draw,
+                   const unsigned *elts,
+                   unsigned count,
+                   void *out,
+                   unsigned vertex_size);
+
+   void (*run_linear)( struct draw_vertex_shader *shader,
+                      const float (*input)[4],
+                      float (*output)[4],
+                      const float (*constants)[4],
+                      unsigned count,
+                      unsigned input_stride,
+                      unsigned output_stride );
+
+
+   void (*delete)( struct draw_vertex_shader * );
+};
+
+
 struct draw_vertex_shader *
 draw_create_vs_exec(struct draw_context *draw,
                    const struct pipe_shader_state *templ);
@@ -79,5 +115,7 @@ compute_clipmask(const float *clip, /*const*/ float plane[][4], unsigned nr)
    return mask;
 }
 
+#define MAX_TGSI_VERTICES 4
+   
 
 #endif
index 5c88c2e..0e05b79 100644 (file)
 
 #include "tgsi/util/tgsi_parse.h"
 
-#define MAX_TGSI_VERTICES 4
 
+struct exec_vertex_shader {
+   struct draw_vertex_shader base;
+   struct tgsi_exec_machine *machine;
+};
+
+static struct exec_vertex_shader *exec_vertex_shader( struct draw_vertex_shader *vs )
+{
+   return (struct exec_vertex_shader *)vs;
+}
+
+
+/* Not required for run_linear.
+ */
 static void
 vs_exec_prepare( struct draw_vertex_shader *shader,
                 struct draw_context *draw )
@@ -81,10 +93,9 @@ vs_exec_run( struct draw_vertex_shader *shader,
    const float *scale = draw->viewport.scale;
    const float *trans = draw->viewport.translate;
 
-   assert(draw->vertex_shader->info.output_semantic_name[0]
-          == TGSI_SEMANTIC_POSITION);
+   assert(shader->info.output_semantic_name[0] == TGSI_SEMANTIC_POSITION);
 
-   machine->Consts = (float (*)[4]) draw->user.constants;
+   machine->Consts = (const float (*)[4]) draw->user.constants;
    machine->Inputs = ALIGN16_ASSIGN(inputs);
    if (draw->rasterizer->bypass_vs) {
       /* outputs are just the inputs */
@@ -179,6 +190,64 @@ vs_exec_run( struct draw_vertex_shader *shader,
 
 
 
+/* Simplified vertex shader interface for the pt paths.  Given the
+ * complexity of code-generating all the above operations together,
+ * it's time to try doing all the other stuff separately.
+ */
+static void
+vs_exec_run_linear( struct draw_vertex_shader *shader,
+                   const float (*input)[4],
+                   float (*output)[4],
+                   const float (*constants)[4],
+                   unsigned count,
+                   unsigned input_stride,
+                   unsigned output_stride )
+{
+   struct exec_vertex_shader *evs = exec_vertex_shader(shader);
+   struct tgsi_exec_machine *machine = evs->machine;
+   unsigned int i, j;
+   unsigned slot;
+
+   machine->Consts = constants;
+
+   for (i = 0; i < count; i += MAX_TGSI_VERTICES) {
+      unsigned int max_vertices = MIN2(MAX_TGSI_VERTICES, count - i);
+
+      /* Swizzle inputs.  
+       */
+      for (j = 0; j < max_vertices; j++) {
+         for (slot = 0; slot < shader->info.num_inputs; slot++) {
+            machine->Inputs[slot].xyzw[0].f[j] = input[slot][0];
+            machine->Inputs[slot].xyzw[1].f[j] = input[slot][1];
+            machine->Inputs[slot].xyzw[2].f[j] = input[slot][2];
+            machine->Inputs[slot].xyzw[3].f[j] = input[slot][3];
+         }
+      } 
+
+      /* run interpreter */
+      tgsi_exec_machine_run( machine );
+
+      /* Unswizzle all output results.  
+       */
+      for (j = 0; j < max_vertices; j++) {
+         for (slot = 0; slot < shader->info.num_outputs; slot++) {
+            output[slot][0] = machine->Outputs[slot].xyzw[0].f[j];
+            output[slot][1] = machine->Outputs[slot].xyzw[1].f[j];
+            output[slot][2] = machine->Outputs[slot].xyzw[2].f[j];
+            output[slot][3] = machine->Outputs[slot].xyzw[3].f[j];
+         }
+      } 
+
+      /* Advance input, output pointers: 
+       */
+      input = (const float (*)[4])((const char *)input + input_stride);
+      output = (float (*)[4])((char *)output + output_stride);
+   }
+}
+
+
+
+
 static void
 vs_exec_delete( struct draw_vertex_shader *dvs )
 {
@@ -191,17 +260,23 @@ struct draw_vertex_shader *
 draw_create_vs_exec(struct draw_context *draw,
                    const struct pipe_shader_state *state)
 {
-   struct draw_vertex_shader *vs = CALLOC_STRUCT( draw_vertex_shader );
+   struct exec_vertex_shader *vs = CALLOC_STRUCT( exec_vertex_shader );
    uint nt = tgsi_num_tokens(state->tokens);
 
    if (vs == NULL) 
       return NULL;
 
    /* we make a private copy of the tokens */
-   vs->state.tokens = mem_dup(state->tokens, nt * sizeof(state->tokens[0]));
-   vs->prepare = vs_exec_prepare;
-   vs->run = vs_exec_run;
-   vs->delete = vs_exec_delete;
+   vs->base.state.tokens = mem_dup(state->tokens, nt * sizeof(state->tokens[0]));
+   tgsi_scan_shader(state->tokens, &vs->base.info);
+
+
+   vs->base.prepare = vs_exec_prepare;
+   vs->base.run = vs_exec_run;
+   vs->base.run_linear = vs_exec_run_linear;
+   vs->base.delete = vs_exec_delete;
+   vs->machine = &draw->machine;
+
 
-   return vs;
+   return &vs->base;
 }
index 73076d2..d0baca7 100644 (file)
@@ -88,8 +88,7 @@ vs_llvm_run( struct draw_vertex_shader *base,
 
 
    assert(count <= 4);
-   assert(draw->vertex_shader->state->output_semantic_name[0]
-          == TGSI_SEMANTIC_POSITION);
+   assert(base->state->output_semantic_name[0] == TGSI_SEMANTIC_POSITION);
 
    /* Consts does not require 16 byte alignment. */
    machine->Consts = (float (*)[4]) draw->user.constants;
@@ -169,6 +168,65 @@ vs_llvm_run( struct draw_vertex_shader *base,
    return clipped != 0;
 }
 
+
+
+
+static void
+vs_llvm_run_linear( struct draw_vertex_shader *base,
+                  const float (*input)[4],
+                  float (*output)[4],
+                  const float (*constants)[4],
+                  unsigned count,
+                  unsigned input_stride,
+                  unsigned output_stride )
+{
+   struct draw_llvm_vertex_shader *shader =
+      (struct draw_llvm_vertex_shader *)base;
+
+   struct tgsi_exec_machine *machine = &draw->machine;
+   unsigned int j;
+
+
+   for (i = 0; i < count; i += MAX_TGSI_VERTICES) {
+      unsigned int max_vertices = MIN2(MAX_TGSI_VERTICES, count - i);
+
+      /* Swizzle inputs.  
+       */
+      for (j = 0; j < max_vertices; j++) {
+        for (slot = 0; slot < draw->num_vs_inputs; slot++) {
+           machine->Inputs[slot].xyzw[0].f[j] = input[slot][0];
+           machine->Inputs[slot].xyzw[1].f[j] = input[slot][1];
+           machine->Inputs[slot].xyzw[2].f[j] = input[slot][2];
+           machine->Inputs[slot].xyzw[3].f[j] = input[slot][3];
+        }
+      } 
+
+      /* run shader */
+      gallivm_cpu_vs_exec(shader->llvm_prog,
+                          machine->Inputs,
+                          machine->Outputs,
+                         (float (*)[4]) constants,
+                          machine->Temps);
+
+
+      /* Unswizzle all output results
+       */
+      for (slot = 1; slot < draw->num_vs_outputs; slot++) {
+         output[slot][0] = machine->Outputs[slot].xyzw[0].f[j];
+         output[slot][1] = machine->Outputs[slot].xyzw[1].f[j];
+         output[slot][2] = machine->Outputs[slot].xyzw[2].f[j];
+         output[slot][3] = machine->Outputs[slot].xyzw[3].f[j];
+      }
+
+      /* Advance input, output pointers: 
+       */
+      input = (const float (*)[4])((const char *)input + input_stride);
+      output = (float (*)[4])((char *)output + output_stride);
+   } 
+}
+
+
+
 static void
 vs_llvm_delete( struct draw_vertex_shader *base )
 {
@@ -198,8 +256,12 @@ draw_create_vs_llvm(struct draw_context *draw,
 
    /* we make a private copy of the tokens */
    vs->base.state.tokens = mem_dup(templ->tokens, nt * sizeof(templ->tokens[0]));
+
+   tgsi_scan_shader(shader->tokens, &vs->base.info);
+
    vs->base.prepare = vs_llvm_prepare;
    vs->base.run = vs_llvm_run;
+   vs->base.run_linear = vs_llvm_run_linear;
    vs->base.delete = vs_llvm_delete;
 
    {
index ee0a310..873ecfd 100644 (file)
@@ -58,7 +58,11 @@ typedef void (XSTDCALL *codegen_function) (
 struct draw_sse_vertex_shader {
    struct draw_vertex_shader base;
    struct x86_function sse2_program;
+
    codegen_function func;
+   
+   struct tgsi_exec_machine *machine;
+
    float immediates[TGSI_EXEC_NUM_IMMEDIATES][4];
 };
 
@@ -96,11 +100,10 @@ vs_sse_run( struct draw_vertex_shader *base,
    const float *scale = draw->viewport.scale;
    const float *trans = draw->viewport.translate;
 
-   assert(draw->vertex_shader->info.output_semantic_name[0]
-          == TGSI_SEMANTIC_POSITION);
+   assert(base->info.output_semantic_name[0] == TGSI_SEMANTIC_POSITION);
 
    /* Consts does not require 16 byte alignment. */
-   machine->Consts = (float (*)[4]) draw->user.constants;
+   machine->Consts = (const float (*)[4]) draw->user.constants;
    machine->Inputs = ALIGN16_ASSIGN(inputs);
    if (draw->rasterizer->bypass_vs) {
       /* outputs are just the inputs */
@@ -124,7 +127,7 @@ vs_sse_run( struct draw_vertex_shader *base,
           */
          shader->func(machine->Inputs,
                       machine->Outputs,
-                      machine->Consts,
+                      (float (*)[4])machine->Consts,
                       machine->Temps,
                       shader->immediates);
       }
@@ -200,6 +203,67 @@ vs_sse_run( struct draw_vertex_shader *base,
 }
 
 
+/* Simplified vertex shader interface for the pt paths.  Given the
+ * complexity of code-generating all the above operations together,
+ * it's time to try doing all the other stuff separately.
+ */
+static void
+vs_sse_run_linear( struct draw_vertex_shader *base,
+                  const float (*input)[4],
+                  float (*output)[4],
+                  const float (*constants)[4],
+                  unsigned count,
+                  unsigned input_stride,
+                  unsigned output_stride )
+{
+   struct draw_sse_vertex_shader *shader = (struct draw_sse_vertex_shader *)base;
+   struct tgsi_exec_machine *machine = shader->machine;
+   unsigned int i, j;
+   unsigned slot;
+
+   for (i = 0; i < count; i += MAX_TGSI_VERTICES) {
+      unsigned int max_vertices = MIN2(MAX_TGSI_VERTICES, count - i);
+
+      /* Swizzle inputs.  
+       */
+      for (j = 0; j < max_vertices; j++) {
+         for (slot = 0; slot < base->info.num_inputs; slot++) {
+            machine->Inputs[slot].xyzw[0].f[j] = input[slot][0];
+            machine->Inputs[slot].xyzw[1].f[j] = input[slot][1];
+            machine->Inputs[slot].xyzw[2].f[j] = input[slot][2];
+            machine->Inputs[slot].xyzw[3].f[j] = input[slot][3];
+         }
+      } 
+
+      /* run compiled shader
+       */
+      shader->func(machine->Inputs,
+                  machine->Outputs,
+                  (float (*)[4])constants,
+                  machine->Temps,
+                  shader->immediates);
+
+
+      /* Unswizzle all output results.  
+       */
+      for (j = 0; j < max_vertices; j++) {
+         for (slot = 0; slot < base->info.num_outputs; slot++) {
+            output[slot][0] = machine->Outputs[slot].xyzw[0].f[j];
+            output[slot][1] = machine->Outputs[slot].xyzw[1].f[j];
+            output[slot][2] = machine->Outputs[slot].xyzw[2].f[j];
+            output[slot][3] = machine->Outputs[slot].xyzw[3].f[j];
+         }
+      } 
+
+      /* Advance input, output pointers: 
+       */
+      input = (const float (*)[4])((const char *)input + input_stride);
+      output = (float (*)[4])((char *)output + output_stride);
+   }
+}
+
+
+
 
 static void
 vs_sse_delete( struct draw_vertex_shader *base )
@@ -229,8 +293,12 @@ draw_create_vs_sse(struct draw_context *draw,
 
    /* we make a private copy of the tokens */
    vs->base.state.tokens = mem_dup(templ->tokens, nt * sizeof(templ->tokens[0]));
+
+   tgsi_scan_shader(templ->tokens, &vs->base.info);
+
    vs->base.prepare = vs_sse_prepare;
    vs->base.run = vs_sse_run;
+   vs->base.run_linear = vs_sse_run_linear;
    vs->base.delete = vs_sse_delete;
    
    x86_init_func( &vs->sse2_program );
index 6fc7c9f..0fa7c93 100644 (file)
@@ -31,7 +31,7 @@
 #include "pipe/p_util.h"
 #include "pipe/p_defines.h"
 #include "pipe/p_shader_tokens.h"
-#include "draw_private.h"
+#include "draw_vs.h"
 
 
 struct widepoint_stage {