Merge pull request #637 from KhronosGroup/token-paste

PP: Implement token pasting for PP identifiers.

Merge pull request #624 from steve-lunarg/remapper-strip-removed

WIP: Remapper: remove debug info for IDs stripped in other passes

Merge pull request #635 from steve-lunarg/sample-fix-2

HLSL: allow "sample" in expressions.

Merge pull request #625 from jbeich/gcc6

Unbreak build on FreeBSD with GCC/libstdc++ 6.2.0

PP: Implement token pasting for PP identifiers.

Implement token pasting as per the C++ specification, within the current
style of the PP code.
Non-identifiers (turning 12 ## 10 into the numeral 1210) is not yet covered;
they should be a simple incremental change built on this one.
Addresses issue #255.

HLSL: allow "sample" in expressions.

Unlike other qualifiers, HLSL allows "sample" to be either a qualifier keyword or an
identifier (e.g, a variable or function name).

A fix to allow this was made a while ago, but that fix was insufficient when 'sample'
was used in an expression.  The problem was around the initial ambiguity between:

   sample float a; // "sample" is part of a fully specified type
and
   sample.xyz;     // sample is a keyword in a dot expression

Both start the same.  The "sample" was being accepted as a qualifier before enough
further parsing was done to determine we were not a declaration after all.  This
consumed the token, causing it to fail for its real purpose.

Now, when accepting a fully specified type, the token is pushed back onto the stack if
the thing is not a fully specified type.  This leaves it available for subsequent
purposes.

Changed the "hlsl.identifier.sample.frag" test to exercise this situation, distilled
down from a production shaders.

Fix comment typo.

HLSL: More robust handling of bad shader input, catching a few more things.

Merge pull request #629 from null77/fix-unicode

Change unicode dash to ASCII.

Change unicode dash to ASCII.

This change is helpful for integration with Chromium, which recently
added a compiler option to warn when compiling any source files which
use extended characters. In this case the offending character was a
single unicode dash in a comment.

Merge pull request #628 from null77/fix-cast-warn

Fix size_t to int cast warnings.

Fix size_t to int cast warnings.

Several instances in Visual Studio 2015:

warning C4267: 'initializing': conversion from 'size_t' to 'int', possible loss of data

Fix last commit; EOptionKeepUncalled incorrect enum bug.

Remapper: remove debug info for IDs stripped in other passes

If some DCE is performed such as removing dead functions, then even
if we are NOT stripping debug info, we still must remove the debug
opcodes that refer to the now-dead IDs.

Also, this adds a small change to perform no ID remapping if none
is requested, making spirv-remap properly be a no-op if no options
are given.

Linker: Eliminate uncalled functions, because they can be ill-defined.

Fixes issue #610. Also provides a testing option to keep uncalled functions.

Linker: Track the mangled entry-point name along with the non-mangled one.

GLSL Linker: Track entry point across compilation units.

This wasn't needed until the recent generalization of "main" to "entry point",
so makes some HLSL-specific code be generic now, for GLSL functional correctness.

Add missing header and drop duplicate one

In file included from C:/Projects/glslang/glslang/MachineIndependent/glslang.y:59:0:
glslang/MachineIndependent/ParseHelper.h:276:24: error: 'va_list' has not been declared
                        va_list args);
                        ^~~~~~~

Linker: Walk the call graph to report an error on missing bodies.

Merge pull request #621 from steve-lunarg/recursive-flattening

HLSL: Recursive composite flattening

Merge pull request #619 from steve-lunarg/opcode-specific-promote

HLSL: opcode specific promotion rules for interlocked ops

Merge pull request #620 from fjhenigman/foo

GLSL: Always define TShader::~Includer().

HLSL: Recursive composite flattening

This PR implements recursive type flattening.  For example, an array of structs of other structs
can be flattened to individual member variables at the shader interface.

This is sufficient for many purposes, e.g, uniforms containing opaque types, but is not sufficient
for geometry shader arrayed inputs.  That will be handled separately with structure splitting,
 which is not implemented by this PR.  In the meantime, that case is detected and triggers an error.

The recursive flattening extends the following three aspects of single-level flattening:

- Flattening of structures to individual members with names such as "foo[0].samp[1]";

- Turning constant references to the nested composite type into a reference to a particular
  flattened member.

- Shadow copies between arrays of flattened members and the nested composite type.

Previous single-level flattening only flattened at the shader interface, and that is unchanged by this PR.
Internally, shadow copies are, such as if the type is passed to a function.

Also, the reasons for flattening are unchanged.  Uniforms containing opaque types, and interface struct
types are flattened.  (The latter will change with structure splitting).

One existing test changes: hlsl.structin.vert, which did in fact contain a nested composite type to be
flattened.

Two new tests are added: hlsl.structarray.flatten.frag, and hlsl.structarray.flatten.geom (currently
issues an error until type splitting is online).

The process of arriving at the individual member from chained postfix expressions is more complex than
it was with one level.  See large-ish comment above HlslParseContext::flatten() for details.

HLSL: opcode specific promotion rules for interlocked ops

PR #577 addresses most but not all of the intrinsic promotion problems.
This PR resolves all known cases in the remainder.

Interlocked ops need special promotion rules because at the time
of function selection, the first argument has not been converted
to a buffer object.  It's just an int or uint, but you don't want
to convert THAT argument, because that implies converting the
buffer object itself.  Rather, you can convert other arguments,
but want to stay in the same "family" of functions.  E.g, if
the first interlocked arg is a uint, use only the uint family,
never the int family, you can convert the other args as you please.

This PR allows making such opcode and arg specific choices by
passing the op and arg to the convertible lambda.  The code in
the new test "hlsl.promote.atomic.frag" would not compile without
this change, but it must compile.

Also, it provides better handling of downconversions (to "worse"
types), which are permitted in HLSL.  The existing method of
selecting upconversions is unchanged, but if that doesn't find
any valid ones, then it will allow downconversions.  In effect
this always uses an upconversion if there is one.

GLSL: Always define TShader::~Includer().

Rather than update the existing ifdef to cover all necessary cases,
get rid of it and always define TShader::~Includer().

Merge pull request #615 from dneto0/consistent-location-for-test-files

runtests should refer to test files in current directory

GLSL: Allow desktop shaders to call functions from outside main().

Fixes issue #239.

Merge pull request #613 from Corillian/hlslpreprocess

Fixed processing #include's when preprocessing HLSL

runtests should refer to test files in current directory

Recently added entry point renaming file referred to
test source file hlsl.entry.rename.frag via relative directory.

Change it to be consistent with other tests: assume test
sources are in the current directory.

Fixed processing #include's when preprocessing HLSL

Don't print the "Linked stage" message unless the AST is being dumped.

Merge branch 'steve-lunarg-intrinsic-promotion'

Merge branch 'intrinsic-promotion' of https://github.com/steve-lunarg/glslang into steve-lunarg-intrinsic-promotion

Merge pull request #604 from steve-lunarg/entry-rename-2

HLSL: allow renaming of shader entry point when creating SPIR-V

allow renaming of shader entry point when creating SPIR-V

Use "--source-entrypoint name" on the command line, or the
TShader::setSourceEntryPoint(char*) API.

When the name given to the above interfaces is detected in the
shader source, it will be renamed to the entry point name supplied
to the -e option or the TShader::setEntryPoint() method.

Fix non-Windows build error.

HLSL: Support the constructor idiom "(struct type)0".

This highly leverages the previous commit to handle partial initializers.

HLSL: Support {...} initializer lists that are too short.

Fix crash by returning early from finalCheck() if there is no tree to process.

Non-functional: Change a bunch of 0 to nullptr.

Non-functional: Fix typos.

Warn on HLSL not finding entry point. Issue #588.

Non-functional: Rename some entry-point variables to entryPoint, not main.

Always correctly terminate main. Issue #588, PR #600.

HLSL: add intrinsic function implicit promotions

This PR handles implicit promotions for intrinsics when there is no exact match,
such as for example clamp(int, bool, float).  In this case the int and bool will
be promoted to a float, and the clamp(float, float, float) form used.

These promotions can be mixed with shape conversions, e.g, clamp(int, bool2, float2).

Output conversions are handled either via the existing addOutputArgumentConversion
function, which this PR generalizes to handle either aggregates or unaries, or by
intrinsic decomposition.  If there are methods or intrinsics to be decomposed,
then decomposition is responsible for any output conversions, which turns out to
happen automatically in all current cases.  This can be revisited once inout
conversions are in place.

Some cases of actual ambiguity were fixed in several tests, e.g, spv.register.autoassign.*

Some intrinsics with only uint versions were expanded to signed ints natively, where the
underlying AST and SPIR-V supports that.  E.g, countbits.  This avoids extraneous
conversion nodes.

A new function promoteAggregate is added, and used by findFunction.  This is essentially
a generalization of the "promote 1st or 2nd arg" algorithm in promoteBinary.

The actual selection proceeds in three steps, as described in the comments in
hlslParseContext::findFunction:

1. Attempt an exact match.  If found, use it.
2. If not, obtain the operator from step 1, and promote arguments.
3. Re-select the intrinsic overload from the results of step 2.

Merge pull request #601 from BearishSun/master

A way to query "location" qualifier for vertex attributes, using TProgram reflection API

Merge pull request #599 from steve-lunarg/gs

HLSL: Add GS support

Merge pull request #596 from steve-lunarg/hlsl-intrinsic-parsing

HLSL: use HLSL parser for HLSL intrinsic prototypes, enable int/bool mats

Merge pull request #597 from steve-lunarg/sample-keyword-fix

HLSL: allow "sample" as a valid identifier.

Adding a way to retrieve vertex attribute TType using TProgram reflection API (required in order to query location attributes).

WIP: HLSL: Add GS support

This PR adds:

[maxvertexcount(n)] attributes

point/line/triangle/lineadj/triangleadj qualifiers

PointStream/LineStream/TriangleStream templatized types

Append method on above template types

RestartStrip method on above template types.

HLSL: allow "sample" as a valid identifier.

HLSL has keywords for various interpolation modifiers such as "linear",
"centroid", "sample", etc.  Of these, "sample" appears to be special,
as it is also accepted as an identifier string, where the others are not.

This PR adds this ability, so the construct "int sample = 42;" no longer
produces a compilation error.

New test = hlsl.identifier.sample.frag

HLSL: use HLSL parser to parse HLSL intrinsic prototypes, enable int/bool mats

This PR adds a CreateParseContext() fn analogous to CreateBuiltInParseables(),
to create a language specific built in parser.  (This code was present before
but not encapsualted in a fn).  This can now be used to create a source language
specific parser for builtins.

Along with this, the code creating HLSL intrinsic prototypes can now produce
them in HLSL syntax, rather than GLSL syntax.  This relaxes certain prior
restrictions at the parser level.  Lower layers (e.g, SPIR-V) may still have
such restrictions, such as around Nx1 matrices: this code does not impact
that.

This PR also fleshes out matrix types for bools and ints, both of which were
partially in place before.  This was easier than maintaining the restrictions
in the HLSL prototype generator to avoid creating protoypes with those types.

Many tests change because the result type from intrinsics moves from "global"
to "temp".

Several new tests are added for the new types.

Test results: Fix incorrect test result caused by parallel development. Issue #594.

Merge pull request #576 from steve-lunarg/uav-registers

Add UAV (image) binding offset and HLSL register class support

Merge pull request #592 from ChrisGautier/barrier-wg

SPV: The execution scope for barriers should be Workgroup.

GLSL: The execution scope for barriers should be Workgroup.

Merge pull request #583 from null77/fix-unref-warning

SPV: Fix unreferenced variable warning with AMD_EXTENSIONS disabled.

Merge pull request #589 from steve-lunarg/vec1-promotion-fix

HLSL: allow promotion from 1-vector types to scalars, e.g, float<-float1

HLSL: allow promotion from 1-vector types to scalars, e.g, float<-float1

Previously, an error was thrown when assigning a float1 to a scalar float,
or similar for other basic types.  This allows that.

Also, this allows calling functions accepting scalars with float1 params,
so for example sin(float1) will work.  This is a minor change in
HlslParseContext::findFunction().

Merge pull request #584 from steve-lunarg/attribute-expressions

HLSL: Allow expressions in attributes

HLSL: Allow expressions in attributes

For example:

[numthreads(2+2, 2*3, (1+FOO)*BAR)]

This will result in a thread count (4, 6, 8).

Fix unrefenced variable warning with AMD_EXTENSIONS disabled.

Whole stack: Fix stale types in the AST linker object nodes, fixing #557.

Rationalizes the entire tracking of the linker object nodes, effecting
GLSL, HLSL, and SPIR-V, to allow tracked objects to be fully edited before
their type snapshot for linker objects.

Should only effect things when the rest of the AST contained no reference to
the symbol, because normal AST nodes were not stale. Also will only effect such
objects when their types were edited.

Add UAV (image) binding offset and HLSL register support

This PR adds:

1. The "u" register class for RW* objects.

2. --shift-image-bindings (== --sib), analogous to --shift-texture-bindings etc.

3. Case insensitive reg classes.

4. Tests for above.

Merge pull request #575 from steve-lunarg/iomap-warning-fix

Fix build warnings in iomapper.cpp, re-indent to glslang standard

Fix build warnings in remapper, re-indent for glslang standard

This has no functional changes.

Merge pull request #572 from steve-lunarg/numthreads

HLSL: implement numthreads for compute shaders

Merge pull request #562 from TiemoJung/io_map_control_publish

HLSL -> Spir-V: Resource mapping handler

Merge pull request #570 from steve-lunarg/mintypes

HLSL: Add min*{float,int,uint} types

Merge pull request #574 from dneto0/android-has-no-std-stoi

Use std::atoi instead of std::stoi

Use std::atoi instead of std::stoi

Some Android cross cross-compilers don't have std::stoi.

E.g. i686-linux-android-g++ from Android NDK r10e don't have std::stoi.

HLSL: Add min*{float,int,uint} types

These HLSL types are guaranteed to have at least the given number of bits, but may have more.

min{16,10}float is mapped to EbtFloat at medium precision -> SPIRV RelaxedPrecision
min{16,12}int and min16uint are mapped to mediump -> SPIR-V RelaxedPrecision

HLSL: implement numthreads for compute shaders

This PR adds handling of the numthreads attribute for compute shaders, as well as a general
infrastructure for returning attribute values from acceptAttributes, which may be needed in other
cases, e.g, unroll(x), or merely to know if some attribute without params was given.

A map of enum values from TAttributeType to TIntermAggregate nodes is built and returned.  It
can be queried with operator[] on the map.  In the future there may be a need to also handle
strings (e.g, for patchconstantfunc), and those can be easily added into the class if needed.

New test is in hlsl.numthreads.comp.

Merge pull request #571 from baldurk/explicit-lambda-returns

Add explicit lambda return types, for compilers without C++14 support

Add explicit lambda return types, for compilers without C++14 support

New uniform mapping handling

- add optional callback to handle mapping of uniform variables in linking phase
- if no resolver is provided, it uses the internal default resolver with all shifts and auto bind settings

Change-Id: Icfe38a9eabe8bfc8f8bb6d8150c06f7ed38bb762

Merge pull request #560 from jeremy-lunarg/pragmas

silence -Wunknown-pragmas warnings on gcc

Merge pull request #568 from steve-lunarg/logicalop-fix

HLSL: allow component-wise operations for logical || and &&.

Merge pull request #567 from steve-lunarg/compare-fix

HLSL: Enable component-wise vector comparisons from operators

Merge pull request #561 from jeremy-lunarg/unused

GLSL: apply unused variable

HLSL: allow component-wise operations for logical || and &&.

HLSL || and && can operate component-wise.

HLSL: Enable component-wise vector comparisons from operators

This PR only changes a few lines of code, but is subtle.

In HLSL, comparison operators (<,>,<=,>=,==,!=) operate component-wise
when given a vector operand.  If a whole vector equality or inequality is
desired, then all() or any() can be used on the resulting bool vector.

This PR enables this change.  Existing shape conversion is used when
one of the two arguments is a vector and one is a scalar.

Some existing HLSL tests had assumed == and != meant vector-wise
instead of component-wise comparisons.  These tests have been changed
to add an explicit any() or all() to the test source.  This verifably
does not change the final SPIR-V binary relative to the old behavior
for == and !=.  The AST does change for the (now explicit, formerly
implicit) any() and all().  Also, a few tests changes where they
previously had the return type wrong, e.g, from a vec < vec comparison
in hlsl.shapeConv.frag.

Promotion of comparison opcodes to vector forms
(EOpEqual->EOpVectorEqual) is handled in promoteBinary(), as is setting
the proper vector type of the result.

EOpVectorEqual and EOpVectorNotEqual are now accepted as either
aggregate or binary nodes, similar to how the other operators are
handled.  Partial support already existed for this: it has been
fleshed out in the printing functions in intermOut.cpp.

There is an existing defect around shape conversion with 1-vectors, but
that is orthogonal to this PR and not addressed by it.

Merge pull request #565 from mre4ce/master

Disabled MSVC 2015 compile warnings.

WIP: avoid strtok

WIP: apply unused variable

I happened upon numArgs while hunting for unused variables. I suspect
the intent was to apply it as shown in this patch. However, I am not a
compiler dude. Someone more appropriate should grok this change.

update

Merge remote-tracking branch 'upstream/master'

fixed MSVC 2015 compile warnings

Merge pull request #559 from steve-lunarg/samplecmp-fix

HLSL: fix defect in EOpMethodSampleCmp* texture decomposition

Merge pull request #558 from steve-lunarg/image-atomics

HLSL: phase 4 of RWTexture support: add image atomics

Merge pull request #555 from steve-lunarg/promotion-fixes

HLSL: Fix unary and binary operator type conversion issues

Merge pull request #556 from dneto0/guard-amd-enums

SPV: Add missing guard to code that uses AMD extensions

HLSL: fix defect in EOpMethodSampleCmp* texture decomposition

HLSL holds the compare value in a separate intrinsic arg, but the AST wants
a vector including the cmp val, except in the 4-dim coord case, where it
doesn't fit and is in fact a separate AST parameter.  This is awkward but
necessary, given AST semantics.  In the process, a new vector is constructed
for the combined result, but this vector was not being given the correct
TType, so was causing some downstream troubles.

Now it is.  A similar defect existed in OpTextureBias, and has also been
fixed.

Move promote methods to TIntermediate class

A need arose to use capabilities from TIntermediate during
node promotion.  These methods have been moved from virtual
methods on the TIntermUnary and TIntermBinary nodes to methods
on TIntermediate, so it is easy for them construct new nodes
and so on.

This is done as a separate commit to verify that no test results
are changed as a result.

HLSL: phase 4 of rwtexture support: add image atomics

This PR will turn Interlocked* intrinsics using rwtexture or rwbuffer
object as the first parameter into the proper OpImageAtomic* operations.

Add missing guard to code that uses AMD extensions

Otherwise compilation fails when ENABLED_AMD_EXTENSIONS is off.

HLSL: Fix unary and binary operator type conversion issues

This fixes defects as follows:

1. handleLvalue could be called on a non-L-value, and it shouldn't be.

2. HLSL allows unary negation on non-bool values.  TUnaryOperator::promote
   can now promote other types (e.g, int, float) to bool for this op.

3. HLSL allows binary logical operations (&&, ||) on arbitrary types, similar
   (2).

4. HLSL allows mod operation on arbitrary types, which will be promoted.
   E.g, int % float -> float % float.

HLSL: Turn on tests for groupshared.

HLSL: Support SV_Coverage and SV_DispatchThreadId; catch SV_GroupIndex.