Add strength reduction; for now replace multiply by power of 2

Create a new optimization pass, strength reduction, which will replace
integer multiplication by a constant power of 2 with an equivalent bit
shift.  More changes could be added later.

- Does not duplicate constants

- Adds vector |Concat| utility function to a common test header.

ExtractInsert: Handle rudimentary CompositeConstruct and ConstantComposite

This optimizes a single index extract whose composite value terminates with a
CompositeConstruct (or ConstantComposite) by evaluating to the correct
component. This was needed for opaque legalization.

This highlights the need/opportunity to improve this optimization to deal
with more complex composite expressions including currently handled ops
plus Null ops and special vector composition. A TODO has been added.

Recognize SPV_AMD_shader_fragment_mask

Add new checks to validate arithmetics pass

New operations:
- OpDot
- OpVectorTimesScalar
- OpMatrixTimesScalar
- OpVectorTimesMatrix
- OpMatrixTimesVector
- OpMatrixTimesMatrix
- OpOuterProduct

Update CHANGES for OpModuleProcessed validation rule

validator: OpModuleProcessed allowed in layout section 7c

Recent spec fix from SPIR Working group:
  Allow OpModuleProcessed after debug names, but before any
  annotation instructions.

Update MARK-V to version 1.01

Includes:
- Multi-sequence move-to-front
- Coding by id descriptor
- Statistical coding of non-id words
- Joint coding of opcode and num_operands

Removed explicit form Huffman codec constructor
- The standard use case for it is to be constructed from initializer list.

Using serialization for Huffman codecs

spirv-as: Fail for unrecognized long option

Fixes https://github.com/KhronosGroup/SPIRV-Tools/issues/798

Inliner: Fix LoopMerge when inline into loop header of multi block loop

This adapts the fix for the single-block loop.  Split the loop like
before.  But when we move the OpLoopMerge back to the loop header,
redirect the continue target only when the original loop was a single
block loop.

Fixes https://github.com/KhronosGroup/SPIRV-Tools/issues/800

Add validation pass for arithmetic operations

The pass checks if arithmetic operations (such as OpFMul) receive
correct operands.

Make enums for all currently published extensions

Use the list from the SPIR-V registry page.  Also, capture it as
a string so it's much easier to update via copy-paste.

The validator will accept modules that declare these known
extensions.  However, we might not know about new tokens or
instructions declared in them.  For that we need grammar updates
applied to SPIRV-Headers.

Starge v2017.1-dev

Create v2017.0

Update README to describe that we understand SPIR-V syntax based on the
grammar files included from the SPIRV-Headers repo.

(Also, it's high time we issue a v2017 release!

Finalize v2016.7

Update CHANGES for recent inliner fixes

Fix mingw build (source/print.cpp)

source/print.cpp doesn't compile due to integer conversion.

Tested by @dneto0 on a Windows machine.

Inliner: Remap callee entry block id to single-trip loop header

Otherwise cloned phis can be invalid.

Fixes https://github.com/KhronosGroup/SPIRV-Tools/issues/790

Inline: Fix single-block loop caller cases

If the caller block is a single-block loop and inlining will
replace the caller block by several blocks, then:
- The original OpLoopMerge instruction will end up in the *last*
  such block.  That's the wrong place to put it.
- Move it back to the end of the first block.
- Update its Continue Target ID to point to the last block

We also have to take care of cases where the inlined code
begins with a structured header block.  In this case
we need to ensure the restored OpLoopMerge does not appear
in the same block as the merge instruction from the callee's
first block.

Fixes https://github.com/KhronosGroup/SPIRV-Tools/issues/787

BasicBlock: add ctail, GetMergeInst, GetLoopMergeInst

Update tests for new preferred name as ShaderViewportIndexLayerEXT

This reacts to a recent update to SPIRV-Headers

Update CHANGES for fix to 781

Extension allows multiple same OpTypePointer types

SPV_KHR_variable_pointers allows OpTypePointer to declare multiple
pointer identical types.

https://github.com/KhronosGroup/SPIRV-Tools/issues/781

Update CHANGES for fix to 776

DeadBranchElim: Fix dead block detection to ignore backedges

- DeadBranchElim: Make sure to mark orphan'd merge blocks and continue
targets as live.
- Add test with loop in dead branch
- Add test that orphan'd merge block is handled.

Fixes https://github.com/KhronosGroup/SPIRV-Tools/issues/776

InlineOpaque: Remove from usage until complete Opaque policy is designed.

Update changes for fix to issue 782

Inline: Fix remapping of non-label forward references in callee phi

Disassembler: Print colour codes only when writing to a terminal

Fix encode zero bits on word boundary bug

Bit stream writer was manifesting incorrect behaviour when the following
two conditions were met:
- writer was on 64-bit word boundary
- WriteBits was invoked with num_bits=0 (can happen when a Huffman codec has only one
value)

The bug was causing very rare sporadic corruption which was detected by
tests after a random experimental change in MARK-V model.

Show result id for CompositeInsert validation failure

README: Add reference to SPIR-V size reduction white paper

Windows: Increase intensity of blue text

Fix: background color was erroneously reset on Win32 platform.

Fix: background color was erroneously reset on Win32 platform.

Updated capabilites for SampleMask

SPIRV-Headers recently fixed the capability dependency
for SampleMask.  It depends on Shader, not SampleRateShading

Opt: Create InlineOpaquePass

Only inline calls to functions with opaque params or return

TODO: Handle parameter type or return type where the opqaue
type is buried within an array.

Opt: Have "size" passes process full entry point call tree.

Includes code to deal correctly with OpFunctionParameter. This
is needed by opaque propagation which may not exhaustively inline
entry point functions.

Adds ProcessEntryPointCallTree: a method to do work on the
functions in the entry point call trees in a deterministic order.

Support supplying extra definitions via CMAKE variable

Huffman codec can serialize to text

Refactored the Huffman codec implementation and added ability to
serialize to C++-like text format. This would reduce the time-complexity
if loading hard-coded codecs.

Opt: Add opaque tests

Add id descriptor feature to SPIR-V

Id descriptors are computed as a recursive hash of all instructions used
to define an id. Descriptors are invarint of actual id values and
the similar code in different files would produce the same descriptors.

Multiple ids can have the same descriptor. For example
%1 = OpConstant %u32 1
%2 = OpConstant %u32 1
would produce two ids with the same descriptor. But
%3 = OpConstant %s32 1
%4 = OpConstant %u32 2
would have descriptors different from %1 and %2.

Descriptors will be used as handles of move-to-front sequences in SPIR-V
compression.

ADCE: Add support for function calls

ADCE will now generate correct code in the presence of function calls.
This is needed for opaque type optimization needed by glslang. Currently
all function calls are marked as live. TODO: mark calls live only if they
write a non-local.

Update CHANGE to list fix for issue 755

Inliner: callee can have early return that isn't multi-return

Avoid generating an invalid OpLabel.
Create the continue target for the single-trip loop only if
you actually created the header for the single-trip loop.

Fixes https://github.com/KhronosGroup/SPIRV-Tools/issues/755

AccessChainConvert: Add HasOnlySupportedRefs()

This avoids conversion on variables which will not ultimately be optimized.
Also removed an obsolete restriction from FindTargetVars(). Also added
decorates to supported refs (eg. RelaxedPrecision). Also fixed name to
IsNonTypeDecorate().

Inline: Split out InlineExhaustivePass from InlinePass

Mem2Reg: Allow Image and Sampler types as base target types.

Update CHANGES with common uniform loads pass

Update README.md with new code-reduction passes

Add CommonUniformElim pass

- UniformElim: Only process reachable blocks

- UniformElim: Don't reuse loads of samplers and images across blocks.
  Added a second phase which only reuses loads within a block for samplers
  and images.

- UniformElim: Upgrade CopyObject skipping in GetPtr

- UniformElim: Add extensions whitelist
  Currently disallowing SPV_KHR_variable_pointers because it doesn't
  handle extended pointer forms.

- UniformElim: Do not process shaders with GroupDecorate

- UniformElim: Bail on shaders with non-32-bit ints.

- UniformElim: Document support for only single index and add TODO.

Add MemPass, move all shared functions to it.

Add multi-sequence move-to-front implementation

Add MultiMoveToFront class which supports multiple move-to-front
sequences and allows to promote value in all sequences at once.

Added caching for last accessed sequence handle and last accessed value
in each sequence.

Update CHANGES with recently added optimizations

Opt: Add new size-reduction passes to usage message.

Added C++ code generation to spirv-stats

The tool can now generate C++ code returning some of the historgrams and
Huffman codecs generated from those historgrams.

Add Appveyor config that uses VS 2017

Opt: Delete names and decorations of dead instructions

Opt: HasOnlySupportedRefs should consider OpCopyObject

This fixes test failure after merging the previous pull request.

Revert "Revert "Opt: LocalBlockElim: Add HasOnlySupportedRefs""

This reverts commit df96e243c633b939690a42d89904e04f50126e86.

Add extension whitelists to size-reduction passes.

Currently only SPV_KHR_variable_pointers is disallowed in passes which
do pointer analysis. Positive and negative tests of the general extensions
mechanism were added to aggressive_dce but cover all passes.

Revert "Opt: LocalBlockElim: Add HasOnlySupportedRefs"

This reverts commit 2d0f7fbc1151004c4cf111b947f1070a03dfe092.

Opt: LocalBlockElim: Add HasOnlySupportedRefs

Verifies that targeted variables have only access chain and direct
loads and stores as references.

Fix handling of CopyObject in GetPtr and its call sites

Fix Visual Studio size_t cast compiler warning

Visual Studio was complaining about possible loss of data on 64-bit
builds, due to an implicit cast from size_t to int. This changes the
data to use an int with no cast.

LocalMultiStore: Always put varId for backedge on loop phi function.

And always patch the backedge operand when patching phi functions. This
approach is more correct and cleaner. The previous code was generating
incorrect phis when the backedge block had no predecessors.

DeadBranchElim: Improve algorithm to only remove blocks with no predecessors

Must be careful not to remove blocks pointed at by unreachable blocks

Minor code review feedback on AggressiveDCE

Add AggressiveDCEPass

Create aggressive dead code elimination pass
This pass eliminates unused code from functions. In addition,
it detects and eliminates code which may have spurious uses but which do
not contribute to the output of the function. The most common cause of
such code sequences is summations in loops whose result is no longer used
due to dead code elimination. This optimization has additional compile
time cost over standard dead code elimination.

This pass only processes entry point functions. It also only processes
shaders with logical addressing. It currently will not process functions
with function calls. It currently only supports the GLSL.std.450 extended
instruction set. It currently does not support any extensions.

This pass will be made more effective by first running passes that remove
dead control flow and inlines function calls.

This pass can be especially useful after running Local Access Chain
Conversion, which tends to cause cycles of dead code to be left after
Store/Load elimination passes are completed. These cycles cannot be
eliminated with standard dead code elimination.

Additionally: This transform uses a whitelist of instructions that it
knows do have side effects, (a.k.a. combinators).  It assumes other
instructions have side effects: it will not remove them, and assumes
they have side effects via their ID operands.

Add LocalMultiStoreElim pass

A SSA local variable load/store elimination pass.
For every entry point function, eliminate all loads and stores of function
scope variables only referenced with non-access-chain loads and stores.
Eliminate the variables as well.

The presence of access chain references and function calls can inhibit
the above optimization.

Only shader modules with logical addressing are currently processed.
Currently modules with any extensions enabled are not processed. This
is left for future work.

This pass is most effective if preceeded by Inlining and
LocalAccessChainConvert. LocalSingleStoreElim and LocalSingleBlockElim
will reduce the work that this pass has to do.

DeadBranchElim: Add DeadBranchElimPass

Include memory and semantics IDs when iterating over inbound IDs

Fixes Instruction::ForEachInId so it covers
SPV_OPERAND_TYPE_MEMORY_SEMANTICS_ID and SPV_OPERAND_TYPE_SCOPE_ID.
Future proof a bit by using the common spvIsIdType routine.

Fixes https://github.com/KhronosGroup/SPIRV-Tools/issues/697

MARK-V decoder supports extended instructions

Update CHANGES to say we use GNUIntallDirs

Define variable to skip installation

If this is used as a static library in another project, this does not
need to be installed, and otherwise will just clutter the application's install.
To use, define SKIP_SPIRV_TOOLS_INSTALL which internally defines
ENABLE_SPIRV_TOOLS_INSTALL to control installation.

Also include GNUInstallDirs to get standard output 'lib' directory which is sometimes 'lib64' and not 'lib'

Convert pattern stack from deque to vector, and share it

Also move various vector::reserve calls to State ctor
Negligible perf benefit, but more tidy.

Added fixed width encoding to bit_stream

Fixed width encoding is intended to be used for small unsigned integers
when the upper bound is known both to the encoder and the decoder
(for example move-to-front rank).

Added compression tool tools/spirv-markv. Work in progress.

Command line application is located at tools/spirv-markv
API at include/spirv-tools/markv.h

At the moment only very basic compression is implemented, mostly varint.
Scope of supported SPIR-V opcodes is also limited.

Using a simple move-to-front implementation instead of encoding mapped
ids.

Work in progress:
- Does not cover all of SPIR-V
- Does not promise compatibility of compression/decompression across
  different versions of the code.

Added log(n) move-to-front implementation

The implementation is based on AVL and order statistic tree.

It accepts all kinds of values and the implementation
doesn't expect the behaviour to be consistent with id coding.

Intended by SPIR-V compression algorithms.

Added Huffman codec to utils

Attached ids to Huffman nodes for deterministic internal node
comparison.

Travis CI: stop requiring sudo and use make instead of ninja

This gives us shorter testing time since we can use the container
based testing environment, which starts faster. Also using make
means we don't need to install ninja separately.

Don't do hash lookup twice in FindDef

Move spv_instruction_t's into vector

No need to incur another copy here. These guys have embedded vectors
we'd rather not copy.

Reserve expected length of instructions vector

Move some temp vectors into parser state

We don't need to churn the allocations for these every instruction.

BlockMerge: Add BlockMergePass

Also, add BasicBlock::tail()

Update CHANGES

- Describe support for AMD extensions
- Describe recently added optimizer passes

Add support for SPV AMD extensions

mem2reg: Add InsertExtractElimPass

Transform multiple entry points

Don't stop just after one because of short-circuiting logical-or.

mem2reg: Add LocalSingleStoreElimPass

Eliminate function scope variables with one store, if possible.

mem2reg: Add pass to eliminate local loads and stores in single block.

Don't install googletest and googlemock

Mem2Reg: Add Local Access Chain Convert pass

- Supports OpAccessChain and OpInBoundsAccessChain
- Does not process modules with non-32-bit integer types.

Fix memory leak in ValidateBinaryUsingContextAndValidationState

Bots print output from timed out tests

Timeout set to 300 seconds. If no timeout, then ctest itself will be
timed out and terminated leaving no output.

Fixed misspelled ctest flag --output_on_failure

Support building on FreeBSD

CFA: Move TraversalRoots and ComputeAugmentedCFG into CFA

CFA: Pull in CalculateDominators

DefUseManager: Fix ReplaceAllUsesWith() to update inst_to_used_ids_

Added extension SPV_VALIDATOR_ignore_type_decl_unique

If extension is present in the module, validator will ignore the "type
declaration must be unique" rule.