Switch the preprocessor over to using the hash table library

Switch the preprocessor over to using the hash table library.  On my
system, this improves the runtime of the output of test/pref/macro.pl
from over 600 seconds to 7 seconds.

Macros have an odd mix of case-sensitive and case-insensitive
behaviour, plus there are matching parameters for arguments, etc.  As
a result, we use case-insensitive hash tables and use a linked list to
store all the possible isomorphs.

Fix the handling of local labels

In converting the label system over to the new hash table library,
accidentally broke local labels by prepending the prefix twice.  Fix.

preproc.c: remove unnecessary int64_t

We hardly need to support more than 2^31 arguments to a macro.

Use the new hash table function library to store labels

Use the new hash table function library to store labels.  When
compiling on my 64-bit system, it reduces the assembly time for the
output of test/perf/label.pl from 73 to 7 seconds.

Define a proper hash table library

Define a proper hash table library, instead of the current ad hoc stuff
used for both labels and macros.  This only implements the actual
library; it is not yet used.

We use a CRC64 as a prehash.  This is almost certainly overkill,
although it is rather efficient (except, arguably, the table lookup)
on 64-bit platforms, and not all that bad on 32-bit platforms.  All we
really need is a function which produces two independent 32-bit
results which are used as the primary and secondary hash
respectively.  Either way, the prehash function is easily replacable
if/when we have a quicker alternative.

Simple performance benchmarks: label, macro and token lookups

Simple scripts to generate performance benchmarks for label,
macro and token lookups.  The label and macro lookups are simple
numerical sequences; it may be desirable to add some more
sophisticated algorithms for producing tokens in case we want to
compare different hash functions against each other.

release script: fix final cleanup

Make sure we're in the right place for the final cleanup.

Modify release script for a git-centric world

Change the release script to use git rather than CVS.
THE BEHAVIOR OF THE SCRIPT HAS CHANGED -- make sure to look at it
before use.

pptok.c: don't insist on C99 compiler behaviour

Declarations that are not at the head is C99 behaviour, but it's
rather pointless for this little piece of code.  Fix to work with
older compilers.

Fix literal F2 and F3 prefixes

Correct literal F2 and F3 prefixes and instead use \332 and \333.
Otherwise we get the REX prefixes in the wrong place.

Add (untested!) SSSE3, SSE4.1, SSE4.2 instructions

Add the SSSE3, SSE4.1 and SSE4.2 instruction sets.  Change \332 to be
a literal 0xF2 prefix, by analog with \333 for 0xF3 prefix (the
previous \332 flag changed to \335).  This is necessary to get the REX
prefix in the right place for instructions that use it.

We are going to have to go in and change existing instruction patterns
which use these, as well.

Add support for Tejas New Instructions (SSSE3)

Add the SSSE3 instruction set.

Remove $Id$ tags (useless with git)

Remove CVS $Id$ tags, since git doesn't use them.

Use rm32 operands for VMREAD/VMWRITE

Use rm32 instead of coding reg32 and mem32 separately.

Macros for SSSE3/SSE4 instruction sets

Add instruction set flags for the SSSE3, SSE4.1 and SSE4.2 instruction
subsets.

Support r/m operands for non-integer types

Support r/m operands for non-integer operands types, i.e. mmx or xmm
operands.  This allows mmx and xmm operands to be written more
compactly, speeding up the assembler.

Use enumerations where practical to ease debugging

We have a lot of enumerations; by declaring fields as such, we make it
easier when debugging, since the debugger can display the enumerations
in cleartext.  However, make sure exceptional values (like -1) are
included in the enumeration, since the compiler otherwise may not
include it in the valid range of the enumeration.

pptok.c: quick-and-dirty downcasing during prehashing

Speed up pptok.c by just doing |= 0x20 instead of calling tolower() for
every character during prehashing.  This is good enough for our needs,
since we don't have any tokens containing the characters @ [ \ ] _ nor
any high-bit characters (in which case we'd have to worry about multibyte
anyway.)

phash: Tell the user when the graph is OK

Tell the user when the graph is OK, so that we don't get quite so much of
"a list of errors followed by a long pause."

pptok.c: handle holes in the pp_directives array

We need to fail if we land in a hole in the pp_directives array, since
we have a noncontiguous enum preproc_token now.

preproc.c: adjust whitespace

Be consistent about whitespace.

More automation in the preprocessor conditionals handling

Further automate the production of preprocessor conditionals.  Now the
code automatically folds if/elif and the negatives.

pptok.c: fix spacing

Generate automatically correct tests for %if and %elif

Automatically generate macros to test for %if and %elif variants, which
are guaranteed to be correct across future changes.

Run "make alldeps"; add dependencies missing from the previous checkin

It helps to run "make alldeps" when the changes are actually complete...

Use a perfect hash to look up preprocessor directives

Use a perfect hash to look up preprocessor directives, and generate
the preprocessor directive list automatically.

phash: Be a bit more aggressive about trying to make a small hash

Change the threshold to 0.7 instead of 0.8.

Add RCXZ as a known preprocessor condition

doc: add some cross-references

Feeble attempt at updating the documentation; remove Appendix B

Feeble attempt to document 64-bit support.  Also, remove Appendix B since
we have been utterly useless at keeping it up to date, and it's redundant
with the processor manufacturer's documentation anyway.

Handle instructions which can have both REX.W and OSP

Use enums to make debugging easier

When we're dealing with a field which is guaranteed to have an enum type,
then declare it as such so it shows up in debuggers.

ndisasm: handle \366 codes, prefer unprefixed instructions

- Implement \366 codes in ndisasm
- Prefer instruction patterns without loose prefixes if possible
- Fix improper initialization of operands in ndisasm

Simplify tokens.dat slightly

Quiet gcc warning about uninitialized variables

Make the big instruction arrays "const"

Make the big instruction arrays "const", so they end up in readonly
storage.  While we're at it, move their prototypes into insns.h.

Use an actual enum for the opcode

Use an actual named enum for the opcode, that way it shows up in
cleartext while debugging.

Fix order of token arguments

Order of token arguments was reversed, but tokens.dat wasn't updated
accordingly.  Fix.

assemble.c: correct special handing of ESP/RSP

Correct the special handling of ESP/RSP (must be in the base register
slot, but requires SIB.)

tokhash: correct duplicate-token test

tokhash: adjust table types to reduce size

Adjust the sizes of data types to reduce the total size of the tokhash
data structure.

Fix the MMXREG and XMMREG flags definitions.

nasm.spec.in: Copyright -> License

Fix "make tar"; useful for RPM testing

Remove obsolete Serial: construct; we shouldn't need it anyway.

Provide 64-bit support for ORG directive

Fix some MMX/SSE irregularities which interact with the 64-bit support

phash.ph: yet another attempt at getting Perl to behave, arithmetically

Simple 64-bit org test

phash.ph: remove some stale code

Remove old randomization code which is no longer used.

Force use of integer values for generating hash keys.

phash: don't rely on the build platform Perl version of rand()

rand() in Perl can vary between platforms, so don't use it.  Instead,
remove a completely pointless level of indirection (it introduced a
permutation which cancelled itself out) and provide a canned set of
random numbers for the rest.  This guarantees we will always use the
same numbers.

tokhash.pl: formatting changes for readability

No functional change

tokhash: Speed up the rejection of unhashed values

Speed up the rejection of unhashed values (typically identifiers) by
filling unused hash slots with a large value (but not so large that
it is likely to overflow.)  This means those values will be rejected
already by the range check, not needing strcmp().

tokhash.pl: "ix" should have the same width as the "hash" arrays

For correctness in case of a very "linear" graph, "ix" needs to have
the same width as the "hash" arrays.

Add "do not edit" comment to tokhash.c

Make the token hash a bit smaller by using 16-bit hash tables

Minor cleanup; remove duplication of names.c

phash.ph: use a bipartite graph to reduce the storage requirements

Since we fold the f- and g-functions together, if we guarantee that g is
bipartite, we can make g twice the size of f without cost.  This greatly
improves the odds of generating a smaller hash.

Finishing touches on perfect hash tokenizer; actually turn the thing on

Finish the perfect hash tokenizer, and actually enable it.

Move stdscan() et al to a separate file, since it's not needed in any
of the clients of nasmlib other than nasm itself.

Run make alldeps.

Makefile rule for tokhash.c

tokens.dat: Data file containing alphanumeric tokens not in other .dats

Generate a perfect hash for the token parser

Fix bugs in repeated suffix handling, which led to missing r8d/r8w/r8d

phash.ph: more powerful prehashing

Make the perfect hash generator an includable module

Correct the logic for recording fs: and gs: overrides.

Generate R_X86_64_64 relocations in elf64 output

When appropriate, generate R_X86_64_64 relocations in elf64 output.

Add README file

Create a Perl library directory, and add the Graph module to it

Graph-0.84 from CPAN

Perfect hash generator, as a perl script

Requires the CPAN Graph module.

Use standard macro for the default directive

Add standard macro for [default] directive

More test cases for rel and abs addressing

Add [default] directive

Add the [default {abs|rel}] directive, and clean up directive parsing.

nasmlib: add bsii() case-insensitive version of bsi()

Add test cases for IP-relative addressing

Suppress IP-relative only for fs: and gs: overrides

AMD has (undocumented) segment limits even in 64-bit mode, so people
may want to use cs/ds/es/ss overrides.  Since there are no bases, however,
IP-relative still applies.

See:
http://www.amd.com.hk/us-en/assets/content_type/DownloadableAssets/dwamd_kernel_summit_08_RB.pdf

Implement REL/ABS modifiers

Implement "REL" and "ABS" modifiers for offsets in 64-bit mode.  This
replaces "rip+XXX" type addressing.  The infrastructure to set the default
mode is there, but there is nothing to throw the switch just yet.

attempt to make static makefiles aware of outelf32/outelf64

add nasm_strsep to nasmlib, for output/outmacho.c - strtok doesn't work

remove "#include <unistd.h> from rdoff directory - two places - it annoyed Windows users and seems unneeded

finally commit Mike Frysinger's "elf-visibility" patch

regs.pl: handle dashed sequences with suffixes

Handle dashed sequences with suffixes.  Use that for r8-r15[bwd].

sync.c: change ULONG_MAX to UINT32_MAX

The value returned is uint32_t, not unsigned long.  This creates a
warning when compiling on 64-bit machines.

Add _MIN and _MAX macros for the fixed-size types.

ldrdf: cast output of sizeof() before passing to printf(), to avoid warning.

The C99 way of doing this would be to use %zu, but that requires intrinsic
C library support.

Fixed RIP address processing ambiguity found by Charles Crayne.

Fixed issues with REX prefix effective address generation. Fixed XMM instruction output.

Changed MMXREG and XMMREG flags to help resolve invalid REX prefix generation for MMX instructions.

More int/int32_t confusion

regflag() should return int32_t.

Detect missing <inttypes.h> and include ersatz version if missing

inttypes.h: for older preprocessors, specify L and LL as appropriate

inttypes.h: Fix spelling of SHRT_MAX

inttypes.h: do a single ersatz <inttypes.h> based on <limits.h>

Support 32-bit direct addressing in 64-bit mode without base or index regs

Fix the [U]INT*_C() creation macros

The [U]INT*_C() macros were broken, because ## takes precedence over
macro resolution.

For platforms that don't have them, provide <inttypes.h> for common models.

Apparently, some platforms (*cough* MSVC *cough*) haven't figured out what
year it is and are behind the curve.  Provide <inttypes.h> for common
memory models.  We can add more if there are odd platforms which don't
have "long long" for 64 bits, too.

Fix the handling of the \313 code.

\313 indicates a fixed 64-bit address size.  It was incorrectly
documented and incorrectly implemented in the assembler, and was
unimplemented in the disassembler.