Make nasm_malloc() et al available from inside ndisasm

Clean up nasmlib to remove functions irrelevant for ndisasm; make
nasm_malloc() etc usable inside ndisasm.

Merge commit 'origin/sse5'

test/Makefile: make a bit more useful

Slightly optimize the interface to nasm_token_hash()

Instead of returning -1 from nasm_token_hash, set tv->t_type to
TOKEN_ID and return TOKEN_ID, since that's what stdscan.c wants to do
with it anyway.  This allows us to simply tailcall nasm_token_hash().

Merge commit 'origin/master' into sse5

elf64: fix 32-bit truncations

Fix 32-bit truncations, as evidenced by the following test program:

    mov rax, 8080808080808080h

Document Infinity and NaN

Add __Infinity__, __QNaN__, and __SNaN__ to the documentation.

Support generating NaNs and infinities

Support generating NaNs and infinities as part of floating-point
constants.

Update documentation

Document new floating-point capabilities, and clean up the discussion
about BITS 64 and REX prefixes.

Simple test for hexadecimal floating-point numbers

Very trivial test for hexadecimal floating-point numbers

Fix error-reporting in hexadecimal floating-point numbers

Support C99-style hexadecimal floating point.

Add support for C99-style hexadecimal floating point.  The format is
0x <hexadecimal mantissa> p <binary exponent>.  0x1.0e+1 thus is the
same as 2.0.

Unify all standard IEEE floating-point formats; add 128-bit

Unify all the standard IEEE formats into one function, add support for
IEEE standard 128-bit floating point numbers.

The 80-bit format is still special since it explicitly represents the
integer portion.

Fix handling of DO; support unary + for floating-point numbers

Floating-point users generally expect to be able to use a unary plus.
Fix support for the DO instruction in several places.

Support 16-bit IEEE floating point; used in SSE5

SSE5 supports standard IEEE 16-bit floating point, so we should
support that too.

Merge commit 'origin/master' into sse5

Add NOP with argument to the instruction list

0F 1F /0 is documented as an EA-taking NOP since the P6.
0F 18..1F + EA are all "hinting nops" (instructions which, when
unimplemented, have no effect rather than #UD) but 0F 1F /0
specifically has no operation whatsoever.

Remove 0FC2 from list of instruction prefixes

0FC2 is not really an instruction prefix; it's the opcode for
CMPPS/CMPSS, which takes a control immediate which Intel chose to have
opcode aliases for.  However, we can't dispatch on a tail byte, so
it's useless.

Speed up the disassembler by allowing prefixed instruction tables

Modify the disassembler so that we can have separate instruction
tables for prefixed instructions.  As it was, all instructions which
started with 0F were linearly searched, and that is by now more than
half the instruction set.

Document oword, do and reso

Document oword and the associated do and reso pseudoinstructions.

Implement "oword" (128 bits) as a first-class size

Implement oword, reso, do, as well as the SO flag to instructions.  No
instructions are actually flagged with SO yet, but this allows us to
specify 128-bit sizes in instruction patterns.

Change the token prehash function for better convergence

Combining arithmetric (add) and bitwise (xor) mixing seems to give
better result than either.

With the new prehash function, we find a valid hash much quicker.

SSE5 instruction table

Implement the full SSE5 instruction table.

Disassembler support for SSE5 instructions

Support for the SSE5 instruction format in the disassembler.

Also adds some comments to insnsd.c for easier debugging.

insns.dat: All SSE5 instructions are AMD

SSE5 is an AMD-defined instruction set, so tag those AMD.

Actually generate SSE5 instructions

This checkin completes what is required to actually generate SSE5
instructions.  No support in the disassembler yet.

This checkin covers:

- Support for actually generating DREX prefixes.
- Support for matching operand "operand X must match Y"

Initial support for generating DREX suffixes

Initial support for generating DREX suffixes.  Not used yet.  No
disassembler support yet, and no support for "operand X must match
operand Y."

Fix a few instances of missing renumbers

parser.c: change hard-coded argument count 3 to MAX_ARGUMENTS
assemble.c: change a few missed code renumbers

Enable IF_AR3

Enable IF_AR3, which was incorrectly disabled in a previous checkin.

Merge commit 'origin/master' into sse5

Initial support for four arguments per instruction

For SSE5, we will need to support four arguments per instruction.

CLFLUSH: Neither an x64 instruction nor AMD

CLFLUSH was introduced at least in Katmai, if not sooner.  It's
available in all modes.

Sort dependency lists

Sort the dependency lists generated by "mkdep.pl", to make sure that
re-running "make alldeps" doesn't change anything unless there has
been real dependency changes.  The previous version could produce
different output between runs and across platforms.

Cleaner way to handle MSVC's _snprintf() underscore damage

Some versions of MSVC have snprintf() and vsnprintf() only with a
leading underscore.  Handle that a bit more cleanly.

test/r13.asm: test special-casing of rbp and r13 in 64-bit mode

Test that we correctly special-case the modr/m generation for r13 in
64-bit mode.

Additional documentation for 64-bit programming

Flesh out the documentation for 64-bit programming a little bit; in
particular, include links to the ABI documentation for various
platforms.

INSTALL: MSVC++ compilation instructions

Update compilation instructions for MSVC++, and point out that it's
not just Unix systems which can use the GNU instructions -- it also
applies to MacOS X and Windows with either Cygwin or MinGW.

make alldeps: change Mkfiles/Makefile.* to Mkfiles/*.mak

The previous checkin switched to the naming scheme *.mak to be able to
be more descriptive.  Thus, change "make alldeps" accordingly.

Fix Makefile for MSVC++ 2005, delete obsolete Makefiles

New Makefile for MSVC++ 2005, delete old unmaintained Makefiles.

Minor fixes needed to compile with MSVC++ 2005

Minor fixes to make it possible to compile with MS Visual C++ 2005.
Unfortunately, MSVC++ is not fully C99 compliant; in particular, it
doesn't handle interspersed declarations and other code.  Furthermore,
it chokes on some expressions in outelf64.c, which fortunately can be
easily substituted with simpler expressions.

Run "make alldeps"

Switch the preprocessor over to using the hash table library

Switch the preprocessor over to using the hash table library.  On my
system, this improves the runtime of the output of test/pref/macro.pl
from over 600 seconds to 7 seconds.

Macros have an odd mix of case-sensitive and case-insensitive
behaviour, plus there are matching parameters for arguments, etc.  As
a result, we use case-insensitive hash tables and use a linked list to
store all the possible isomorphs.

Fix the handling of local labels

In converting the label system over to the new hash table library,
accidentally broke local labels by prepending the prefix twice.  Fix.

preproc.c: remove unnecessary int64_t

We hardly need to support more than 2^31 arguments to a macro.

Use the new hash table function library to store labels

Use the new hash table function library to store labels.  When
compiling on my 64-bit system, it reduces the assembly time for the
output of test/perf/label.pl from 73 to 7 seconds.

Define a proper hash table library

Define a proper hash table library, instead of the current ad hoc stuff
used for both labels and macros.  This only implements the actual
library; it is not yet used.

We use a CRC64 as a prehash.  This is almost certainly overkill,
although it is rather efficient (except, arguably, the table lookup)
on 64-bit platforms, and not all that bad on 32-bit platforms.  All we
really need is a function which produces two independent 32-bit
results which are used as the primary and secondary hash
respectively.  Either way, the prehash function is easily replacable
if/when we have a quicker alternative.

Simple performance benchmarks: label, macro and token lookups

Simple scripts to generate performance benchmarks for label,
macro and token lookups.  The label and macro lookups are simple
numerical sequences; it may be desirable to add some more
sophisticated algorithms for producing tokens in case we want to
compare different hash functions against each other.

release script: fix final cleanup

Make sure we're in the right place for the final cleanup.

Modify release script for a git-centric world

Change the release script to use git rather than CVS.
THE BEHAVIOR OF THE SCRIPT HAS CHANGED -- make sure to look at it
before use.

pptok.c: don't insist on C99 compiler behaviour

Declarations that are not at the head is C99 behaviour, but it's
rather pointless for this little piece of code.  Fix to work with
older compilers.

Fix literal F2 and F3 prefixes

Correct literal F2 and F3 prefixes and instead use \332 and \333.
Otherwise we get the REX prefixes in the wrong place.

Add (untested!) SSSE3, SSE4.1, SSE4.2 instructions

Add the SSSE3, SSE4.1 and SSE4.2 instruction sets.  Change \332 to be
a literal 0xF2 prefix, by analog with \333 for 0xF3 prefix (the
previous \332 flag changed to \335).  This is necessary to get the REX
prefix in the right place for instructions that use it.

We are going to have to go in and change existing instruction patterns
which use these, as well.

Add support for Tejas New Instructions (SSSE3)

Add the SSSE3 instruction set.

Remove $Id$ tags (useless with git)

Remove CVS $Id$ tags, since git doesn't use them.

Use rm32 operands for VMREAD/VMWRITE

Use rm32 instead of coding reg32 and mem32 separately.

Macros for SSSE3/SSE4 instruction sets

Add instruction set flags for the SSSE3, SSE4.1 and SSE4.2 instruction
subsets.

Support r/m operands for non-integer types

Support r/m operands for non-integer operands types, i.e. mmx or xmm
operands.  This allows mmx and xmm operands to be written more
compactly, speeding up the assembler.

Use enumerations where practical to ease debugging

We have a lot of enumerations; by declaring fields as such, we make it
easier when debugging, since the debugger can display the enumerations
in cleartext.  However, make sure exceptional values (like -1) are
included in the enumeration, since the compiler otherwise may not
include it in the valid range of the enumeration.

pptok.c: quick-and-dirty downcasing during prehashing

Speed up pptok.c by just doing |= 0x20 instead of calling tolower() for
every character during prehashing.  This is good enough for our needs,
since we don't have any tokens containing the characters @ [ \ ] _ nor
any high-bit characters (in which case we'd have to worry about multibyte
anyway.)

phash: Tell the user when the graph is OK

Tell the user when the graph is OK, so that we don't get quite so much of
"a list of errors followed by a long pause."

pptok.c: handle holes in the pp_directives array

We need to fail if we land in a hole in the pp_directives array, since
we have a noncontiguous enum preproc_token now.

preproc.c: adjust whitespace

Be consistent about whitespace.

More automation in the preprocessor conditionals handling

Further automate the production of preprocessor conditionals.  Now the
code automatically folds if/elif and the negatives.

pptok.c: fix spacing

Generate automatically correct tests for %if and %elif

Automatically generate macros to test for %if and %elif variants, which
are guaranteed to be correct across future changes.

Run "make alldeps"; add dependencies missing from the previous checkin

It helps to run "make alldeps" when the changes are actually complete...

Use a perfect hash to look up preprocessor directives

Use a perfect hash to look up preprocessor directives, and generate
the preprocessor directive list automatically.

phash: Be a bit more aggressive about trying to make a small hash

Change the threshold to 0.7 instead of 0.8.

Add RCXZ as a known preprocessor condition

doc: add some cross-references

Feeble attempt at updating the documentation; remove Appendix B

Feeble attempt to document 64-bit support.  Also, remove Appendix B since
we have been utterly useless at keeping it up to date, and it's redundant
with the processor manufacturer's documentation anyway.

Handle instructions which can have both REX.W and OSP

Use enums to make debugging easier

When we're dealing with a field which is guaranteed to have an enum type,
then declare it as such so it shows up in debuggers.

ndisasm: handle \366 codes, prefer unprefixed instructions

- Implement \366 codes in ndisasm
- Prefer instruction patterns without loose prefixes if possible
- Fix improper initialization of operands in ndisasm

Simplify tokens.dat slightly

Quiet gcc warning about uninitialized variables

Make the big instruction arrays "const"

Make the big instruction arrays "const", so they end up in readonly
storage.  While we're at it, move their prototypes into insns.h.

Use an actual enum for the opcode

Use an actual named enum for the opcode, that way it shows up in
cleartext while debugging.

Fix order of token arguments

Order of token arguments was reversed, but tokens.dat wasn't updated
accordingly.  Fix.

assemble.c: correct special handing of ESP/RSP

Correct the special handling of ESP/RSP (must be in the base register
slot, but requires SIB.)

tokhash: correct duplicate-token test

tokhash: adjust table types to reduce size

Adjust the sizes of data types to reduce the total size of the tokhash
data structure.

Fix the MMXREG and XMMREG flags definitions.

nasm.spec.in: Copyright -> License

Fix "make tar"; useful for RPM testing

Remove obsolete Serial: construct; we shouldn't need it anyway.

Provide 64-bit support for ORG directive

Fix some MMX/SSE irregularities which interact with the 64-bit support

phash.ph: yet another attempt at getting Perl to behave, arithmetically

Simple 64-bit org test

phash.ph: remove some stale code

Remove old randomization code which is no longer used.

Force use of integer values for generating hash keys.

phash: don't rely on the build platform Perl version of rand()

rand() in Perl can vary between platforms, so don't use it.  Instead,
remove a completely pointless level of indirection (it introduced a
permutation which cancelled itself out) and provide a canned set of
random numbers for the rest.  This guarantees we will always use the
same numbers.

tokhash.pl: formatting changes for readability

No functional change

tokhash: Speed up the rejection of unhashed values

Speed up the rejection of unhashed values (typically identifiers) by
filling unused hash slots with a large value (but not so large that
it is likely to overflow.)  This means those values will be rejected
already by the range check, not needing strcmp().

tokhash.pl: "ix" should have the same width as the "hash" arrays

For correctness in case of a very "linear" graph, "ix" needs to have
the same width as the "hash" arrays.

Add "do not edit" comment to tokhash.c

Make the token hash a bit smaller by using 16-bit hash tables

Minor cleanup; remove duplication of names.c

phash.ph: use a bipartite graph to reduce the storage requirements

Since we fold the f- and g-functions together, if we guarantee that g is
bipartite, we can make g twice the size of f without cost.  This greatly
improves the odds of generating a smaller hash.