Macros for SSSE3/SSE4 instruction sets

Add instruction set flags for the SSSE3, SSE4.1 and SSE4.2 instruction
subsets.

Support r/m operands for non-integer types

Support r/m operands for non-integer operands types, i.e. mmx or xmm
operands.  This allows mmx and xmm operands to be written more
compactly, speeding up the assembler.

Use enumerations where practical to ease debugging

We have a lot of enumerations; by declaring fields as such, we make it
easier when debugging, since the debugger can display the enumerations
in cleartext.  However, make sure exceptional values (like -1) are
included in the enumeration, since the compiler otherwise may not
include it in the valid range of the enumeration.

pptok.c: quick-and-dirty downcasing during prehashing

Speed up pptok.c by just doing |= 0x20 instead of calling tolower() for
every character during prehashing.  This is good enough for our needs,
since we don't have any tokens containing the characters @ [ \ ] _ nor
any high-bit characters (in which case we'd have to worry about multibyte
anyway.)

phash: Tell the user when the graph is OK

Tell the user when the graph is OK, so that we don't get quite so much of
"a list of errors followed by a long pause."

pptok.c: handle holes in the pp_directives array

We need to fail if we land in a hole in the pp_directives array, since
we have a noncontiguous enum preproc_token now.

preproc.c: adjust whitespace

Be consistent about whitespace.

More automation in the preprocessor conditionals handling

Further automate the production of preprocessor conditionals.  Now the
code automatically folds if/elif and the negatives.

pptok.c: fix spacing

Generate automatically correct tests for %if and %elif

Automatically generate macros to test for %if and %elif variants, which
are guaranteed to be correct across future changes.

Run "make alldeps"; add dependencies missing from the previous checkin

It helps to run "make alldeps" when the changes are actually complete...

Use a perfect hash to look up preprocessor directives

Use a perfect hash to look up preprocessor directives, and generate
the preprocessor directive list automatically.

phash: Be a bit more aggressive about trying to make a small hash

Change the threshold to 0.7 instead of 0.8.

Add RCXZ as a known preprocessor condition

doc: add some cross-references

Feeble attempt at updating the documentation; remove Appendix B

Feeble attempt to document 64-bit support.  Also, remove Appendix B since
we have been utterly useless at keeping it up to date, and it's redundant
with the processor manufacturer's documentation anyway.

Handle instructions which can have both REX.W and OSP

Use enums to make debugging easier

When we're dealing with a field which is guaranteed to have an enum type,
then declare it as such so it shows up in debuggers.

ndisasm: handle \366 codes, prefer unprefixed instructions

- Implement \366 codes in ndisasm
- Prefer instruction patterns without loose prefixes if possible
- Fix improper initialization of operands in ndisasm

Simplify tokens.dat slightly

Quiet gcc warning about uninitialized variables

Make the big instruction arrays "const"

Make the big instruction arrays "const", so they end up in readonly
storage.  While we're at it, move their prototypes into insns.h.

Use an actual enum for the opcode

Use an actual named enum for the opcode, that way it shows up in
cleartext while debugging.

Fix order of token arguments

Order of token arguments was reversed, but tokens.dat wasn't updated
accordingly.  Fix.

assemble.c: correct special handing of ESP/RSP

Correct the special handling of ESP/RSP (must be in the base register
slot, but requires SIB.)

tokhash: correct duplicate-token test

tokhash: adjust table types to reduce size

Adjust the sizes of data types to reduce the total size of the tokhash
data structure.

Fix the MMXREG and XMMREG flags definitions.

nasm.spec.in: Copyright -> License

Fix "make tar"; useful for RPM testing

Remove obsolete Serial: construct; we shouldn't need it anyway.

Provide 64-bit support for ORG directive

Fix some MMX/SSE irregularities which interact with the 64-bit support

phash.ph: yet another attempt at getting Perl to behave, arithmetically

Simple 64-bit org test

phash.ph: remove some stale code

Remove old randomization code which is no longer used.

Force use of integer values for generating hash keys.

phash: don't rely on the build platform Perl version of rand()

rand() in Perl can vary between platforms, so don't use it.  Instead,
remove a completely pointless level of indirection (it introduced a
permutation which cancelled itself out) and provide a canned set of
random numbers for the rest.  This guarantees we will always use the
same numbers.

tokhash.pl: formatting changes for readability

No functional change

tokhash: Speed up the rejection of unhashed values

Speed up the rejection of unhashed values (typically identifiers) by
filling unused hash slots with a large value (but not so large that
it is likely to overflow.)  This means those values will be rejected
already by the range check, not needing strcmp().

tokhash.pl: "ix" should have the same width as the "hash" arrays

For correctness in case of a very "linear" graph, "ix" needs to have
the same width as the "hash" arrays.

Add "do not edit" comment to tokhash.c

Make the token hash a bit smaller by using 16-bit hash tables

Minor cleanup; remove duplication of names.c

phash.ph: use a bipartite graph to reduce the storage requirements

Since we fold the f- and g-functions together, if we guarantee that g is
bipartite, we can make g twice the size of f without cost.  This greatly
improves the odds of generating a smaller hash.

Finishing touches on perfect hash tokenizer; actually turn the thing on

Finish the perfect hash tokenizer, and actually enable it.

Move stdscan() et al to a separate file, since it's not needed in any
of the clients of nasmlib other than nasm itself.

Run make alldeps.

Makefile rule for tokhash.c

tokens.dat: Data file containing alphanumeric tokens not in other .dats

Generate a perfect hash for the token parser

Fix bugs in repeated suffix handling, which led to missing r8d/r8w/r8d

phash.ph: more powerful prehashing

Make the perfect hash generator an includable module

Correct the logic for recording fs: and gs: overrides.

Generate R_X86_64_64 relocations in elf64 output

When appropriate, generate R_X86_64_64 relocations in elf64 output.

Add README file

Create a Perl library directory, and add the Graph module to it

Graph-0.84 from CPAN

Perfect hash generator, as a perl script

Requires the CPAN Graph module.

Use standard macro for the default directive

Add standard macro for [default] directive

More test cases for rel and abs addressing

Add [default] directive

Add the [default {abs|rel}] directive, and clean up directive parsing.

nasmlib: add bsii() case-insensitive version of bsi()

Add test cases for IP-relative addressing

Suppress IP-relative only for fs: and gs: overrides

AMD has (undocumented) segment limits even in 64-bit mode, so people
may want to use cs/ds/es/ss overrides.  Since there are no bases, however,
IP-relative still applies.

See:
http://www.amd.com.hk/us-en/assets/content_type/DownloadableAssets/dwamd_kernel_summit_08_RB.pdf

Implement REL/ABS modifiers

Implement "REL" and "ABS" modifiers for offsets in 64-bit mode.  This
replaces "rip+XXX" type addressing.  The infrastructure to set the default
mode is there, but there is nothing to throw the switch just yet.

attempt to make static makefiles aware of outelf32/outelf64

add nasm_strsep to nasmlib, for output/outmacho.c - strtok doesn't work

remove "#include <unistd.h> from rdoff directory - two places - it annoyed Windows users and seems unneeded

finally commit Mike Frysinger's "elf-visibility" patch

regs.pl: handle dashed sequences with suffixes

Handle dashed sequences with suffixes.  Use that for r8-r15[bwd].

sync.c: change ULONG_MAX to UINT32_MAX

The value returned is uint32_t, not unsigned long.  This creates a
warning when compiling on 64-bit machines.

Add _MIN and _MAX macros for the fixed-size types.

ldrdf: cast output of sizeof() before passing to printf(), to avoid warning.

The C99 way of doing this would be to use %zu, but that requires intrinsic
C library support.

Fixed RIP address processing ambiguity found by Charles Crayne.

Fixed issues with REX prefix effective address generation. Fixed XMM instruction output.

Changed MMXREG and XMMREG flags to help resolve invalid REX prefix generation for MMX instructions.

More int/int32_t confusion

regflag() should return int32_t.

Detect missing <inttypes.h> and include ersatz version if missing

inttypes.h: for older preprocessors, specify L and LL as appropriate

inttypes.h: Fix spelling of SHRT_MAX

inttypes.h: do a single ersatz <inttypes.h> based on <limits.h>

Support 32-bit direct addressing in 64-bit mode without base or index regs

Fix the [U]INT*_C() creation macros

The [U]INT*_C() macros were broken, because ## takes precedence over
macro resolution.

For platforms that don't have them, provide <inttypes.h> for common models.

Apparently, some platforms (*cough* MSVC *cough*) haven't figured out what
year it is and are behind the curve.  Provide <inttypes.h> for common
memory models.  We can add more if there are odd platforms which don't
have "long long" for 64 bits, too.

Fix the handling of the \313 code.

\313 indicates a fixed 64-bit address size.  It was incorrectly
documented and incorrectly implemented in the assembler, and was
unimplemented in the disassembler.

Machine-generated \321->\324 corrections

Use a script to find \321's that should be \324's.  This is not in any
way guaranteed to be an exhaustive list, however, I have manually verified
that all the items that *were* changed *should* be changed.

update "version" to 0.99.02

Correct the generation of 67 prefixes.

The recent switch from register numbers (with -1 meaning "none") to
register flags (with 0 meaning "none") broke the generation of 67
prefixes, especially in 64-bit mode.

Update dependencies.

update cvs server name in misc/release script

Avoid magic values; we have more than 124 registers now

There was a magic hard-coded constant that register numbers were between
1 and 124.  Well, we have about 150 registers now, and that broke.

Remove bogus redundant tests

Remove tests that are bogus (they trigger for legitimate instructions.)
The failure cases are okay anyway since they will be trapped by the
REX generation logic.

More \321 -> \324

More \321 that should be \324...

Remove bogus check for 64-bitness

Remove a bogus check for 64-bit operands.  If appropriate, we will
detect this during REX generation and will bail then.  However, there
are other instructions (floating point, MMX, ...) which are legitimately
64 bits in non-64-bit mode.

Get rid of magic open-coded "register numbers"

Get rid of magic open-coded register numbers.  We now keep track of
a total of three different kinds of register numbers: the register
enumeration (regs.h), the x86 register value, and the register flags.
That has all the information we need.

Additionally, do massive revamping of the EA generation code and the
REX generation logic.

MOV reg64,reg64 takes \324 (64 bit with REX) not \321 (32 bit)

Rename REGNORM to REG_EA

Rename REGNORM to REG_EA to make the distinction between REG_GPR and
REG_EA clearer.

More instruction flag surgery

More cleanup of operand flags/register classes