Make strings a first-class token type; defer evaluation

Make strings a proper, first-class token type, instead of relying on
the "TOKEN_NUM with tv_charptr" hack.  Only convert a string to a
number if requested in an expression context; this also makes it
possible to actually issue a warning when it overflows.

Move all the RAA code out of nasmlib

The RAA code doesn't have to be in nasmlib; it is only used by nasm
itself, and is better handled in a separate module.

saa.h doesn't need nasmlib.h

We don't have to include nasmlib.h in saa.h

Move all the SAA code out of nasmlib

Move all the SAA code out of nasmlib; it's not used by anything than
nasm itself.  Cleaning out the kitchen sink known as nasmlib is a good
thing, too.

Merge branch 'nasm-2.03.x'

Fix %? in multi-line macros with a label

The handling of %? in multi-line macros was broken when the macro name
was preceeded by a label; it would expand to the label instead of the
macro name.  This was particularly serious since this was used in
the macro implementation of INCBIN.

Replace the WSAA macros with functions

Change the WSAA macros into functions; reducing the icache footprint.

Use autoconf to detect WORDS_LITTLEENDIAN

Use autoconf to detect littleendian word order, and use
WORDS_LITTLEENDIAN instead of X86_MEMORY when we don't require
unaligned memory accesses to be permitted.

WSAA: make the WSAA macros contain their own buffer

Make the WSAA macros contain their own buffer definitions.  This
eliminates the need to have a separate "workbuf" declared in the
outelf backends, which isn't even used for anything else, except for a
few completely redundant strcpys.

Note: these macros probably should be replaced with actual
functions.  The overhead of the function call is likely to be more
than offset by lower icache footprint.

NASM 2.03

doc: Fix title "String Constants"

Cut & paste oops...

doc: Index Unicode and UTF-8

Add Unicode and UTF-8 to the index

doc: \t is also a supported escape sequence...

doc: s/by/in/ certain preprocessor directives.

Split documentation on string syntax out of "character constants"

Split the documentation on string syntax, as a lexical entity, out of
the section about character constants.  It was confusing to have
discussion that apply more to string constants than character
constants, and they use the same syntax anyway.

doc: A few floating-point examples

doc: add a comma

This time the comma should actually be there.

doc: ALL %if constructs have %elif/%ifn/%elifn variants.

All %if constructs now have %elif/%ifn/%elifn; this is hard-coded into
the preprocessor.

doc: remove superfluous comma

Improve the %iftoken example

Fix capitalization in titles

Document forward references fixed in EQU.

Document __OUTPUT_FORMAT__

It may be "too late" for this to get into 2.03, but I've been whining
that "__OUTPUT_FORMAT__" ought to be documented. Maybe...

NASM 2.03rc8

Fix dependency list generation

The dependency list tail pointer wasn't actually updated correctly.
Fix that.  We may want to make this a structure of some sort to make
the code a bit cleaner, but this seems to be the cleanest hack for
now.

NASM 2.03rc7

Merge branch 'master' of git+ssh://repo.or.cz/srv/git/nasm

The XSAVE group are SSE-spefix-sensitive

The XSAVE group are SSE-prefix-sensitive (null prefix), and therefore
take the \360 flag.

Merge branch 'master' of git+ssh://ccrayne@repo.or.cz/srv/git/nasm

Avoid obscure segfault in DWARF generation

If DWARF debugging info is requested, and no section
is marked executable, output empty debug sections,
instead of allowing assembler to segfault.

insnsd.c: don't generate an inaccessible table

Some pseudo-instructions (RESB and EQU) seem to make it into the
instruction table.  This also generates an instruction table for
zero-length instructions, which of course can never actually be
accessed.  Quiet a compiler warning by simply not emitting this
useless table.  Ideally we shouldn't emit the pseudo-instructions
either, but that is a bigger change, and it's hardly a lot of memory
involved.

NASM 2.03rc6

doc: Remove superfluous comma.

Add %defstr, %idefstr

Add %defstr and %idefstr, to define a macro as a quoted string.

Merge branch 'master' of git+ssh://ccrayne@repo.or.cz/srv/git/nasm

Remove EQU for critical expression list

Allow redefine_label to update segment as well as offset,
thereby fixing bug which required EQU to be on the
critical expression list.

NASM 2.03rc5

Fix double free in %depend

Fix memory management issues with expanded %include

Ownership of the filename string was a bit fuzzy, with the result that
we were freeing it even though it was retained for use by __FILE__.
Clean up a number of other memory management issues with the new
quoting code, and change the stdscan implementation to one pass over
the string.

Update .gitignore, remove bogus dependency

Makefile/dependency updates

Add quote.c to all the auxiliary Makefiles, and run "make alldeps".

doc: Remove "what's new" since it is out of date

quote: Change the definition of escp

Semi-arbitrary change of the definition of escp to the beginning of
the argument sequence instead of the initiator character.  This may
avoid an add in some code paths, and looks slightly cleaner to me.

quote: be consistent in not using C escapes for bytes

We used numbers in nasm_unquote and C escapes in nasm_quote - use
numbers in both places, just in case some C compiler does something
weird with '\r' and (especially) '\n'.

nasm_unquote: make code a little more uniform

Make the code a bit more consistent:

- ndig is now always a countdown, and we always to the (p > escp+1)
  test to see if we got anything at all (this is to deal with stuff
  like \x without a digit.)
- Add missing break; after 'v' (bug!).
- Preinitialize nval to zero.

quote: massively simplify nasm_skip_string()

Greatly simplify nasm_skip_string() by observing that for the purpose
of string skipping, all states other than st_backslash are equivalent
to st_start.

Document UTF-8 conversion better, use "byte" instead of "ASCII"

ASCII specifically refers to characters <= 127, so to use "ASCII" for
literal bytes is really confusing in a multibyte environment.  Give an
example of using Unicode escapes.

Document that underscores in numbers is permitted.

NASM 2.03rc4

Update CHANGES

nasmdoc: document %substr, `...`

Fix bug where the WinHelp backend corrupts the internal data

WinHelp/RTF needs to convert \ to \\, but did so on the global data,
so the DIP output was corrupted.

qstring: fix unquoting in %pathsearch directive

%pathsearch unquoting should be done on the "t" token, not on the
"tline" token...

qstring: backquoted strings seem to work now...

Hopefully backquoted strings should work correctly now.

qstring: first cut at full quoted string support in the preprocessor

First attempt at properly handle quoted strings in the preprocessor.
This also adds range support in %substr.

No support in the assembler yet.

qstring: add nasm_unquote() supporting `...`

Add a nasm_unquote() function supporting the intended `...` syntax.

doc: Single section for all the date/time macros

Move all the date/time macros to a common section so we can give a
common example.  We don't have support for a fourth level of headers,
so just use a bulleted list.

doc: fix __UTC_DATE__ and __UTC_TIME__ description

incbin: use the macro name itself as context name

Use the macro name itself as the context name, this is consistent with
other standard macros.

Update CHANGES

Add missing %rotate directive to the FLOAT macro.

incbin definition: use %?

Document %pathsearch and %depend

Introduce %depend and %pathsearch, and make incbin a macro

Introduce new preprocessor directives %depend and %pathsearch, and
make incbin a standard macro using these filenames.  This lets us
remove the code that makes incbin search the path.

stdscan.c: clarify comment

There is a reason rn_warn isn't checked in this particular case...

preproc.c: %include: use expand_smacros() not expand_smacros_in_string()

Call expand_smacros() early instead of expand_smacros_in_string()
late.  expand_smacros_in_string() seems like a prodigiously bad idea
and a sheer brainfart in my opinion.

doc: consistent capitalization (and indexing!) of INCBIN

Add the -MP option to emit phony targets

Add the -MP option to emit phony targets.  Since this means each
header file has to be visited more than once, change the
implementation to use an internal list of all the dependencies, and
centralize the emission of the dependency files.

Add new options to CHANGES

NASM 2.03rc3

Document the new dependency options.

Implement -MD, -MF, -MT, -MQ

Implement the dependency options:

-MF: set the file to which dependencies are written.
-MD: generate dependencies in parallel with compilation.
-MT: set the name of the dependency target.
-MQ: same as -MT, but *attempt* to quote it for Makefile safety.

preproc.c: get_ctx() can return NULL...

Handle the case where we would attempt to look up a possible local
context just to find that one doesn't exist.

Missing % in %ifmacro

hash user allocates struct hash_table

struct hash_table, a fixed-sized structure, is now allocated by the
caller.  This lets us integrate it into the Context structure, thus
avoiding an additional dynamically allocated object for no good
reason.

Add some minor code collapsing: make it more obvious that all that
differs is a pointer value, rather than relying on the compiler to do
tail merging.

Merge commit 'autotest/master'

tokhash.pl: fix comment

Correct filename in comment

regs.pl: add include guards to generated header files

Add include guards to generated header files, and make sure the
appropriate prerequisite headers are included if necessary.

make alldeps

regs.pl: regdis.h needs "extern"; minor cleanups

The declarations in regdis.h need to be "extern", since they are
external data.

regdis.c should include regdis.h.

Minor stylistic cleanups in regs.c.

NASM 2.03rc2

insns.dat: whitespace cleanup

Fix double 66 prefixes on INVEPT/INVVPID (BR 1956955)

Fix double 66 prefixes on INVEPT/INVVPID in 16-bit mode, per BR
1956955.

doc: document Win32/64 SEH extensions

Document COFF extensions for Windows SEH

outcoff.c: remove dead code, add check for imagerel

Remove commented-out (dead) code, add check that the imagerel
references are valid.

avx.bin: clean up screwy whitespace

VCVTPD2PS, VCVTPD2DQ, VCVTTPD2DQ mem need explicit op size (BR 1974170)

BR 1974170: VCVTPD2PS, VCVTPD2DQ, VCVTTPD2DQ with a memory operand are
ambiguous without a specific operand size, so force one to be added.

Split the instruction pattern due to our current clunky handling of
MMX/XMM/YMM registers together with sizes.  Fix in the future, please!

Fix parameters to VCVTPD2DQ (BR 1974159)

regs.pl: add comments to regflags.c and regvals.c

Add comments to regflags.c and regvals.c, to make it easier to spot
errors.

Fix register numbers for ymm1-15!

ymm1-15 were incorrectly listed as starting at register number 0, with
obviously disastrous consequences...

ndisasm: the high bit of is4 bytes is ignored in 32-bit mode

Mask the high bit of is4 bytes in 32-bit mode.  Provide a generic
"regmask" variable that we can use for equivalent purposes as needed.

macros.pl: more readable comments

Add some comments to the output of macros.pl

Add some comments to the output of macros.pl, which might make it a
little bit easier to debug issues if there should be any.

preproc.c: prevent the compiler from reducing enum pp_token_type

The compiler is free to store enum pp_token_type into any size integer
small enough to contain all the values up to 2^n-1 for the smallest n
which contains all the values.  Force it to size it to integer size,
since we use it to hold macro positional parameters.

NASM 2.03rc1

CHANGES entry for %? and %??

Document %? and %??

Implement %? and %?? for mmacros

Same as before, but for mmacros this time

Implement %? and %?? for smacros

%? - substitute the macro name as invoked
%?? - substitute the macro name as defined

In particular:

%idefine keyword $%?

... can be used to make a new keyword "disappear".

phash: canonicalize order, fix handling of ignored duplicates

Canonicalize the order of the prehash entries, so we don't have to
worry about looking up both pairs of edges.

When we find a collision that we decide to ignore, there is no point
in adding the same edge into the array again; instead, just skip the
current edge.