doc: framework for documenting standard macro packages

Add a framework for documenting the standard macro packages.  Also
move the standard macros to the end of the preprocessor section,
instead of having them in the middle of the directives list.

%use: call these directives "standard macro packages"

Adopt the term "standard macro packages", "modules" are too
ambiguous.

macros.pl: need to use $' to get proper left-to-right behaviour

Using ^(.*) means we do right-to-left search, since (.*) is a greedy
expression; instead use $' to get the lead-in part of the string.

macros.pl: remove debug prints; improve compression regex

Remove debug print statements from macros.pl
Make sure we test for whitespace at end of statements

macros.c: compress by tokenizing macro directives

Compress macros.c by representing macro directives with a single byte.
We can do this because we only use the ASCII character range inside
the standard macro files.

Note: we could save significant additional space by not having a
pointer array, and instead relying on the fact that we sweep
sequentially through the output array.

preproc: add support for builtin include modules (%use)

Add a builtin equivalent to the %include directive called %use.
%use includes a standard macro file compiled into the binary; these
come from the macros/ directory in the source code.

The idea here is to be able to provide optional macro packages with
the distribution, without adding complex host filesystem dependencies.

doc: macroize texi2ipf and ipfc

Macroize the texi2ipf and ipfc commands (used for OS/2).

doc: for ps to pdf conversion, use "acrodist", "ps2pdf" or "pstopdf"

For PostScript to PDF conversion, use whichever of "acrodist",
"ps2pdf", or "pstopdf" which we can find on the system.  I haven't
tried either acrodist or pstopdf myself, only going my the
documentation, but prefer acrodist since it is claimed to produce
smaller output files than ps2pdf.

Merge branch 'nasm-2.03.x'

Conflicts:

Makefile.in
Mkfiles/msvc.mak
Mkfiles/netware.mak
Mkfiles/openwcom.mak
Mkfiles/owlinux.mak

doc: add missing nasmdoc.txt target

NASM 2.03.01

Backport the syncfiles script to the nasm-2.03.x branch

This is a maintenance tool only, it doesn't change the code in any
way.  However, it makes it a lot less likely that we'll have a release
go out with a broken Makefile.

syncfiles: use #-- ... --# for consistency with mkdep.pl

mkdep.pl already used #-- ... --# (two dashes) whereas syncfiles.pl
was using #--- ... ---# (three dashes).  Change syncfiles.pl to match
mkdep.pl.

syncfiles: terminate directory names at equal signs

In the case where the directory name should be removed (null pathname
separator) don't search backwards past an equal sign, just in case
there isn't a space after the assignment.

Merge branch 'nasm-2.03.x'

-F implies -g backported to 2.03.01

CHANGES: document backport of -F implies -g

Merge branch 'nasm-2.03.x'

Conflicts:

doc/nasmdoc.src

Make -F imply -g (BR 1991213)

When the user specifies -F, imply the -g option.  Too many users seem
to make this mistake.

Conflicts:

doc/nasmdoc.src

Merge branch 'nasm-2.03.x'

Conflicts:

doc/nasmdoc.src

doc: Nasm -> NASM

Consistently write NASM in all capitals

doc: title capitalization

doc: add missing period.

Conflicts:

doc: Makefile fixes missing from previous checkin

doc: another case of the RTF backend corrupting state

Another case of the RTF backend corrupting global state.  "Fix" it by
only outputting one format at a time; this also makes it possible to
run in parallel.

doc: ps/pdf: set page numbers in normal-sized italic

Set page numbers in normal-sized italic, instead of large and bold.
We might want to consider using bold italic, but I think this is just
fine.

doc: Add NASMENV to the index (BR 1917084)

Add NASMENV to the documentation index.

Merge branch 'nasm-2.03.x'

Conflicts:

doc/psfonts.ph

Documentation facelift backported to 2.03.x

CHANGES: Document documentation facelift

ps/pdf doc: default to 10-point font, wider leading

Switch the main font to 10 points Times Roman, but leave the leading
at 11 points.  This produces, in my opinion, a much more legible and
printable document.

Merge branch 'nasm-2.03.x'

Conflicts:

CHANGES

CHANGES: call the next version on this branch 2.03.01

Call the next version on this branch 2.03.01.

syncfiles: use the same regexp for hints as mkdep uses

Use the same regular expression for hints in both mkdep and syncfiles.

syncfiles: handle the case of the null path separator

Correctly handle the null path separator (meaning remove the directory
portion entirely.)

utf.asm: add some error cases

Add some error cases for testing

syncfiles.pl: remove obsolete comment

There isn't anything magic about the input file syntax.

Free EOT_DB_STRING_FREE in cleanup_insn()

Free EOT_DB_STRING_FREE data in cleanup_insn(), which is where we free
all the other extop data.

Mark Perl scripts executable

Be consistent about marking Perl scripts executable, even if we always
invoke them with $(PERL) in the Makefiles.

Script to automagically synchronize the object file lists

Add a script to automagically synchronize the list of object files
between the various Makefiles.

Update Mkfiles/*.mak

Sync the file list in Mkfiles/*.mak

CHANGES: Document new features

Merge branch 'nasm-2.03.x'

CHANGES: document changes from nasm-2.03

doc: Add Unicode Strings to Unicode index

Document __utf16__ and __utf32__

Merge branch 'nasm-2.03.x'

quote: fix termination condition for hexadecimal escapes

Fix reversed test for hexadecimal escape sequence termination.

Support __utf16__ and __utf32__ in an expression context

Support __utf16__ and __utf32__ in expression contexts.

strfunc: fix UTF-8 mid-character limit

strfunc: always null-terminate the output buffer

Make sure that the buffer is always null-terminated, even though we do
have to use the length, since the string can (and often will) have
embedded nulls.

Implement __utf16__() and __utf32__() for the DB family

Implement __utf16__() and __utf32__() for the DB family of
pseudo-instructions.  Not yet implemented for evaluation context.

doc: add a couple of stylistic alternatives

Add a few alternate font sets for the documentation.  I would be
interested to see if anyone thinks they are better.

Merge branch 'nasm-2.03.x'

Fix overflow in listing.c (BR 1991797)

Fix a buffer overflow in listing.c (BR 1991797).

Putting this on the nasm-2.03.x branch as a potential candidate for a
patch release.

doc: Nasm -> NASM

Consistently write NASM in all capitals

doc: title capitalization

doc: add missing period.

doc: remove obsolete note.

doc: Makefile fixes missing from previous checkin

doc: another case of the RTF backend corrupting state

Another case of the RTF backend corrupting global state.  "Fix" it by
only outputting one format at a time; this also makes it possible to
run in parallel.

doc: ps/pdf: set page numbers in normal-sized italic

Set page numbers in normal-sized italic, instead of large and bold.
We might want to consider using bold italic, but I think this is just
fine.

doc: Add NASMENV to the index (BR 1917084)

Add NASMENV to the documentation index.

ps/pdf doc: default to 10-point font, wider leading

Switch the main font to 10 points Times Roman, but leave the leading
at 11 points.  This produces, in my opinion, a much more legible and
printable document.

Make -F imply -g (BR 1991213)

When the user specifies -F, imply the -g option.  Too many users seem
to make this mistake.

Correct X86_64 reference in dwarf support message

Use an explicit table for tolower() to avoid a function call

On some platforms, tolower() is implemented as a function call, in
order to handle locale support.  We never change locales, so can the
result of tolower() into a table, so we don't have to sit through the
function call every time.

~1.3% overall performance improvement on a macro-heavy benchmark under
Linux x86-64.

Remove expand_macros_in_string()

Remove the now-unused expand_macros_in_string() function.

Add %warning, saner unquoting of %error

- Add %warning directive
- Only unquote an %error or %warning string if it is the only thing on
  the directive line.
- Don't expand macros inside a quoted string, even for %error.

nasmlib.c: fwriteint*() only need WORDS_LITTLEENDIAN

fwriteint*() don't require unaligned references, so they can be
optimized for WORDS_LITTLEENDIAN rather than X86_MEMORY...

Fix typo: s/most/least/

Littleendian = least signficant byte first

Make it possible to use "inline" and "restrict"

Put the appropriate machinery in place to be able to use the "inline"
and "restrict" keywords with appropriate semantics.

Introduce likely/unlikely macros, use them in saa.c

Introduce the likely() and unlikely() macros, as used in Linux.
They are compiler-dependent hints that a particular boolean expression
is likely to be true or false, respectively.

Currently only implemented for gcc.

SAA: optimize all power-of-two lengths

We can actually use the shift optimization whenever blk_len ==
SAA_BLKLEN, which will be true for all powers of two.

SAA: optimize seeks when used on a byte array

In practice, we only ever use the seeking functions on byte arrays
(elem_len == 1).  Optimize for that case, to avoid a general divmod
operation.

Make strings a first-class token type; defer evaluation

Make strings a proper, first-class token type, instead of relying on
the "TOKEN_NUM with tv_charptr" hack.  Only convert a string to a
number if requested in an expression context; this also makes it
possible to actually issue a warning when it overflows.

Move all the RAA code out of nasmlib

The RAA code doesn't have to be in nasmlib; it is only used by nasm
itself, and is better handled in a separate module.

saa.h doesn't need nasmlib.h

We don't have to include nasmlib.h in saa.h

Move all the SAA code out of nasmlib

Move all the SAA code out of nasmlib; it's not used by anything than
nasm itself.  Cleaning out the kitchen sink known as nasmlib is a good
thing, too.

Merge branch 'nasm-2.03.x'

Fix %? in multi-line macros with a label

The handling of %? in multi-line macros was broken when the macro name
was preceeded by a label; it would expand to the label instead of the
macro name.  This was particularly serious since this was used in
the macro implementation of INCBIN.

Replace the WSAA macros with functions

Change the WSAA macros into functions; reducing the icache footprint.

Use autoconf to detect WORDS_LITTLEENDIAN

Use autoconf to detect littleendian word order, and use
WORDS_LITTLEENDIAN instead of X86_MEMORY when we don't require
unaligned memory accesses to be permitted.

WSAA: make the WSAA macros contain their own buffer

Make the WSAA macros contain their own buffer definitions.  This
eliminates the need to have a separate "workbuf" declared in the
outelf backends, which isn't even used for anything else, except for a
few completely redundant strcpys.

Note: these macros probably should be replaced with actual
functions.  The overhead of the function call is likely to be more
than offset by lower icache footprint.

NASM 2.03

doc: Fix title "String Constants"

Cut & paste oops...

doc: Index Unicode and UTF-8

Add Unicode and UTF-8 to the index

doc: \t is also a supported escape sequence...

doc: s/by/in/ certain preprocessor directives.

Split documentation on string syntax out of "character constants"

Split the documentation on string syntax, as a lexical entity, out of
the section about character constants.  It was confusing to have
discussion that apply more to string constants than character
constants, and they use the same syntax anyway.

doc: A few floating-point examples

doc: add a comma

This time the comma should actually be there.

doc: ALL %if constructs have %elif/%ifn/%elifn variants.

All %if constructs now have %elif/%ifn/%elifn; this is hard-coded into
the preprocessor.

doc: remove superfluous comma

Improve the %iftoken example

Fix capitalization in titles

Document forward references fixed in EQU.

Document __OUTPUT_FORMAT__

It may be "too late" for this to get into 2.03, but I've been whining
that "__OUTPUT_FORMAT__" ought to be documented. Maybe...

NASM 2.03rc8

Fix dependency list generation

The dependency list tail pointer wasn't actually updated correctly.
Fix that.  We may want to make this a structure of some sort to make
the code a bit cleaner, but this seems to be the cleanest hack for
now.