nasmlib: fix nasm_str[n]icmp()

Fix nasm_str[n]icmp() on platforms which don't have this function
natively.

XXX: Given the new nasm_tolower() implementation, we should consider
if this might actually be a faster function than the platform-native
one.

preproc: MMacro.finishes is a pointer, not a boolean

MMacro.finishes is a pointer, not a boolean, so set it to "false", not
"NULL".

AES instructions are WESTMERE, not NEHALEM

Still need to make this crap saner...

Make the macros table "unsigned char"

It gets less ugly if we make the macros table "unsigned char".

Run "make alldeps"

pp_directives_len can be uint8_t

Save a few hundred bytes...

Drop the index tables from the canned macros

Instead of an array of strings, just have a character array; that
reduces the size of canned macros by up to 30%, and we only did
sequential access anyway.

Fix a few more <ctype.h> instances

A few isolated instances of isalpha() and isxdigit().

ctype.h: wrapper ctype functions with a cast to (unsigned char)

ctype functions take an *int*, which the user is expected to have
taken the input character from getc() and friends, or taken a
character and cast it to (unsigned char).

We don't care about EOF (-1), so use macros that cast to (unsigned
char) for us.

preproc: free the include path and the final filename

Memory leaks: free the include path, and the final used filename.

Move the output format macros into the macros.pl mechanism

Move the handling of "extra" macros (i.e. output format macros) into
the macros.pl mechanism.  This allows us to change the format of the
internal macro store in the future - e.g. to a single byte store
without redundant pointers.

Also, stop using indicies into a long array when there is no good
reason to not just use different arrays.

raa: clean up indentation

Clean up in indentation in the RAA code.

saa: fix indentation

Apply standard indentation to the SAA code, not sure why it was
different...

Somewhat more clever way to generate the %use guard macros

Automatically generate a %define as the first string in the include
block, and just pick the string out of it from that %define statement
to verify existence.  That way we eliminate any use of toupper() --
all case-insensitivity in NASM uses tolower()/nasm_tolower().

Protect %use from multi-inclusion and provide a test macro

Automatically provide an include guard for %use packages; the macro
__USE_package__ is automatically defined, and inclusion is suppressed
if it is already defined.

doc: framework for documenting standard macro packages

Add a framework for documenting the standard macro packages.  Also
move the standard macros to the end of the preprocessor section,
instead of having them in the middle of the directives list.

%use: call these directives "standard macro packages"

Adopt the term "standard macro packages", "modules" are too
ambiguous.

macros.pl: need to use $' to get proper left-to-right behaviour

Using ^(.*) means we do right-to-left search, since (.*) is a greedy
expression; instead use $' to get the lead-in part of the string.

macros.pl: remove debug prints; improve compression regex

Remove debug print statements from macros.pl
Make sure we test for whitespace at end of statements

macros.c: compress by tokenizing macro directives

Compress macros.c by representing macro directives with a single byte.
We can do this because we only use the ASCII character range inside
the standard macro files.

Note: we could save significant additional space by not having a
pointer array, and instead relying on the fact that we sweep
sequentially through the output array.

preproc: add support for builtin include modules (%use)

Add a builtin equivalent to the %include directive called %use.
%use includes a standard macro file compiled into the binary; these
come from the macros/ directory in the source code.

The idea here is to be able to provide optional macro packages with
the distribution, without adding complex host filesystem dependencies.

doc: macroize texi2ipf and ipfc

Macroize the texi2ipf and ipfc commands (used for OS/2).

doc: for ps to pdf conversion, use "acrodist", "ps2pdf" or "pstopdf"

For PostScript to PDF conversion, use whichever of "acrodist",
"ps2pdf", or "pstopdf" which we can find on the system.  I haven't
tried either acrodist or pstopdf myself, only going my the
documentation, but prefer acrodist since it is claimed to produce
smaller output files than ps2pdf.

Merge branch 'nasm-2.03.x'

Conflicts:

Makefile.in
Mkfiles/msvc.mak
Mkfiles/netware.mak
Mkfiles/openwcom.mak
Mkfiles/owlinux.mak

doc: add missing nasmdoc.txt target

NASM 2.03.01

Backport the syncfiles script to the nasm-2.03.x branch

This is a maintenance tool only, it doesn't change the code in any
way.  However, it makes it a lot less likely that we'll have a release
go out with a broken Makefile.

syncfiles: use #-- ... --# for consistency with mkdep.pl

mkdep.pl already used #-- ... --# (two dashes) whereas syncfiles.pl
was using #--- ... ---# (three dashes).  Change syncfiles.pl to match
mkdep.pl.

syncfiles: terminate directory names at equal signs

In the case where the directory name should be removed (null pathname
separator) don't search backwards past an equal sign, just in case
there isn't a space after the assignment.

Merge branch 'nasm-2.03.x'

-F implies -g backported to 2.03.01

CHANGES: document backport of -F implies -g

Merge branch 'nasm-2.03.x'

Conflicts:

doc/nasmdoc.src

Make -F imply -g (BR 1991213)

When the user specifies -F, imply the -g option.  Too many users seem
to make this mistake.

Conflicts:

doc/nasmdoc.src

Merge branch 'nasm-2.03.x'

Conflicts:

doc/nasmdoc.src

doc: Nasm -> NASM

Consistently write NASM in all capitals

doc: title capitalization

doc: add missing period.

Conflicts:

doc: Makefile fixes missing from previous checkin

doc: another case of the RTF backend corrupting state

Another case of the RTF backend corrupting global state.  "Fix" it by
only outputting one format at a time; this also makes it possible to
run in parallel.

doc: ps/pdf: set page numbers in normal-sized italic

Set page numbers in normal-sized italic, instead of large and bold.
We might want to consider using bold italic, but I think this is just
fine.

doc: Add NASMENV to the index (BR 1917084)

Add NASMENV to the documentation index.

Merge branch 'nasm-2.03.x'

Conflicts:

doc/psfonts.ph

Documentation facelift backported to 2.03.x

CHANGES: Document documentation facelift

ps/pdf doc: default to 10-point font, wider leading

Switch the main font to 10 points Times Roman, but leave the leading
at 11 points.  This produces, in my opinion, a much more legible and
printable document.

Merge branch 'nasm-2.03.x'

Conflicts:

CHANGES

CHANGES: call the next version on this branch 2.03.01

Call the next version on this branch 2.03.01.

syncfiles: use the same regexp for hints as mkdep uses

Use the same regular expression for hints in both mkdep and syncfiles.

syncfiles: handle the case of the null path separator

Correctly handle the null path separator (meaning remove the directory
portion entirely.)

utf.asm: add some error cases

Add some error cases for testing

syncfiles.pl: remove obsolete comment

There isn't anything magic about the input file syntax.

Free EOT_DB_STRING_FREE in cleanup_insn()

Free EOT_DB_STRING_FREE data in cleanup_insn(), which is where we free
all the other extop data.

Mark Perl scripts executable

Be consistent about marking Perl scripts executable, even if we always
invoke them with $(PERL) in the Makefiles.

Script to automagically synchronize the object file lists

Add a script to automagically synchronize the list of object files
between the various Makefiles.

Update Mkfiles/*.mak

Sync the file list in Mkfiles/*.mak

CHANGES: Document new features

Merge branch 'nasm-2.03.x'

CHANGES: document changes from nasm-2.03

doc: Add Unicode Strings to Unicode index

Document __utf16__ and __utf32__

Merge branch 'nasm-2.03.x'

quote: fix termination condition for hexadecimal escapes

Fix reversed test for hexadecimal escape sequence termination.

Support __utf16__ and __utf32__ in an expression context

Support __utf16__ and __utf32__ in expression contexts.

strfunc: fix UTF-8 mid-character limit

strfunc: always null-terminate the output buffer

Make sure that the buffer is always null-terminated, even though we do
have to use the length, since the string can (and often will) have
embedded nulls.

Implement __utf16__() and __utf32__() for the DB family

Implement __utf16__() and __utf32__() for the DB family of
pseudo-instructions.  Not yet implemented for evaluation context.

doc: add a couple of stylistic alternatives

Add a few alternate font sets for the documentation.  I would be
interested to see if anyone thinks they are better.

Merge branch 'nasm-2.03.x'

Fix overflow in listing.c (BR 1991797)

Fix a buffer overflow in listing.c (BR 1991797).

Putting this on the nasm-2.03.x branch as a potential candidate for a
patch release.

doc: Nasm -> NASM

Consistently write NASM in all capitals

doc: title capitalization

doc: add missing period.

doc: remove obsolete note.

doc: Makefile fixes missing from previous checkin

doc: another case of the RTF backend corrupting state

Another case of the RTF backend corrupting global state.  "Fix" it by
only outputting one format at a time; this also makes it possible to
run in parallel.

doc: ps/pdf: set page numbers in normal-sized italic

Set page numbers in normal-sized italic, instead of large and bold.
We might want to consider using bold italic, but I think this is just
fine.

doc: Add NASMENV to the index (BR 1917084)

Add NASMENV to the documentation index.

ps/pdf doc: default to 10-point font, wider leading

Switch the main font to 10 points Times Roman, but leave the leading
at 11 points.  This produces, in my opinion, a much more legible and
printable document.

Make -F imply -g (BR 1991213)

When the user specifies -F, imply the -g option.  Too many users seem
to make this mistake.

Correct X86_64 reference in dwarf support message

Use an explicit table for tolower() to avoid a function call

On some platforms, tolower() is implemented as a function call, in
order to handle locale support.  We never change locales, so can the
result of tolower() into a table, so we don't have to sit through the
function call every time.

~1.3% overall performance improvement on a macro-heavy benchmark under
Linux x86-64.

Remove expand_macros_in_string()

Remove the now-unused expand_macros_in_string() function.

Add %warning, saner unquoting of %error

- Add %warning directive
- Only unquote an %error or %warning string if it is the only thing on
  the directive line.
- Don't expand macros inside a quoted string, even for %error.

nasmlib.c: fwriteint*() only need WORDS_LITTLEENDIAN

fwriteint*() don't require unaligned references, so they can be
optimized for WORDS_LITTLEENDIAN rather than X86_MEMORY...

Fix typo: s/most/least/

Littleendian = least signficant byte first

Make it possible to use "inline" and "restrict"

Put the appropriate machinery in place to be able to use the "inline"
and "restrict" keywords with appropriate semantics.

Introduce likely/unlikely macros, use them in saa.c

Introduce the likely() and unlikely() macros, as used in Linux.
They are compiler-dependent hints that a particular boolean expression
is likely to be true or false, respectively.

Currently only implemented for gcc.

SAA: optimize all power-of-two lengths

We can actually use the shift optimization whenever blk_len ==
SAA_BLKLEN, which will be true for all powers of two.

SAA: optimize seeks when used on a byte array

In practice, we only ever use the seeking functions on byte arrays
(elem_len == 1).  Optimize for that case, to avoid a general divmod
operation.

Make strings a first-class token type; defer evaluation

Make strings a proper, first-class token type, instead of relying on
the "TOKEN_NUM with tv_charptr" hack.  Only convert a string to a
number if requested in an expression context; this also makes it
possible to actually issue a warning when it overflows.

Move all the RAA code out of nasmlib

The RAA code doesn't have to be in nasmlib; it is only used by nasm
itself, and is better handled in a separate module.

saa.h doesn't need nasmlib.h

We don't have to include nasmlib.h in saa.h

Move all the SAA code out of nasmlib

Move all the SAA code out of nasmlib; it's not used by anything than
nasm itself.  Cleaning out the kitchen sink known as nasmlib is a good
thing, too.

Merge branch 'nasm-2.03.x'

Fix %? in multi-line macros with a label

The handling of %? in multi-line macros was broken when the macro name
was preceeded by a label; it would expand to the label instead of the
macro name.  This was particularly serious since this was used in
the macro implementation of INCBIN.

Replace the WSAA macros with functions

Change the WSAA macros into functions; reducing the icache footprint.

Use autoconf to detect WORDS_LITTLEENDIAN

Use autoconf to detect littleendian word order, and use
WORDS_LITTLEENDIAN instead of X86_MEMORY when we don't require
unaligned memory accesses to be permitted.

WSAA: make the WSAA macros contain their own buffer

Make the WSAA macros contain their own buffer definitions.  This
eliminates the need to have a separate "workbuf" declared in the
outelf backends, which isn't even used for anything else, except for a
few completely redundant strcpys.

Note: these macros probably should be replaced with actual
functions.  The overhead of the function call is likely to be more
than offset by lower icache footprint.

NASM 2.03