BR 2034542: fix crash when touching __FILE__

Touching __FILE__ would cause a dereference of an uninitialized
pointer.  Fix.

BR 2028910: fix decoding of VEX prefixes in 16- and 32-bit mode

We would incorrectly set a bunch of VEX-related state for C4 and C5
bytes, even though we had already rejected it as not a VEX prefix due
to the top two bits of the following byte not being 11.

BR 2025977: Handle SLDT with a 64-bit register operand

Handle SLDT with a 64-bit register operand.  Don't generate a REX.W
prefix in the assembler, since zero-extending is just fine, but do
support it in the disassembler.

preproc: restore correct break; in do_directive()

Checkin a26433db6805cf1f1d711eb820f6a50a98f54f36 incorrectly changed a
few break;s in do_directive() that were *inside loops* to returns.
This broke single-line macros as well as %exitrep; fix.

BR 560960: warn about trailing garbage in %macro/%ifmacro

Improve checking and documentation for %ifctx

BR 2023036: MOV reg32,dreg and vice versa are NOLONG

MOV reg32,dreg and MOV dreg,reg32 are NOLONG; in 64-bit mode we always
move to/from reg64.

Err, "alignr" was really the same as the previous "alignb"

Replace "alignb" with the (slightly more optimized) "alignr" macro,
but keep the name "alignb".

Add "alignr" standard macro (using resb)

Add an "alignr" standard macro, for use in BSS (nobits) and absolute
segments.

Avoid redundant "const" for macros_t

Don't use a redundant "const" for macros_t (which is const unsigned
char), since OpenWatcom doesn't like it, and I believe it is incorrect
per the C standard.

BR 2003451: add test case

Add test case for BR 2003451: forwardness leakage between operands.

BR 2003451: avoid "forwardness" leaks between operands

Any use of ins->forw_ref that isn't related to control of the
optimizer is fundamentally broken.  Use
operand->opflags & OPERAND_FORWARD instead.  This even has the nice
side benefit of simplifying the code.

BR 2010180: outobj: Garbage may be written in a last PUBDEF

The testcase illustrates the problem. After "nasm -f obj
alonesym.nasm"
let's look to dump:

======
PUBDEF386(91) recnum:5, offset:0000005bh, len:03f9h, chksum:bbh(bb)
Group: 0, Seg: 1
00020000h - 'sym0000' Type:0
00020004h - 'sym0001' Type:0
....
00020134h - 'sym0077' Type:0

PUBDEF(90) recnum:6, offset:00000457h, len:000ah, chksum:b6h(b6)
Group: 0, Seg: 1
00000138h - 's' Type:2
0000b600h - '' Type:0
======

The problem is while 's' offset is 20138h it is marked as type 90h not
91h.  The root cause is located in obj_x():

static ObjRecord *obj_x(ObjRecord * orp, uint32_t val)
{
    if (orp->type & 1)
     orp->x_size = 32;
    if (val > 0xFFFF)
        orp = obj_force(orp, 32);
    if (orp->x_size == 32)
        return (obj_dword(orp, val));
    orp->x_size = 16;
    return (obj_word(orp, val));
}

It sets up x_size and than writes data. In the testcase data are the
offset and this offset overflows a record. In this case the record is
emitted and its x_size is cleared. Because this is last PUBDEF the new
record with only 's' symbol is emitted also but its x_size is not 32
(it's still zero) so obj_fwrite doesn't switch to 91h type.

The problem seems to be very generic and expected to be occurred on
many other record types as well.

        ----

And the fix is simple:

if (orp->x_size == 32)
{
  ObjRecord * nxt = obj_dword(orp, val);
  nxt->x_size = 32; /* x_size is cleared when a record overflows */
  return nxt;
}

test: more smart alignment test

smartalign: use context-local label

Use a context-local label in the smart align macro.

smartalign: adjust the alignment threshold

Apparently the current recommendation is for a smaller threshold when
using the "generic"-style alignment macros (short jumps are cheaper on
newer CPUs.)

Also change the alignment threshold definition to reflect the maximum
number of padding instead of when to start using jumps.

smartalign: 16-bit generic alignment macros

Smart alignment content for 16-bit "generic" mode

smartalign: 16-bit P6 NOPs

Add 16-bit P6 NOPs

smartalign.mac: smart alignments macro package

"%use smartalign" followed by an optional "alignmode" can be used to
enable smart macros.

preproc: add %un[i]macro, add cleanups

Add %un[i]macro, and a few stylistic cleanups.

Note: unlike %undef, %un[i]macro takes an argument specification,
which must *exactly* match the macro being undefined.  Similarly,
%unimacro has to be used to undefine a macro defined with %imacro, and
vice versa.

standard.mac: allow non-power-of-2 alignments

Allow aligning to a non-power-of-2 boundary.  It's probably useless,
but doesn't really hurt.

preproc.c: fix %ifn, %elifn

The sense of %ifn and %elifn was reversed due to a bogus nonstandard
return sequence.

Fix multipass inline warning (dis/en)abling

Also add a new form: resetting warnings to their original value.

Fix %rep ... %endmacro crash

Also improved a comment and an error message.

update tests

fix unitialized variable in eval_strfunc

Fix fclose bug on error.

Contrary to the comments, the fclose is needed.
Failure to close the file caused remove to fail on Windows.

Add a 'make test' target.

Improve performtest.pl

Improve arguments and documentation of performtest.pl
Remove carriage returns in .stdout/.stderr so *nix can
read Windows test results

changes.src: put \c{...} around macro directives

Put \c{...} around macro directives.  Not the only ones that should
have that, of course, but they were easy to do with search and replace.

changes.src: remove double entry for %warning

Move the revision history into the documentation

Clumsily convert the revision history to nasmdoc format, so it can be
included in the documentation as Appendix C.

doc: document packed BCD constants

doc: update NASM Version Macros

Clean up and slightly update the section on NASM version macros.

doc: move %error/%warning to a separate section

They don't really belong in the section on conditional assembly.

doc: Document %strcat

Update CHANGES to current delta from 2.03.x.

BR 2017453: indirect jumps in 64-bit mode are implicitly 64 bits

Indirect jumps in 64-bit mode implicitly have 64-bit operand size.
Fix this; the disassembly is still unnecessarily ugly, however.

test: add test of nested %rep, BCD constants, and %warning

Add a test case which has smoked out errors in the handling of nested
%rep, BCD constants, and %warning...

preproc.c: make %warning actually issue a warning...

The calculation of "severity" was buggered up, with the result that
%warning actually issued an error.

version.mak for the version Makefile fragment

Be consistent about the naming of the version Makefile fragment.  We
use .mak elsewhere for Makefiles, so use that.

Fix Bugs item #2017455 (LTR in long mode)

LTR is valid in long (64-bit) mode, but still uses
16-bit operand, so remove NOLONG restriction.

%EXITREP inside nested %REPs

Apply updated version of fix submitted with feature request 803785.
This fix causes %exitrep to terminate only the innermost %rep block,
and also allows the count for nested blocks to be calculated in the
containing block.

Add version.make to PERLREQ

version.make is produced by a Perl script, and therefore should be in
PERLREQ.

test: simple test of packed BCD.

For consistency, allow 0p.. prefix for packed BCD

Allow 0p... to be used as a prefix, for analogy with base conversion.

float: support packed-BCD constants in 'dt' statements

Support packed-BCD constants in 'dt' statements (and elsewhere 80-bit
floating point is handled), using MASM syntax (terminal 'p').

float: fix buffer overrun

Fix a buffer overrun; generally causing hexadecimal constants to be
incorrectly rejected.

standard.mac: use anonymous contexts

Use anonymous %push instead of giving a context name.

preproc: Allow anonymous contexts

Allow %push and %repl without a context name.  For a lot of uses, it
is only a potential source of namespace pollution.

Permit commas in %strcat

preproc: %strcat directive to concatenate quoted strings

I noticed there was no sane way to concatenate the contents of quoted
strings, so add the %strcat directive.

These really need to become preprocessor functions at some stage.

Update the INSTALL file to match current reality

Document case-insensitivity bug.

test: add a test for %imacro

Add a test for case-insensitive matching of %imacro.

nasmlib: fix nasm_str[n]icmp()

Fix nasm_str[n]icmp() on platforms which don't have this function
natively.

XXX: Given the new nasm_tolower() implementation, we should consider
if this might actually be a faster function than the platform-native
one.

preproc: MMacro.finishes is a pointer, not a boolean

MMacro.finishes is a pointer, not a boolean, so set it to "false", not
"NULL".

AES instructions are WESTMERE, not NEHALEM

Still need to make this crap saner...

Make the macros table "unsigned char"

It gets less ugly if we make the macros table "unsigned char".

Run "make alldeps"

pp_directives_len can be uint8_t

Save a few hundred bytes...

Drop the index tables from the canned macros

Instead of an array of strings, just have a character array; that
reduces the size of canned macros by up to 30%, and we only did
sequential access anyway.

Fix a few more <ctype.h> instances

A few isolated instances of isalpha() and isxdigit().

ctype.h: wrapper ctype functions with a cast to (unsigned char)

ctype functions take an *int*, which the user is expected to have
taken the input character from getc() and friends, or taken a
character and cast it to (unsigned char).

We don't care about EOF (-1), so use macros that cast to (unsigned
char) for us.

preproc: free the include path and the final filename

Memory leaks: free the include path, and the final used filename.

Move the output format macros into the macros.pl mechanism

Move the handling of "extra" macros (i.e. output format macros) into
the macros.pl mechanism.  This allows us to change the format of the
internal macro store in the future - e.g. to a single byte store
without redundant pointers.

Also, stop using indicies into a long array when there is no good
reason to not just use different arrays.

raa: clean up indentation

Clean up in indentation in the RAA code.

saa: fix indentation

Apply standard indentation to the SAA code, not sure why it was
different...

Somewhat more clever way to generate the %use guard macros

Automatically generate a %define as the first string in the include
block, and just pick the string out of it from that %define statement
to verify existence.  That way we eliminate any use of toupper() --
all case-insensitivity in NASM uses tolower()/nasm_tolower().

Protect %use from multi-inclusion and provide a test macro

Automatically provide an include guard for %use packages; the macro
__USE_package__ is automatically defined, and inclusion is suppressed
if it is already defined.

doc: framework for documenting standard macro packages

Add a framework for documenting the standard macro packages.  Also
move the standard macros to the end of the preprocessor section,
instead of having them in the middle of the directives list.

%use: call these directives "standard macro packages"

Adopt the term "standard macro packages", "modules" are too
ambiguous.

macros.pl: need to use $' to get proper left-to-right behaviour

Using ^(.*) means we do right-to-left search, since (.*) is a greedy
expression; instead use $' to get the lead-in part of the string.

macros.pl: remove debug prints; improve compression regex

Remove debug print statements from macros.pl
Make sure we test for whitespace at end of statements

macros.c: compress by tokenizing macro directives

Compress macros.c by representing macro directives with a single byte.
We can do this because we only use the ASCII character range inside
the standard macro files.

Note: we could save significant additional space by not having a
pointer array, and instead relying on the fact that we sweep
sequentially through the output array.

preproc: add support for builtin include modules (%use)

Add a builtin equivalent to the %include directive called %use.
%use includes a standard macro file compiled into the binary; these
come from the macros/ directory in the source code.

The idea here is to be able to provide optional macro packages with
the distribution, without adding complex host filesystem dependencies.

doc: macroize texi2ipf and ipfc

Macroize the texi2ipf and ipfc commands (used for OS/2).

doc: for ps to pdf conversion, use "acrodist", "ps2pdf" or "pstopdf"

For PostScript to PDF conversion, use whichever of "acrodist",
"ps2pdf", or "pstopdf" which we can find on the system.  I haven't
tried either acrodist or pstopdf myself, only going my the
documentation, but prefer acrodist since it is claimed to produce
smaller output files than ps2pdf.

Merge branch 'nasm-2.03.x'

Conflicts:

Makefile.in
Mkfiles/msvc.mak
Mkfiles/netware.mak
Mkfiles/openwcom.mak
Mkfiles/owlinux.mak

doc: add missing nasmdoc.txt target

NASM 2.03.01

Backport the syncfiles script to the nasm-2.03.x branch

This is a maintenance tool only, it doesn't change the code in any
way.  However, it makes it a lot less likely that we'll have a release
go out with a broken Makefile.

syncfiles: use #-- ... --# for consistency with mkdep.pl

mkdep.pl already used #-- ... --# (two dashes) whereas syncfiles.pl
was using #--- ... ---# (three dashes).  Change syncfiles.pl to match
mkdep.pl.

syncfiles: terminate directory names at equal signs

In the case where the directory name should be removed (null pathname
separator) don't search backwards past an equal sign, just in case
there isn't a space after the assignment.

Merge branch 'nasm-2.03.x'

-F implies -g backported to 2.03.01

CHANGES: document backport of -F implies -g

Merge branch 'nasm-2.03.x'

Conflicts:

doc/nasmdoc.src

Make -F imply -g (BR 1991213)

When the user specifies -F, imply the -g option.  Too many users seem
to make this mistake.

Conflicts:

doc/nasmdoc.src

Merge branch 'nasm-2.03.x'

Conflicts:

doc/nasmdoc.src

doc: Nasm -> NASM

Consistently write NASM in all capitals

doc: title capitalization

doc: add missing period.

Conflicts:

doc: Makefile fixes missing from previous checkin

doc: another case of the RTF backend corrupting state

Another case of the RTF backend corrupting global state.  "Fix" it by
only outputting one format at a time; this also makes it possible to
run in parallel.

doc: ps/pdf: set page numbers in normal-sized italic

Set page numbers in normal-sized italic, instead of large and bold.
We might want to consider using bold italic, but I think this is just
fine.

doc: Add NASMENV to the index (BR 1917084)

Add NASMENV to the documentation index.

Merge branch 'nasm-2.03.x'

Conflicts:

doc/psfonts.ph

Documentation facelift backported to 2.03.x

CHANGES: Document documentation facelift