Actually make non-power-of-2 alignments work

We can't use ($$-$) % (%1) since the wraparound will be wrong except
for powers of 2.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NASM 2.04rc6

Document __PASS__

Document __PASS__, but discourage users from using it.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Add __PASS__ builtin macro

Add a new builtin macro, __PASS__, which is either 1 (for a
preparatory pass), 2 (for a final pass, including preprocessor only),
or 0 (for dependency generation.)  This might be useful in special
contexts.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Unbreak %warning

Since the error directives, including %warning, are now issued in the
final pass only, it is important that we do *not* pass ERR_PASS1 with
%warning.  Rather than playing even more ugly games in error(),
require ERR_PASS1 to be passed in with warnings elsewhere in the
preprocessor, just like the rest of the system.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

doc/changes.src: something closer to final release notes for 2.04

doc/changes.src should contain the user-visible changes in human
comprehensible form (release notes, not a changelog.)  Get something
closer to what it should look like for 2.04.

nasmdoc.src: more consistent indentation in %error section

We had different indentation levels only two paragraphs apart.
Overall, the document is horribly inconsistent about indentation,
which should be fixed.

test/fwdoptpp: test %error, %warning, %fatal

Test all of %error, %warning, and %fatal.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NASM 2.04rc5

%error, %warning out on the final pass, add %fatal

Only process %error or %warning directives on the final pass.  Add a
new %fatal directive which terminates assembly immediately.

Allow value to TIMES to be negative while optimization is in progress

Change the parser to only issue the "TIMES value %d is negative"
error message if all optimization passes have completed.

test: test for code that relies on the optimizer to be valid

There exists a fair bit of code out there which relies on the
optimizer in order to fit inside a predefined envelope.  NASM 2.04rc4
breaks this; write a simple test to demonstrate.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NASM 2.04rc4

BR 1239818 - handle multiple %else clauses

Using multiple %else clauses or mixing %else and %elif
caused strange results.
Warn about it and produce sensible results.

NASM 2.04rc3

Halt assembly if addresses are not converging.

Change global_offset_changed from bool to int so that
progress of convergence can be monitored. If change count
does not decrease from previous pass, increment stall counter.
If stall count reaches threshold, terminate assembly
with error message.

Limit number of passes to 1000

Now NASM won't take unreasonable an amount of time to generate
wrong code when it encounters equ's that don't converge, ex:

FOO equ FOO + 1

Remove obsolete ROL-EQU hack

Now that there is proper forward reference resolution,
we can get rid of this junk. Wiping the flags also
removed the SBYTEnn flags, causing

cmp eax, a-b
a: nop
b:

to assemble with -Ox like

cmp eax, strict dword -1

This is now fixed.

doc: document the use of macros in %error

Document the use of macros in %error and %warning, valid since 2.03.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

doc: Call %xdefine a "resolving define" instead of "enhancing define"

%xdefine is an early-binding %define (%define being late-binding.)
There is nothing "enhanced" about it, it just specifies a different
policy.  Call it a "resolving define" instead.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

doc: clean up formatting around -O option

Clean up the formatting in descriptions of the -O option.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NASM 2.04rc2

changes: document optimizer change

Decouple forward references from optimization

Users who wish to control the level of optimization can
continue to specify -O0, -O1, or -Ox,
where x can be the letter itself, or any number > 1.

However, even with optimization turned off,
NASM will always make enough passes to resolve
forward references. As a result, INCBIN is now the only
item left in the critical expressions list, although TIMES
still has its own constant value check.

Run "make alldeps"

macros.pl: don't include macros for disabled output formats

Don't include macros for output formats we aren't compiling in.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

outaout.mac: aoutb is an alias for aout

aoutb is an alias format for aout (in the sense they use the same
macro set.)

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

macros.pl: be a bit more careful with open()

Be a bit more strict with open() calls.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

macros: win32 and win64 are COFF, not Mach-O

Somehow the win32 and win64 aliases got listed on Mach-O, not on
COFF.  This doesn't have any effect on the current code, but might in
the future.  Correct.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NASM 2.04rc1

Remove obsolete tagrelease script (duplicate of tag-release)

Update doc/changes.src

Document %use smartalign

Document %unmacro

outcoff: stylistic cleanups

Don't use explicit L's for things which are really size_t; not only is
it unnecessarily ugly, but it's wrong in a lot of ways.  Do some other
minor stylistic cleanups.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

outcoff: default output symbols to T_NULL

We would leave the output symbol type uninitialized.  Explicitly
initialize it to zero (T_NULL, meaning no symbol type information),
since that's what was effectively done.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

BR 2048950: fix crash due to mmacro list overflow

When allocating the buffer for an mmacro list, we apparently failed to
guarantee space for the terminating NULL.  This almost certainly
caused the crash described in BR 2048950, and quite possibly BR
1284169.

test/new: clean up whitespace

Script to create new test case boilerplate

Accept implicit memory size for VMREAD/VMWRITE

BR 2029472: Wrong operand size for VMREAD/VMWRITE in 64-bit mode

Fix the operand size for VMREAD/VMWRITE in 64-bit mode

.gitignore: ignore some editor backup files

Ignore a couple of variants of editor backup files.

BR 2028995: Missing MOVNTI m64, r64

Fix MOVNTI with a 64-bit argument.

Testcase for XCRYPT

BR 2029829: Accept VIA XCRYPT instructions with or without REP

Accept the VIA XCRYPT instructions either with or without a REP
prefix, as documented.

Add the missing XCRYPTCTR instruction.

BR 2039212: Handle indirect far jumps in 64-bit mode

Handle indirect far jumps in 64-bit mode.  Default to 64 bit unless
overridden, for consistency with other jumps.

Include "nasm.h" in "float.h"

"float.h" references efunc, so it needs "nasm.h".
It also has uint8_t and so need <inttypes.h>, but that's part of
"nasm.h".

Add 256-bit AVX stores per the latest AVX spec.

Add 256-bit forms of VMOVNTPD, VMOVNTPS, and VMOVNT[DQ]Q.

Add AVX forms of the AES instructions (new in the latest AVX spec)

The AES instructions, too, have gotten VEX forms.

test: Fix file with no final newline

Fix test/br2030823.asm, which had no final newline.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

BR 2067820: add the MOVSXD instruction

The official mnemonic for 32-to-64-bit sign extension is MOVSXD for
some idiotic reason.  Add support for it while continue to recognize
MOVSX for this as an alias.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

BR 2067837: remove double add of VEX instruction length

We added the length of VEX prefixes twice in calcsize(); this resulted
in the wrong symbol addresses when compiling without the optimizer.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

BR 2062342: ndisasm: r12 *can* be an index register

R12 can be used as an index register.  Special encodings in the modr/m
byte are done *without* consideration for the REX prefix, but special
encodings in the SIB byte *do* take the REX prefix into consideration,
since it doesn't affect the overall instruction format.

BR 2030823: Problem with the 256-bit FMA instructions

Fix the 256-bit FMA instructions per bug report.

BR 2043111: Typo in insns.dat: VCMPFT_OQPD VCMPFT_OQPS

Fix typo

minor bugfix in performtest.pl

Add macro-defaults warning class and documentation.

BR 2034542: fix crash when touching __FILE__

Touching __FILE__ would cause a dereference of an uninitialized
pointer.  Fix.

BR 2028910: fix decoding of VEX prefixes in 16- and 32-bit mode

We would incorrectly set a bunch of VEX-related state for C4 and C5
bytes, even though we had already rejected it as not a VEX prefix due
to the top two bits of the following byte not being 11.

BR 2025977: Handle SLDT with a 64-bit register operand

Handle SLDT with a 64-bit register operand.  Don't generate a REX.W
prefix in the assembler, since zero-extending is just fine, but do
support it in the disassembler.

preproc: restore correct break; in do_directive()

Checkin a26433db6805cf1f1d711eb820f6a50a98f54f36 incorrectly changed a
few break;s in do_directive() that were *inside loops* to returns.
This broke single-line macros as well as %exitrep; fix.

BR 560960: warn about trailing garbage in %macro/%ifmacro

Improve checking and documentation for %ifctx

BR 2023036: MOV reg32,dreg and vice versa are NOLONG

MOV reg32,dreg and MOV dreg,reg32 are NOLONG; in 64-bit mode we always
move to/from reg64.

Err, "alignr" was really the same as the previous "alignb"

Replace "alignb" with the (slightly more optimized) "alignr" macro,
but keep the name "alignb".

Add "alignr" standard macro (using resb)

Add an "alignr" standard macro, for use in BSS (nobits) and absolute
segments.

Avoid redundant "const" for macros_t

Don't use a redundant "const" for macros_t (which is const unsigned
char), since OpenWatcom doesn't like it, and I believe it is incorrect
per the C standard.

BR 2003451: add test case

Add test case for BR 2003451: forwardness leakage between operands.

BR 2003451: avoid "forwardness" leaks between operands

Any use of ins->forw_ref that isn't related to control of the
optimizer is fundamentally broken.  Use
operand->opflags & OPERAND_FORWARD instead.  This even has the nice
side benefit of simplifying the code.

BR 2010180: outobj: Garbage may be written in a last PUBDEF

The testcase illustrates the problem. After "nasm -f obj
alonesym.nasm"
let's look to dump:

======
PUBDEF386(91) recnum:5, offset:0000005bh, len:03f9h, chksum:bbh(bb)
Group: 0, Seg: 1
00020000h - 'sym0000' Type:0
00020004h - 'sym0001' Type:0
....
00020134h - 'sym0077' Type:0

PUBDEF(90) recnum:6, offset:00000457h, len:000ah, chksum:b6h(b6)
Group: 0, Seg: 1
00000138h - 's' Type:2
0000b600h - '' Type:0
======

The problem is while 's' offset is 20138h it is marked as type 90h not
91h.  The root cause is located in obj_x():

static ObjRecord *obj_x(ObjRecord * orp, uint32_t val)
{
    if (orp->type & 1)
     orp->x_size = 32;
    if (val > 0xFFFF)
        orp = obj_force(orp, 32);
    if (orp->x_size == 32)
        return (obj_dword(orp, val));
    orp->x_size = 16;
    return (obj_word(orp, val));
}

It sets up x_size and than writes data. In the testcase data are the
offset and this offset overflows a record. In this case the record is
emitted and its x_size is cleared. Because this is last PUBDEF the new
record with only 's' symbol is emitted also but its x_size is not 32
(it's still zero) so obj_fwrite doesn't switch to 91h type.

The problem seems to be very generic and expected to be occurred on
many other record types as well.

        ----

And the fix is simple:

if (orp->x_size == 32)
{
  ObjRecord * nxt = obj_dword(orp, val);
  nxt->x_size = 32; /* x_size is cleared when a record overflows */
  return nxt;
}

test: more smart alignment test

smartalign: use context-local label

Use a context-local label in the smart align macro.

smartalign: adjust the alignment threshold

Apparently the current recommendation is for a smaller threshold when
using the "generic"-style alignment macros (short jumps are cheaper on
newer CPUs.)

Also change the alignment threshold definition to reflect the maximum
number of padding instead of when to start using jumps.

smartalign: 16-bit generic alignment macros

Smart alignment content for 16-bit "generic" mode

smartalign: 16-bit P6 NOPs

Add 16-bit P6 NOPs

smartalign.mac: smart alignments macro package

"%use smartalign" followed by an optional "alignmode" can be used to
enable smart macros.

preproc: add %un[i]macro, add cleanups

Add %un[i]macro, and a few stylistic cleanups.

Note: unlike %undef, %un[i]macro takes an argument specification,
which must *exactly* match the macro being undefined.  Similarly,
%unimacro has to be used to undefine a macro defined with %imacro, and
vice versa.

standard.mac: allow non-power-of-2 alignments

Allow aligning to a non-power-of-2 boundary.  It's probably useless,
but doesn't really hurt.

preproc.c: fix %ifn, %elifn

The sense of %ifn and %elifn was reversed due to a bogus nonstandard
return sequence.

Fix multipass inline warning (dis/en)abling

Also add a new form: resetting warnings to their original value.

Fix %rep ... %endmacro crash

Also improved a comment and an error message.

update tests

fix unitialized variable in eval_strfunc

Fix fclose bug on error.

Contrary to the comments, the fclose is needed.
Failure to close the file caused remove to fail on Windows.

Add a 'make test' target.

Improve performtest.pl

Improve arguments and documentation of performtest.pl
Remove carriage returns in .stdout/.stderr so *nix can
read Windows test results

changes.src: put \c{...} around macro directives

Put \c{...} around macro directives.  Not the only ones that should
have that, of course, but they were easy to do with search and replace.

changes.src: remove double entry for %warning

Move the revision history into the documentation

Clumsily convert the revision history to nasmdoc format, so it can be
included in the documentation as Appendix C.

doc: document packed BCD constants

doc: update NASM Version Macros

Clean up and slightly update the section on NASM version macros.

doc: move %error/%warning to a separate section

They don't really belong in the section on conditional assembly.

doc: Document %strcat

Update CHANGES to current delta from 2.03.x.

BR 2017453: indirect jumps in 64-bit mode are implicitly 64 bits

Indirect jumps in 64-bit mode implicitly have 64-bit operand size.
Fix this; the disassembly is still unnecessarily ugly, however.

test: add test of nested %rep, BCD constants, and %warning

Add a test case which has smoked out errors in the handling of nested
%rep, BCD constants, and %warning...

preproc.c: make %warning actually issue a warning...

The calculation of "severity" was buggered up, with the result that
%warning actually issued an error.

version.mak for the version Makefile fragment

Be consistent about the naming of the version Makefile fragment.  We
use .mak elsewhere for Makefiles, so use that.

Fix Bugs item #2017455 (LTR in long mode)

LTR is valid in long (64-bit) mode, but still uses
16-bit operand, so remove NOLONG restriction.

%EXITREP inside nested %REPs

Apply updated version of fix submitted with feature request 803785.
This fix causes %exitrep to terminate only the innermost %rep block,
and also allows the count for nested blocks to be calculated in the
containing block.