Infrastructure support for AMD's new XOP prefix

Handle AMD's XOP prefixes; they use basically the same encoding as VEX
prefixes, so treat them simply as a variant of VEX.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

outbin: replace fprintf(rf, not_defined); with fputs(not_defined, rf);

Some vendors get nervous about parameterized printf patterns;
furthermore, it's completely unnecessary in this case.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NASM 2.06rc11

preproc: unify token-pasting code

Unify the token-pasting code between the macro expansion and the
preprocessor parameter case.  Parameterize whether or not to handle %+
tokens during expansion (%+ tokens have late binding semantics.)

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

doc: slightly tidy the copyright page of the manual.

preproc: make $ and $$ TOKEN_OTHER

Recognize $ and $$ as TOKEN_OTHER; they aren't really either
TOK_NUMBER nor TOK_ID, even though we have traditionally considered
them TOK_NUMBER.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

BR 2760773: $$ tokens

The tokenizer didn't handle $$, but relied on token pasting of two $ tokens.
This broke after the improvements in 9bb46df4.

preproc: fix more token pasting cases

"+" can be a separate token that ends up having to get pulled into the
middle of a floating-point constant.  It's not even that strange.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

AUTHORS: Update information for HPA

NASM 2.06rc10

Document preprocessor token concatenation fix.

Handle weird cases of token pasting

Especially when token pasting involves floating-point numbers, we can
have some really strange effects from token pasting: for example,
pasting the two tokens "xyzzy" and "1e+10" ends up with *three*
tokens: "xyzzy1e" "+" "10".  The easiest way to deal with this is to
explicitly combine the string and then run tokenize() on it.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NASM 2.06rc9

nasm.nsi: add COPYING to the list of files to package

nasm.nsi: add NASM Manual; automate version generation

Add the NASM Manual (as a PDF) to the Windows installer, and abstract
out the version number.

Add NSIS script to make a Windows installer

Here is an NSIS script for making a simple NASM package.  It creates a
NASM folder with some of the important binaries in it, as well as a
simple batch file to get a CLI with the NASM folder included in the
PATH.  Expects to be built from inside the bin/ directory.  Fairly
primitive.  Feedback welcome.  - Shao

Add STRUC change to changes.src

FR 2499968: structures with non-zero base offset

Add an optional second argument to struc, document it and test it.
Also removed trailing whitespace in nasmdoc.src in the process.

disasm: fix reversed REP vs REPNE in eatbyte()

F2 is REPNE, F3 is REP(E)

disasm: when no instruction is found, consider a naked prefix

If we can't find a matching instruction, rather than printing it as a
"db" literal, consider first if we can disassemble it as a naked prefix.

NASM 2.06rc8

outcoff: BR 2685756: fix SAFESEH with an internal symbol

Fix the SAFESEH directive for the specific case of a symbol internal
to the program.  With the optimizer enabled, it would otherwise fail
unless the symbol is external.

outelf32/64: fix uninitialized rbtree

Fix crash caused by uninitialised memory that lead to dangling pointer
in the rbtree. This can be seen by compiling zsnes 1.50, with a file
that define many symbols, such as fxemu2c.asm.

BR 2690688: Fix opcodes for FMA instructions

Two bugs with respect to the FMA instructions:
- the variant increment is supposed to be 0x10, not 0x01.
- the base opcode for scalar VFNMADD is 0x9d, not 0x9c

Add test from BR 2690688

Add the test case from BR 2690688 to the test collection.

BR 2690688: add missing VFM instructions

The Perl script which auto-generated the VFM instructions had
incorrectly conflated the VEX.W and VEX.L bits, with the result that
only half the valid instructions were generated.

BR 2689316: PEXTRQ requires REX.W

The PEXTRQ instruction requires a REX.W prefix.

genfma: fix spelling of the VFNM instructions

Fix the spelling of the scalar VFNM instruction in genfma.pl, too,
just in case we need to pull this script out again...

insns.dat: fix VFNM instructions incorrectly spelled as VFMN

The scalar versions of the VFNM instructions had been incorrectly
spelled VFMN.

NASM 2.06rc7

BR 2672117: handle long lines for db/dw/etc.

Handle long arrays on a single line in db/dw/etc.

autoconf: detect the broken bool in OpenWatcom 1.8

OpenWatcom 1.8 has a C99 mode, which implements _Bool and
<stdbool.h>.  Unfortunately the implementation is broken, and doesn't
let _Bool be implicitly converted to integer (as required by the C99
spec).  Detect this case in autoconf.

Most instruction codes are octal, so print errors that way too

Most of our instruction opcodes are written in octal.  Thus, it makes
sense to print them that way if we ever have an error message.

optimization.asm: more sbyte tests

A few more sbyte optimization tests.

sbyte: optimization is OK if UNKNOWN isn't set

We can optimize the sbytes if the UNKNOWN flag isn't set

optimization.asm: add sbyte tests

NASM 2.06rc6

BR 2413265: don't pessimize displacements

Optimize displacements, don't pessimize them.  When running in the
optimizer, we always keep track of when a reference is forward.  That
doesn't mean it is unknown.

optimization.asm: add EA optimization tests

Add tests for EA optimizations

nasm.c: another readability cleanup

Yet another change for readability

nasm.c: readability cleanup for seg:off parsing

The code to pick apart seg:off in nasm.c was virtually unreadable due
to mechanized line breaking.

Rename convergence.asm to optimization.asm

Do not confuse segmentless adresses and unknown forward references

Also be optimistic with immediate forward references.

Add VPCLMUL instructions

assemble: only be optimistic with NO_SEG if we're really in pass 1

Only be optimistic about the reachability of a symbol with NO_SEG if
we are truly in pass 1, i.e. it could possibly be just a forward
reference.  After we have done a single pass, if it is still NO_SEG,
then it is an absolute symbol and need to be treated as such.

convergence.asm: add test of jmp to an absolute address

A JMP to an absolute address can't be short.  Thus, we must not try to
make it so.

Add test file for optimal convergence

Some edge cases where starting with a long form
converges suboptimally.

BR 2420167: jmp not always optimized

Begin by assuming short jumps are possible to prevent suboptimal convergence.

PCLMUL is apparently targeted for Westmere with the AES stuff

The PCLMUL instruction is apparently targetted for Westmere.

NASM 2.06rc5

BR 2557903: fix disassembly of a set of SSE MOV* instructions

Fix the disassembly of the alternate forms of register-register
MOVAPD, MOVDQA, MOVDQU, MOVQ, MOVSD, and MOVUPD.

NASM never generates these, but they would be disassembled
incorrectly.

BR 2541252: Fix issues in insns.dat, mostly related to LZCNT and POPCNT

Fix various flags on LZCNT and POPCNT, and fix a few instructions
tagged \360\332, which makes no sense.

changes.src: document WAIT and %$$ fixes

BR 2592476: Treat WAIT as a prefix even though it's really an instruction

WAIT is technically an instruction, but from an assembler standpoint
it behaves as if it had been a prefix.  In particular, it has to be
ordered *before* any real hardware prefixes.

br704736: handle deep context-local macros

The documentation says that constructs with %$...$foo can be used
to access macros from deeper in the context stack.  From what
I can tell, that has never actually worked, since we'd enter names
like %$foo into the context-local macro name table.  Instead, only
insert the tail of the macro name into the context-local table;
expand get_ctx to also return a pointer to the macro name proper;
this is rather straightforward since we'd usually save away that
name at the point get_ctx is called anyway.

nasmlib: make nasm_strcat() take const arguments

None of the strings passed to nasm_strcat() are modified, to
make them const.

outelf32/64: remove align_str in favor of fwritezero()

Drop the use of yet another local all-zero buffer, align_str, in favor
of calling fwritezero().

outbin: fix typo: "sections" not "section"

Fix silly typo: the variable is "sections" not "section"...

Unify all-zero buffers; add fwritezero()

We have a number of all-zero buffers in the code.  Put a single
all-zero buffer in nasmlib.c.  Additionally, add fwritezero()
which can be used to write an arbitrary number of all-zero bytes;
this prevents the situation where the all-zero buffer is simply
too small.

BR 2611906: proper error message for start < origin

When a section other than .text has a start < origin, we would
segfault; fix that.

Furthermore, at bin_cleanup() we don't have usable file/line
information, so pass ERR_NOFILE to the error() function.  Perhaps less
than ideal, but better than printing a null pointer.

NASM 2.06rc4

Fix opcode for VADDSUBPS; operands for VBLEND; add SSE for AES ops

Fix the opcode for VADDSUBPS
Fix the operands for VBLEND
Corrent the instruction flags for the AES ops (they're SSE)

FMA instructions won't be in Sandy Bridge

The FMA instructions aren't scheduled for Sandy Bridge after all.
They will be "in a future processor", so create a placeholder for now.

Perl script used to generate FMA instruction patterns

Small perl script used to generate the FMA instruction patterns.  May
come in useful if the spec changes again.

changes.src: document updated AVX specification

Update the VFMA* instructions per the AVX spec version 5

Update the VFMA* instructions to match the AVX spec version 5.
Since these are highly regular, use a small Perl script to generate
the instruction patterns.

insns.dat: fix minor formatting anomalies

Fix minor anomalies in insns.dat.

insns.pl: handle the new VEX.DDS flag per AVX spec version 5

The AVX spec version 5 introduces the new VEX.DDS flag; support it.

BR 2593349: Move version message back to stdout

Checkin 4b9358928b114caaf34a69d6fdfd3b285b7a72cc changed the version
message from stdout to stderr, but:

a) doesn't motivate the change in the commit log;
b) bundles that with other changes;
c) is inconsistent with other programs;
d) was done by me and I can't remember any reason for it.

Hence conclude it was unintentional and therefore a bug.  Since this
commit was done after 2.05.01 no stable release has been affected.

NASM 2.06rc3

Allow global declaration after symbol definition

This experimental feature needs to be tested for
all output formats which recognize global symbols.

Fix Bugs item #2537867

Module labels.c has code to issue error message when global
directive appears after symbol definition, but the test condition
was incorrectly punctuated.

Document the as86 ..start label

I realized that a documentation change is required to inform users about the
addition of entry point support for the as86 format.  The following produces
reasonable output for .txt output, but I am blind and so can't check the
other formats as readily.

doc: clean up the "String Manipulation in Macros" section

Minor cleanups to the "String Manipulation in Macros" section.

doc: indent the time macro example

Indent the time macro example for ease of reading.

doc: fix typo

verson -> version

Merge branch 'master' of git+ssh://repo.or.cz/srv/git/nasm

doc: update the section on numeric constants

Update the section on numeric constants, and add a few more examples.

Generate warning for unknown section atributes

Previously, the ELF backends silently ignored incorrect or unknown
attributes on section declarations, and therefore used default values
in cases where the user had make an error in attempting to specify
custom values.

Fix the [warning] directive

Fix multiple bugs in the [warning] directive:

- Only parsed on pass 1
- "-" was interpreted as "+"

outas86: slight stylistic cleanups

Minor stylistic cleanups to previous patch.

Add entry point support to as86 backend

I needed entry point support with the as86 format, and after looking through
the archives found a similar desire from someone in 2002.  For some reason
such a patch never made it into the code, even though the required flag
value is present, so I offer the a patch of my own.

I compared against what is done in the .obj format and the approaches are
quite similar which I hope will aid in its acceptability.  While I have
tested it extensively it does do the job asked, and I'm honestly not sure
what extensive testing of the change would look like.

BR 2432826: Fix enforcement of the LONG bit

Somewhere we lost the enforcement of the LONG bit, as opposed to
NOLONG.  Fix this in the most obvious way.

BR 2413278: Nonoptimal forms of arithmetic instructions involving AX

At some point, we lost the optimizations for the core arithmetic
operations involving AX.  Put them back.

changes.src: document Mach-O alignment fix.

NASM 2.06rc2

Mach-O alignment fix

Several projects have taken to using .text to store read-only data
when building on Mac OS X due to crashes in SSE code from the .rodata
section being mis-aligned. It seems there was a misunderstanding about
how ld/ld64 handles section alignment in outmacho.c so I wrote a patch
to fix it. I tested it against x264 git, modified it to use ".rodata
align=16" for the data section and use movdqa instructions (guaranteed
to crash when built with unpatched nasm) and it passed all tests in
its checkasm tool.

If you want more data I can provide, but it's late and I've had a
couple glasses of mulled wine :)

-DrD-

BR 2413272: Warn about byte displacement overflow

Remove the special case for single byte displacements,
which was already in out() anyway.

NASM 2.06rc1

ELF: use rbtree for symbol searches

Linear searches are evil, so use an llrbtree to search for symbols by
offset.  This doesn't change the preexisting behaviour that we only
look for global symbols.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

rbtree: drop "const" from search function

Having the search argument and result be "const" is nice in theory,
but causes problems in practice.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

changes.src: document POPCNT fix.

Add POPCNT fix to release notes.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Merge branch 'nasm-2.05.xx'

test/popcnt.asm: simple test for the POPCNT instruction

Very simple test of POPCNT instructions.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

The POPCNT instruction does not need sizes on memory operands

The POPCNT instruction should not require sizes on memory operands.
Add the appropriate size flags for that to work.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

BR 2229703: POPCNT r64,rm64 not POPCNT r64,rm32

The 64-bit version of the POPCNT instruction takes r64,rm64; not
r64,rm32.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

preproc: BR 2222615: fix segfault on bogus %ifmacro

BR 2222615: Fix segmentation fault on %ifmacro without an argument.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

doc: better description of %line

The implication that %line allows NASM to digest cpp output is just
plain wrong, at least without additional intermediate processing.  Be
a little more circumspect.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Fix BR #916647

nasm.c should respect the default debug format of the output format,
instead of replacing it with the first format in the list.
This is cleaner and allows the list to be sorted normally.

This commit rewrites commit 116994111b which was very fragile.

changes.src: document if for %ifmacro.

Document fixed %ifmacro.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>