Merge branches 'master' and 'nasm-2.09.xx'

NASM 2.09.01

A couple of NULL dereferences fixed.
See NASM version history in documentation.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

changes.src: Describe changes for 2.09.01

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc.c: Make %substr robust

Make %substr robust to handle -1,-1 parameters
and restore old behavior when number of characters
in substring is greater then length of string itself.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

Handle %substr invalid parameters preventing NULL dereference

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

nasm_quote: Use memcpy only if length provided

No need to call memcpy on empty strings

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc.c: Make %substr robust

Make %substr robust to handle -1,-1 parameters
and restore old behavior when number of characters
in substring is greater then length of string itself.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

Handle %substr invalid parameters preventing NULL dereference

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

nasm_quote: Use memcpy only if length provided

No need to call memcpy on empty strings

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

Fix NULL dereferences on %substr missing operands

%substr with dangling id issues SIGSEV. Fix it.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

Fix NULL dereferences on %substr missing operands

%substr with dangling id issues SIGSEV. Fix it.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

BR3060469: Fix SIGSEV on missed %deftok second parameter

In case if a second parameter of %deftok is missed we hit
NULL dereference. Fix it.

Reported-by: Christian Masloch
Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

BR3060469: Fix SIGSEV on missed %deftok second parameter

In case if a second parameter of %deftok is missed we hit
NULL dereference. Fix it.

Reported-by: Christian Masloch
Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

parser.c: Drop space line and use hex notation

For big numbers it's easier to estimate bytes count
if they are written in hex notation. Let it be so.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

BR 3052618: handle segment register operations in 64-bit mode

Handle segment register operations in 64-bit mode, and add a few
optimization patterns.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

doc: untabify

Fix tab-related problems

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

doc: override optimization with STRICT

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

doc: document imm64 optimization

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

Optimize mov r64,imm

Handle immediate-size optimization for "mov r64,imm" -- reduce it to
"mov r32,imm32" or "mov r64,imm32" as appropriate.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

assemble: add an OPT instruction flags for optimizing assembly only

Add an OPT flag to only use a pattern for optimizing assembly only.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

doc: document the %use fp macro package

Documentation for %use fp was missing...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NASM 2.09

insns.pl: make insnsd.c a bit easier to read

Formatting changes (no object code difference) to insnsd.c for
readability.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

ndisasm: handle VEX.LIG

A lot of instructions ignore the L bit in the VEX prefix, just like
a lot of instructions ignore the W bit, so don't use them in the
sub-table select.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

ndisasm: unify VEX handling

Unify VEX handling between the 026x and 0270 bytecodes.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

ndisasm: fix handing of byte codes 250-253, 324

Fix handling of byte codes 250-253 (sign-extended 32-bit immediate,
extended to 64 bits) and 324 (instruction must have osize 64).

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NASM 2.09rc7

test/avx: remove deleted instructions

Remove the deleted VPERMIL2 instructions.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

insns.dat: permit contracted forms for VBLENDVP

Allow implicit operands for VBLENDVP, just as for other instructions,
since the semi-legacy forms now are removed.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

assmemble.c: fix VEX.W logic

Fix the generation logic for VEX.W, which unfortunately got the wrong
constants.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

insns.dat: fix encoding of VCVTSD2SS

Fix typo in the definition of VCVTSD2SS.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

insns.dat: SSE encoding of VBLEND with VEX prefix is forbidden

Version 7 of the AVX spec specifically forbids (#UD) using the
66 0F 38 14/15 forms of the BLENDV instructions with a VEX prefix;
those encodings are strictly legacy SSE 4.1.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

insns.dat: updates from AVX v7

Updates from the AVX version 7 specification: mostly tightening of the
rules for VEX.L and VEX.W, but remove the VPERMIL2 instructions.

Also encode all the full-length forms of the VCMP instructions and
prefer those for the disassembly.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

assemble: handle vex.lig

AVX version 7 introduces the concept of .lig, meaning VEX.L is
ignored.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

vex: change .wx to .wig to match the latest AVX spec

Change the .wx (ignore the W field) to .wig, to match the latest
version of the AVX specification.  This is not a functional change,
but just makes instruction patterns a little easier to write.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

doc: Update -O option description

We use -Ox by default since Nasm-2.09 so "-O0" is not
longer "default" option. But first paragraph still has
the reference which confuses people. Get rid of it.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

doc: Fix typo in changes.src

Reported-by: Frank Kotler <fbkotler@zytor.com>
Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc.c: revamped context-local fall-through warning message

doc/nasmdoc.src: revamped context fall-through entry

doc: Describe context-through lookup

Feel free to update this text as well,
and check it please for being more/less
readable.

CC: Keith Kanios <keith@kanios.net>
CC: "H. Peter Anvin" <hpa@zytor.com>
Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

LICENSE: update year

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

sectalign: Implement on/off mode

And describe it in documentation. We've introduced
sectalign in 2.09rc series and have to provide an
ability to steer this feature.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

standart.mac: Style nitfix

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc.c: Context-through single macros expansion is deprecated

For now we inform users about their sources need to be
updated and also since _all_ context case are legit
for single macros only we split lookup into two phases:

1) Lookup in active context, which is perfectly valid
2) Lookup in external contexts, which will be deprecated soon.

If (2) happens we yield warning.

A typical testcase is
---
  %macro one 0
  %push
    %$a:
    %assign %$b 12
      %push
        mov eax, %$a
        mov eax, %$b  ; hit -- context through
      %pop
    %pop
  %endmacro
  one
---

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc.c: modified deprecation warning for context-local label fallthrough

preproc.c: Fix error message typo

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

test: Add br3041451 testcase

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

BR3041451: Implement upper bound for %rep counter

Since %rep counter is a 64 bit signed integer we have to use some
"maximum possible value" limit (upper bound) otherwise there may be
a situation when %rep counter is 0 or even negative while user
has been passing big positive integer value.

Reported-by: nasm64developer
Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc.c: added deprecation warning for context-local label fallthrough

NASM 2.09rc6

It likely to be the last -rc before final relase.
Give it a good testing. We should be in pretty good
shape.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

test: Add automatizing annotations to imm64.asm

H. Peter Anvin pointed
|
| Btw, test/imm64.asm needs test engine annotations.
|

Make it so.

Reported-by: "H. Peter Anvin" <hpa@zytor.com>
Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

insns.dat: unbreak test/imm64.bin

Unbreak the following subtest in test/imm64.bin:

mov qword [rax],dword 11223344h

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

elf: Move stabs symbol table format into outelf.h

Get rid of code duplication

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

nasmlib.c: fix typo in nasm_init_malloc_error

Typo happened in 9b603082 so -DLOGALLOC gets broken.
Not that important since this is a developer oriented
feature but should be fixed anyway.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

NASM 2.09rc5

doc: Updates on macro ranges

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

labels.c: cleanup

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

Get rid of misc/altreg.inc

It's the same as macros/altreg.mac which is already included.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

doc: Explain SECTALIGN

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

doc: Fix ..sym section name misprint

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

assemble.c: Style nitfix

Various tabs/space mixture cleaned and some more.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

Revert "Improve process_ea and introduce -OL"

This reverts commit ac732cb6a599836bf4c988e59ac6de4498758c72.

Resolved Conflicts:

doc/nasmdoc.src

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

nasm.h: move "regs.h" to top; make is_register() a bool

Move the #include of regs.h to the top with the other includes, and
make is_register() -- being a boolean predicate -- return bool.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

move is_register helper to nasm.h

 H. Peter Anvin noted:
 |
 | Could we avoid putting static code that has no dynamic content in
 | dynamically generated files... it just complicates things unnecessarily.
 |
 | The above can move into nasm.h for example.
 |

Good idea.

CC: "H. Peter Anvin" <hpa@zytor.com>
Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

Use is_register helper

Save us some line of code

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

regs.pl: Introduce is_register() helper

Instead of opencoded check use inline helper.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

Remove redundant sentence in docs

Improve process_ea and introduce -OL

Two fixes:
1. Optimization of [bx+0xFFFF] etc
   0xFFFF is an sbyte under 16-bit semantics,
   so make sure to check it right.

2. Don't optimize displacements in -O0
   Displacements that fit into an sbyte or
   can be removed should *not* be optimized in -O0.

   Implicit zero displacements are still optimized, e.g.:
   [eax] -> 0 bit displacement, [ebp] -> 8 bit displacement.
   However explicit displacements are not optimized:
   [eax+0] -> 32 bit displacement, [ebp+0] -> 32 bit displacement.

Because #2 breaks compatibility with 0.98,
I introduced a new optimization level: -OL, legacy.

doc: Update changes.src

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc.: Fix NULL dereference on broken %strlen argument

Under particular circumstances %strlen may cause SIGSEG. A typical
example is %strlen with nonexistent macro argument.

[ Testcase test/strlen.asm ]

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc: allow non-identifier character in environment variables

Allow non-identifier characters in the name of environment variables,
by surrounding them with string quotes (subject to ordinary
string-quoting rules.)

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

changes.src: Fix misprint in "instructions" word.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

nasmdoc: we still miss Chuck, but...

We still miss Chuck, but I don't think we can really say anymore we're
doing this particular release in his memory.

Requiescat in pace, our friend.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Merge branch 'nasm-2.08.xx'

Resolved Conflicts:
version

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

changes.src: update with the 2.08.xx changes

Patchlevels should be documented, too...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NASM 2.09rc4

Make -Ox the default

Make -Ox the default; it's the optimization level expected by most
users, and it is clearly still causing confusion that it has to be
specified manually.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Documentation: describe %ifenv and friends

Signed-off-by: Bryant Keller <bkeller@assembly.ath.cx>
Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc: add %ifenv

Add %ifenv to test for the presence of an environment variable.  The
environment variable can, but does not have to be, prefixed with %!.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

BR3028880: Revert to nonfatal, better error message, cleanup

Revert to issuing a nonfatal error (it makes no sense to make it a
fatal error, but it probably makes sense for it to be an error instead
of a warning, especially since a lot of prior versions would crash and
apparently noone noticed.)  We might have to revisit this based on
user requirements, and/or provide a method for the user to detect an
existing environment variable (%ifenv?).

Issue a better error message, indicating the nature of the failure.

Simplify the code by just updating the string in "p".

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

Update changes.src

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

BR3028880: Make nonexistent environment variable being fatal error

Frank suggested to just print out an error if environment
variable is not there. Agreed.

Suggested-by: Frank Kotler <fbkotler@zytor.com>
Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

Check in test for BR3028880

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

BR3028880: Fix NULL dereference on nonexistent environment variable

Frank reported we hit NULL dereference on nonexistent
environment variables. Fix it by leaving empty string
in text field of such token and yielding warning.

Reported-by: Frank Kotler <fbkotler@zytor.com>
Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

tokenize: Fix wrong string index in indirect strings

At moment of calling the nasm_skip_string the string pointer
is already incremented which makes tokenize fail on correct
indirect strings.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc: Extract reading line from predefined macros from read_line

It makes read_line less complex

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

Documentation updates

Various small fixes.

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

No need for \n at __OUTPUT_FORMAT__ macro end

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

Merge branches 'master' and 'preproc-paste-fix'

BR3026808: Assign to local preprocessor variable does not work in 2.09

The commits

20a94ad7fe41c82f77fb670abb68f0de40d2b3e5
29c96651de1c43e59b7db58a4f06ff21dc854125
13dbfad76b4d3dbf27ef41761873584c6bd9fd7f
6f5f7ef417c37c154d10c2b3813808ad3fa65fd7
ddd08c3cccb4b68ecdb24d7a92eab6b2b82e8c68

seems to do the tricks we need. Eventually
get rid of commented "case".

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

nasmdoc: remove obsolete Sourceforge references

Remove obsolete Sourceforge references, replace with nasm.us.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NASM 2.09rc3

NASM 2.08.02

preproc.c: Fix NULL deref on token pasting

In case if there is a whitespace before
'paste' token we may reach NULL dereference
in strlen since paste_head will point to
TOK_WHITESPACE. Fix it.

[mainstream adabc1576b957fc7d929d2c7e749b4f45f7293aa]

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc.c: Fix NULL deref on token pasting

In case if there is a whitespace before
'paste' token we may reach NULL dereference
in strlen since paste_head will point to
TOK_WHITESPACE. Fix it.

[test: paste.asm]

Signed-off-by: Cyrill Gorcunov <gorcunov@gmail.com>

preproc: add another test case

Add another test case for preprocessor token pasting.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

preproc: don't paste TOK_PREPROC_ID

Trying to deal with bug reports 3005117 and 3026808: don't paste after
TOK_PREPROC_ID.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

Revert "BR3005117: Expland local single macro before pasting tokens"

This reverts commit ec88c1beac003bd6660037da3cef3aebeee7af20.

Revert due to BR 3026808.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Revert "expand_mmac_params: Don't forget to handle TOK_OTHER"

This reverts commit 51fd86e0fed8f5162f8c1e45e4ceaf237d6e5539.

Revert due to BR 3026808.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Revert "expand_mmac_params: Expand local single macros unconditionally"

This reverts commit 1f6741fc78413236816c42d26b34134ab18ba4f1.

Revert due to BR 3026808.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>