Avoid obscure segfault in DWARF generation

If DWARF debugging info is requested, and no section
is marked executable, output empty debug sections,
instead of allowing assembler to segfault.

Merge branch 'master' of git+ssh://ccrayne@repo.or.cz/srv/git/nasm

Remove EQU for critical expression list

Allow redefine_label to update segment as well as offset,
thereby fixing bug which required EQU to be on the
critical expression list.

NASM 2.03rc5

Fix double free in %depend

Fix memory management issues with expanded %include

Ownership of the filename string was a bit fuzzy, with the result that
we were freeing it even though it was retained for use by __FILE__.
Clean up a number of other memory management issues with the new
quoting code, and change the stdscan implementation to one pass over
the string.

Update .gitignore, remove bogus dependency

Makefile/dependency updates

Add quote.c to all the auxiliary Makefiles, and run "make alldeps".

doc: Remove "what's new" since it is out of date

quote: Change the definition of escp

Semi-arbitrary change of the definition of escp to the beginning of
the argument sequence instead of the initiator character.  This may
avoid an add in some code paths, and looks slightly cleaner to me.

quote: be consistent in not using C escapes for bytes

We used numbers in nasm_unquote and C escapes in nasm_quote - use
numbers in both places, just in case some C compiler does something
weird with '\r' and (especially) '\n'.

nasm_unquote: make code a little more uniform

Make the code a bit more consistent:

- ndig is now always a countdown, and we always to the (p > escp+1)
  test to see if we got anything at all (this is to deal with stuff
  like \x without a digit.)
- Add missing break; after 'v' (bug!).
- Preinitialize nval to zero.

quote: massively simplify nasm_skip_string()

Greatly simplify nasm_skip_string() by observing that for the purpose
of string skipping, all states other than st_backslash are equivalent
to st_start.

Document UTF-8 conversion better, use "byte" instead of "ASCII"

ASCII specifically refers to characters <= 127, so to use "ASCII" for
literal bytes is really confusing in a multibyte environment.  Give an
example of using Unicode escapes.

Document that underscores in numbers is permitted.

NASM 2.03rc4

Update CHANGES

nasmdoc: document %substr, `...`

Fix bug where the WinHelp backend corrupts the internal data

WinHelp/RTF needs to convert \ to \\, but did so on the global data,
so the DIP output was corrupted.

qstring: fix unquoting in %pathsearch directive

%pathsearch unquoting should be done on the "t" token, not on the
"tline" token...

qstring: backquoted strings seem to work now...

Hopefully backquoted strings should work correctly now.

qstring: first cut at full quoted string support in the preprocessor

First attempt at properly handle quoted strings in the preprocessor.
This also adds range support in %substr.

No support in the assembler yet.

qstring: add nasm_unquote() supporting `...`

Add a nasm_unquote() function supporting the intended `...` syntax.

doc: Single section for all the date/time macros

Move all the date/time macros to a common section so we can give a
common example.  We don't have support for a fourth level of headers,
so just use a bulleted list.

doc: fix __UTC_DATE__ and __UTC_TIME__ description

incbin: use the macro name itself as context name

Use the macro name itself as the context name, this is consistent with
other standard macros.

Update CHANGES

Add missing %rotate directive to the FLOAT macro.

incbin definition: use %?

Document %pathsearch and %depend

Introduce %depend and %pathsearch, and make incbin a macro

Introduce new preprocessor directives %depend and %pathsearch, and
make incbin a standard macro using these filenames.  This lets us
remove the code that makes incbin search the path.

stdscan.c: clarify comment

There is a reason rn_warn isn't checked in this particular case...

preproc.c: %include: use expand_smacros() not expand_smacros_in_string()

Call expand_smacros() early instead of expand_smacros_in_string()
late.  expand_smacros_in_string() seems like a prodigiously bad idea
and a sheer brainfart in my opinion.

doc: consistent capitalization (and indexing!) of INCBIN

Add the -MP option to emit phony targets

Add the -MP option to emit phony targets.  Since this means each
header file has to be visited more than once, change the
implementation to use an internal list of all the dependencies, and
centralize the emission of the dependency files.

Add new options to CHANGES

NASM 2.03rc3

Document the new dependency options.

Implement -MD, -MF, -MT, -MQ

Implement the dependency options:

-MF: set the file to which dependencies are written.
-MD: generate dependencies in parallel with compilation.
-MT: set the name of the dependency target.
-MQ: same as -MT, but *attempt* to quote it for Makefile safety.

preproc.c: get_ctx() can return NULL...

Handle the case where we would attempt to look up a possible local
context just to find that one doesn't exist.

Missing % in %ifmacro

hash user allocates struct hash_table

struct hash_table, a fixed-sized structure, is now allocated by the
caller.  This lets us integrate it into the Context structure, thus
avoiding an additional dynamically allocated object for no good
reason.

Add some minor code collapsing: make it more obvious that all that
differs is a pointer value, rather than relying on the compiler to do
tail merging.

Merge commit 'autotest/master'

tokhash.pl: fix comment

Correct filename in comment

regs.pl: add include guards to generated header files

Add include guards to generated header files, and make sure the
appropriate prerequisite headers are included if necessary.

make alldeps

regs.pl: regdis.h needs "extern"; minor cleanups

The declarations in regdis.h need to be "extern", since they are
external data.

regdis.c should include regdis.h.

Minor stylistic cleanups in regs.c.

NASM 2.03rc2

insns.dat: whitespace cleanup

Fix double 66 prefixes on INVEPT/INVVPID (BR 1956955)

Fix double 66 prefixes on INVEPT/INVVPID in 16-bit mode, per BR
1956955.

doc: document Win32/64 SEH extensions

Document COFF extensions for Windows SEH

outcoff.c: remove dead code, add check for imagerel

Remove commented-out (dead) code, add check that the imagerel
references are valid.

avx.bin: clean up screwy whitespace

VCVTPD2PS, VCVTPD2DQ, VCVTTPD2DQ mem need explicit op size (BR 1974170)

BR 1974170: VCVTPD2PS, VCVTPD2DQ, VCVTTPD2DQ with a memory operand are
ambiguous without a specific operand size, so force one to be added.

Split the instruction pattern due to our current clunky handling of
MMX/XMM/YMM registers together with sizes.  Fix in the future, please!

Fix parameters to VCVTPD2DQ (BR 1974159)

regs.pl: add comments to regflags.c and regvals.c

Add comments to regflags.c and regvals.c, to make it easier to spot
errors.

Fix register numbers for ymm1-15!

ymm1-15 were incorrectly listed as starting at register number 0, with
obviously disastrous consequences...

ndisasm: the high bit of is4 bytes is ignored in 32-bit mode

Mask the high bit of is4 bytes in 32-bit mode.  Provide a generic
"regmask" variable that we can use for equivalent purposes as needed.

macros.pl: more readable comments

Add some comments to the output of macros.pl

Add some comments to the output of macros.pl, which might make it a
little bit easier to debug issues if there should be any.

preproc.c: prevent the compiler from reducing enum pp_token_type

The compiler is free to store enum pp_token_type into any size integer
small enough to contain all the values up to 2^n-1 for the smallest n
which contains all the values.  Force it to size it to integer size,
since we use it to hold macro positional parameters.

NASM 2.03rc1

CHANGES entry for %? and %??

Document %? and %??

Implement %? and %?? for mmacros

Same as before, but for mmacros this time

Implement %? and %?? for smacros

%? - substitute the macro name as invoked
%?? - substitute the macro name as defined

In particular:

%idefine keyword $%?

... can be used to make a new keyword "disappear".

phash: canonicalize order, fix handling of ignored duplicates

Canonicalize the order of the prehash entries, so we don't have to
worry about looking up both pairs of edges.

When we find a collision that we decide to ignore, there is no point
in adding the same edge into the array again; instead, just skip the
current edge.

phash: allow collisions if the hash target is the same

If the hash target is the same value, we can permit collisions.  This
isn't relevant for the current applications of the hash generator, but
is useful for cases where one have a number of sources for the same
target.  It's easy to check, either way.

phash: massively speed up the perfect hash generator

Make the perfect hash generator about 200x faster by using a very
simple custom graph adjacency representation instead of using
Graph::Undirected.

Fix mnemnonics for SSE5 PCOMU instructions

Fix mnemonics for VTESTP[SD] (BR 1971570)

Incorrectly entered as VPTEST* due to illogical placement in the manual.

Fix the VPSHUF*W instructions (BR 1971567)

The VPSHUF*W instructions had both wrong mnemonics and opcodes.

Fix typo in VPCMPESTRM instruction (BR 1971565)

The VPCMPESTRM instruction was typoed.

Add VCVTSI2SS (BR 1971564)

The VCVTSI2SS instruction was missing.

Fix immediate for PCLMULHQ* instructions (BR 1971555)

The immediate for the PCLMULHQ* instructions was wrong.

Remove imm from specific versions of VCMPxx

For the versions of VCMPxx which already embed their condition code,
we do not want an extra immediate argument.

Todo: fix bytecode compiler to complain more about these.

Add VLDQQU as an alias for 256-bit VLDDQU (BR 1971539)

Accept VLDQQU as an alias for VLDDQU when used with 256-bit values.

VFMSUBADDP[SD], not VFMADDSUBS[SD] (BR 1971573)

There are VFMSUBADDP instructions, but there are no VFMADDSUBS
instructions.

Add note about SEH support

Still need documentation from someone who actually knows anything
about how this works.

Win64: IMAGEREL references (SEH support for Win64)

Guess what, SEH again, but in Win64 context, which is completely
different matter from Win32. At lowest level this one boils down to
putting so called imagerel references, or in practical terms
relocations of type ADDR32NB, 0x0003, into .pdata and .xdata
segments. Two possibilities. 1. implement say 'wrt ..imagerel' or 'wrt
..imagebase'. 2. silently enforce ADDR32NB relocations in .pdata and
.xdata segments.

Make SAFESEH syntax error ERR_NONFATAL

Incorrect use of SAFESEH is more suited for ERR_NONFATAL than ERR_FATAL

Support for Win32 safeseh (BR 195417)

This is basically not a bug report, but a feature request.

It's desired to be able to link .obj modules compiled with 'nasm -f
win32' with Microsoft 'link /safeseh'. As well as to register symbols
(commonly subroutine's entry points or even external symbols) as "safe
handlers." In order to achieve this, several points are required.

First of all, object module has to have absolute symbol named @feat.00
with value of 1. This can actually be achived by adding 'absolute 1'
and '@feat.00:' to source code, but it's desirable that it's
autogenerated for win32 modules.

Handler registration is essentially symbol's *index* in current
module's symbol table in .sxdata, segment with 0x200 segment flags, an
"info" segment. It's also essential that symbol has type 0x20 (see
below). All this is depicted in following framgents of 'objdump -xD'
output:

Sections:
Idx Name          Size      VMA       LMA       File off  Algn
  0 .sxdata       00000004  00000000  00000000  0000003c  2**2
                  CONTENTS, READONLY, DEBUGGING

SYMBOL TABLE:
...
[  5](sec -1)(fl 0x00)(ty   0)(scl   3) (nx 0) 0x00000001 @feat.00
[  6](sec  0)(fl 0x00)(ty  20)(scl   2) (nx 0) 0x00000000 _handler
...
<.sxdata>
0: 06 00 00 00

Note [6] and (ty 20) in _handle line in SYMBOL TABLE. "06 00 00 00" in
.sxdata is little-endian 6, _handler's index. This is what makes up
"registration." It's impossible to achieve this with current nasm
facilities and it's probably appropriate to introduce a directive for
it, 'safeseh _handler' is probably most natural choice.

doc: another reference to DY

CHANGES since 2.02, so far...

Document DY, RESY and YWORD

AVX FMA: Instruction table for the AVX FMA instructions

This adds the AVX FMA instructions to the instruction table, which
should complete the AVX work.

AVX: Remaining AVX instructions (still need FMA)

Implement the remaining set of AVX instructions

insns.pl: better error messages, handle no-operand instructions better

Better error messages, and allow "void" instructions to omit the
operand colon.

AVX instruction table through "P"

AVX instruction table through the letter P in the manual

fmtinsns.pl: handle compiler fields; do some case mangling

Handle compiler-generated fields, and at least try to do some case
mangling.

Use hash tables even for context-sensitive macros

Normally, contexts aren't used with a large number of macros, but in
case someone does, do use hash tables for those as well.  This
simplifies the code somewhat, since *all* handling of macros is now
done via hash tables.

Future note: consider if it wouldn't be better to allow struct
hash_table to be allocated by the caller, instead of being allocated
by the hash table routine.

Add tokens vex.ww and vex.wx; vex.wx is the default

Add vex.ww (for VEX.W follows REX.W) and vex.wx (for VEX.W is a don't
care); vex.wx is the default since that seems to match existing usage
better.

AVX: instruction table up to PE

Complete the instruction table up to and including PE (document
319433-002, start next on page 5-330).

AVX: instruction table through M

Implement the AVX instruction table through the letter M.

insns.pl: error if we have a 'v' operand and no vex.nds/ndd

Although redundant, the presence of a 'v' operand should match the
existence of a nds or ndd flag on vex; this should help catch typos.

insnsn.c: cleaner to *not* separate out conditional instructions

The disassembler code gets cleaner if we do *not* separate out the
conditional instructions; instead, rely on the fact that the
conditionals are always at the end and use FIRST_COND_OPCODE as a
barrier.

Add legacy blendvpd to avx.asm, as a disassembler test.

Implement aliases for specific SSE5 compare operations

Implement aliases for specific SSE5 compare operations, per BR 1930630.

insns.dat: reimplement SSE5 compares using the bytecode compiler

Use the bytecode compiler for the SSE5 compare instructions.  While we
are at it, give it correct flags.

insns.pl: match AMD documentation for DREX syntax

Adjust the compiler to give a syntax for DREX instructions that
matches the AMD documentation.