regs.pl: add comments to regflags.c and regvals.c

Add comments to regflags.c and regvals.c, to make it easier to spot
errors.

Fix register numbers for ymm1-15!

ymm1-15 were incorrectly listed as starting at register number 0, with
obviously disastrous consequences...

ndisasm: the high bit of is4 bytes is ignored in 32-bit mode

Mask the high bit of is4 bytes in 32-bit mode.  Provide a generic
"regmask" variable that we can use for equivalent purposes as needed.

macros.pl: more readable comments

Add some comments to the output of macros.pl

Add some comments to the output of macros.pl, which might make it a
little bit easier to debug issues if there should be any.

preproc.c: prevent the compiler from reducing enum pp_token_type

The compiler is free to store enum pp_token_type into any size integer
small enough to contain all the values up to 2^n-1 for the smallest n
which contains all the values.  Force it to size it to integer size,
since we use it to hold macro positional parameters.

NASM 2.03rc1

CHANGES entry for %? and %??

Document %? and %??

Implement %? and %?? for mmacros

Same as before, but for mmacros this time

Implement %? and %?? for smacros

%? - substitute the macro name as invoked
%?? - substitute the macro name as defined

In particular:

%idefine keyword $%?

... can be used to make a new keyword "disappear".

phash: canonicalize order, fix handling of ignored duplicates

Canonicalize the order of the prehash entries, so we don't have to
worry about looking up both pairs of edges.

When we find a collision that we decide to ignore, there is no point
in adding the same edge into the array again; instead, just skip the
current edge.

phash: allow collisions if the hash target is the same

If the hash target is the same value, we can permit collisions.  This
isn't relevant for the current applications of the hash generator, but
is useful for cases where one have a number of sources for the same
target.  It's easy to check, either way.

phash: massively speed up the perfect hash generator

Make the perfect hash generator about 200x faster by using a very
simple custom graph adjacency representation instead of using
Graph::Undirected.

Fix mnemnonics for SSE5 PCOMU instructions

Fix mnemonics for VTESTP[SD] (BR 1971570)

Incorrectly entered as VPTEST* due to illogical placement in the manual.

Fix the VPSHUF*W instructions (BR 1971567)

The VPSHUF*W instructions had both wrong mnemonics and opcodes.

Fix typo in VPCMPESTRM instruction (BR 1971565)

The VPCMPESTRM instruction was typoed.

Add VCVTSI2SS (BR 1971564)

The VCVTSI2SS instruction was missing.

Fix immediate for PCLMULHQ* instructions (BR 1971555)

The immediate for the PCLMULHQ* instructions was wrong.

Remove imm from specific versions of VCMPxx

For the versions of VCMPxx which already embed their condition code,
we do not want an extra immediate argument.

Todo: fix bytecode compiler to complain more about these.

Add VLDQQU as an alias for 256-bit VLDDQU (BR 1971539)

Accept VLDQQU as an alias for VLDDQU when used with 256-bit values.

VFMSUBADDP[SD], not VFMADDSUBS[SD] (BR 1971573)

There are VFMSUBADDP instructions, but there are no VFMADDSUBS
instructions.

Add note about SEH support

Still need documentation from someone who actually knows anything
about how this works.

Win64: IMAGEREL references (SEH support for Win64)

Guess what, SEH again, but in Win64 context, which is completely
different matter from Win32. At lowest level this one boils down to
putting so called imagerel references, or in practical terms
relocations of type ADDR32NB, 0x0003, into .pdata and .xdata
segments. Two possibilities. 1. implement say 'wrt ..imagerel' or 'wrt
..imagebase'. 2. silently enforce ADDR32NB relocations in .pdata and
.xdata segments.

Make SAFESEH syntax error ERR_NONFATAL

Incorrect use of SAFESEH is more suited for ERR_NONFATAL than ERR_FATAL

Support for Win32 safeseh (BR 195417)

This is basically not a bug report, but a feature request.

It's desired to be able to link .obj modules compiled with 'nasm -f
win32' with Microsoft 'link /safeseh'. As well as to register symbols
(commonly subroutine's entry points or even external symbols) as "safe
handlers." In order to achieve this, several points are required.

First of all, object module has to have absolute symbol named @feat.00
with value of 1. This can actually be achived by adding 'absolute 1'
and '@feat.00:' to source code, but it's desirable that it's
autogenerated for win32 modules.

Handler registration is essentially symbol's *index* in current
module's symbol table in .sxdata, segment with 0x200 segment flags, an
"info" segment. It's also essential that symbol has type 0x20 (see
below). All this is depicted in following framgents of 'objdump -xD'
output:

Sections:
Idx Name          Size      VMA       LMA       File off  Algn
  0 .sxdata       00000004  00000000  00000000  0000003c  2**2
                  CONTENTS, READONLY, DEBUGGING

SYMBOL TABLE:
...
[  5](sec -1)(fl 0x00)(ty   0)(scl   3) (nx 0) 0x00000001 @feat.00
[  6](sec  0)(fl 0x00)(ty  20)(scl   2) (nx 0) 0x00000000 _handler
...
<.sxdata>
0: 06 00 00 00

Note [6] and (ty 20) in _handle line in SYMBOL TABLE. "06 00 00 00" in
.sxdata is little-endian 6, _handler's index. This is what makes up
"registration." It's impossible to achieve this with current nasm
facilities and it's probably appropriate to introduce a directive for
it, 'safeseh _handler' is probably most natural choice.

doc: another reference to DY

CHANGES since 2.02, so far...

Document DY, RESY and YWORD

AVX FMA: Instruction table for the AVX FMA instructions

This adds the AVX FMA instructions to the instruction table, which
should complete the AVX work.

AVX: Remaining AVX instructions (still need FMA)

Implement the remaining set of AVX instructions

insns.pl: better error messages, handle no-operand instructions better

Better error messages, and allow "void" instructions to omit the
operand colon.

AVX instruction table through "P"

AVX instruction table through the letter P in the manual

fmtinsns.pl: handle compiler fields; do some case mangling

Handle compiler-generated fields, and at least try to do some case
mangling.

Use hash tables even for context-sensitive macros

Normally, contexts aren't used with a large number of macros, but in
case someone does, do use hash tables for those as well.  This
simplifies the code somewhat, since *all* handling of macros is now
done via hash tables.

Future note: consider if it wouldn't be better to allow struct
hash_table to be allocated by the caller, instead of being allocated
by the hash table routine.

Add tokens vex.ww and vex.wx; vex.wx is the default

Add vex.ww (for VEX.W follows REX.W) and vex.wx (for VEX.W is a don't
care); vex.wx is the default since that seems to match existing usage
better.

AVX: instruction table up to PE

Complete the instruction table up to and including PE (document
319433-002, start next on page 5-330).

AVX: instruction table through M

Implement the AVX instruction table through the letter M.

insns.pl: error if we have a 'v' operand and no vex.nds/ndd

Although redundant, the presence of a 'v' operand should match the
existence of a nds or ndd flag on vex; this should help catch typos.

insnsn.c: cleaner to *not* separate out conditional instructions

The disassembler code gets cleaner if we do *not* separate out the
conditional instructions; instead, rely on the fact that the
conditionals are always at the end and use FIRST_COND_OPCODE as a
barrier.

Add legacy blendvpd to avx.asm, as a disassembler test.

Implement aliases for specific SSE5 compare operations

Implement aliases for specific SSE5 compare operations, per BR 1930630.

insns.dat: reimplement SSE5 compares using the bytecode compiler

Use the bytecode compiler for the SSE5 compare instructions.  While we
are at it, give it correct flags.

insns.pl: match AMD documentation for DREX syntax

Adjust the compiler to give a syntax for DREX instructions that
matches the AMD documentation.

Add the PCLMUL instructions (BR 1933742)

Add the PCLMUL group instructions, from the AVX spec but not actually
AVX instructions.

Add INVEPT and INVVPID (BR 1956955)

Use "o64nw" instead of "o64i" for o64 without REX.W

Use the somewhat more mnemonic "o64nw" for 64-bit operand size sans
REX.W.

Add the MOVBE instructions (BR 1956954)

Add the MOVBE instructions (load/store and swap)

insns.pl: readabilty improvements for isnsnd.c

Make insnsd.c a bit more consistent in style.

Disassembler: select table based on VEX prefixes

We can use the new VEX prefixes to select into a large table of new
opcode spaces.  Since the table is (currently) sparse, add logic so we
don't end up producing tons of empty tables for no good reason.

This is also necessary since VEX is likely to reuse opcode bytes that
would appear as prefixes at some point, which would cause conflicts
with the regular tables.

Fix skipping 0270 code when searching for disasm prefixes

The 0270 code was incorrectly entered as 270 (decimal), which meant
that instructions with vex but no .nds got misfiled in the improper
opcode tables.

Fix display for fixed xmm0/ymm0, SSE redundant prefixes

All singleton registers need to be displayable from register flags
alone!

When using the new 0360..0363 codes, make sure we appropriate avoid
displaying the legacy use of the prefixes.

Fix buffer overflow in preproc.c (BR 1942146)

Fix buffer overflow in preproc.c due to an incorrect test.  In the
code:

        for (r = p, s = ourcopy; *r; r++) {
    if (r >= p+MAX_KEYWORD)
     return tokval->t_type = TOKEN_ID; /* Not a keyword */
            *s++ = tolower(*r);
    }
        *s = '\0';

... the test really needs to be >= since for the pass where there are
equal:

a) a nonzero byte means we have > MAX_KEYWORD characters, and
b) s = ourcopy+MAX_KEYWORD; but if the test doesn't trigger,
   we can write one more character *plus* the null byte, overflowing
   ourcopy.

insns typo fix: SSE5 FNM* instructions misspelled

The SSE5 FNM* instructions were misspelled as FMN*

(Bug 1930322)

Merge branch 'master' of git+ssh://repo.or.cz/srv/git/nasm

UDx instructions are 186+, not 286+

The UDx instructions are valid as far back as the #UD trap, which is
the 186, not the 286.

VEX prefixes apply to VEX instructions only...

AVX instructions up to VMINSS

A few more AVX instructions (up to VLDMXCSR)

More AVX instructions, up to VLDMXCSR

Handle is4 bytes without meaningful information in the bottom bits

Support is4 bytes without meaningful information in the bottom bits.
This is equivalent to /is4=0 for the assembler, but makes the bottom
bits don't care for the disassembler.

inslist.pl: deal with the new encoding format

Make it possible for inslist.pl to understand the new encoding format;
fix a few minor buglets.

Officially specify - as the symbol for an implicit operand

Use - to denote that an operand is implicit (not encoded).  This
*better* be a fixed operand!

AVX: implement all the convert instructions...

Make our way through the AVX instructions: conversions.
This is all I have time for now... hopefully this can service as a
generous source of examples.

Accept the gas mnemonics "ud2a" and "ud2b"; fix ud0

Accept the gas mnemonics "ud2a" and "ud2b" for the instructions we
call ud2 and ud1 respectively, and Intel call ud2 and undocumented :)

Also, 0F FF is ud0 regardless of prefixes, at least as far as we know.

ndisasm: simple compare for conditional opcodes, no loop

We had a completely unnecessary loop to test for conditional opcodes.
Since we always put the conditional opcodes at the end, we might as
well just remember where that list starts and compare against it.

Finish the VCMP series...

More AVX instructions

Add additional AVX instructions to the list.

Make the syntax for immediates match the docs better

Use a more manual-like syntax for immediates (we still may have to use
extended syntax, but not always.)

Add support for ymm0 in instructions

Make it possible to use ymm0 as a fixed operand in instructions

phash: cut random vector set down a bit

Reduce the size of the random vector set somewhat

No 32-byte floating point format: fix error for DY

Output a more legible error message for floating-point with "DY".

openwcom.mak: wmake uses & for continuation, not \ (sigh)

wmake uses & for continuation, since \ is used for pathname
separators.

Readability improvements for regdis.c

netware.mak: correct dependencies

The Makefile uses VPATH and stripped directory names for files, so
generate the dependencies accordingly.

rdx: Add cast avoid warning from gcc

Avoid a warning from gcc about casting an integer of different size to
a pointer.

Avoid #including .c files; instead compile as separate units

Don't #include .c files, even if they are auto-generated; instead
compile them as separate compilation units and let the linker do its
job.

PTEST is SSE4.1; although AMD says it's SSE5.

Fix this when we have proper support for feature sets, or forget about
the concept entirely.

insns.pl: don't require whitespace before / or \

Use Perl's context-sensitive regular expressions to tell split that a
slash or backslash begins a new operator.

nasm.h: remove obsolete IP_REG definitions

Add DY, YWORD, and the SY instruction flag

Add the DY instruction, YWORD keyword, and an SY marker for
instruction sizes.  Add a few more AVX sample instructions.

insns.pl: support operands that serve double duty

Sometimes assembly syntax wants to permit a single operand to serve
multiple functions; allow this.

The disassembler could really use to be smarter about those.

insns.dat: no subheader for "must be last"

insns.dat: make even wider to make space for AVX

The AVX instructions take more space, so add a few tab stops across
the entire file.

insns.dat: use compiler-generated bytecodes for AVX

Use compiler-generated bytecodes for the AVX instruction demos.  This
should make it a lot easier for other people (HINT, HINT) to add the
instruction table.

insns.pl: fix regex subgroup of /is4= codes

The argument is now $1, not $2...

insns.pl: fix splitting of bracketted operations

Opcode listing notation is /is4, consistently

Use the \360..\363 annotations for SSE prefixes

Same some space by introducing shorthand byte codes for SSE prefixes

Properly done, all SSE instructions which has the 66/F2/F3 opcode
multiplex need two prefixes: one to control the use of OSP and one to
control the use of REP.  However, it's a four-way select: np/66/F2/F3;
so introduce shorthand bytecodes for that purpose.

Allow explicit immediate syntax for imz2 as well as is4

imz2 is just an alias for is4 as far as we are concerned...

insns.pl: escape literal special character in regex

In Perl code, it is good practice to escape special characters
intended to be literal.

Bytecode compiler: add support for is4/imz2 operands

More work on bytecode compiler (not finished yet...)

More work on the bytecode compiler.  Not all useful bytecodes are
implemented yet, however.

insns.pl: first steps toward a "smart" bytecode compiler

First steps toward a smart(er) bytecode compiler, using a syntax that
can be more directly taken from the manuals.

Make insnsb.c an actual compilation unit

"make alldeps" doesn't really like it when included files end in *.c.
Instead of renaming insnsb.c to insnsb.h, make it an actual
compilation unit, since there really isn't any reason for it not to
be.

insnsb.c: use 5 digits for index, not 4

We already have indexes up to 9500, so use 5 digits instead of 4.

Make MAX_OPERANDS a parameter in insns.pl as well

MAX_OPERANDS is present in insns.pl as well (although proper C
compilers shouldn't need this kind of zero padding.)  Make sure it's
clear to everyone.

Remove special hacks to avoid zero bytecodes

We can now have zero bytecodes with impunity, so remove any special
hacks we had to avoid zeroes in the bytecode.

Generate a byte array instead of using strings for the byte codes

Generate a byte array instead of using C compiler strings for the byte
codes.  This has a few advantages:

- No need to special-case zero due to broken C compilers.
- Only insns.pl only ever reads the string, so we can invent our own
  syntax.
- Compaction.
- We can give it the proper, unsigned type.