Generic framework for reading compressed files using standard I/O

Add zopen(), zfopen(), and zloadfile() to transparently open and
uncompress a gzip file (adding support for other formats is quite
trivial.

Once a file handle or file pointer is received, it can be treated like
any other one (fstat will report it as a socket, since the length is
unknown.)

Tighten close_file, fix SYSLINUX new file API

Define close_file slightly tighter:

       - It is permitted to call close_file with a zero filehandle
       - close_file zeros SI

Fix the handling of the new API in SYSLINUX.  It appears file_left was
never actually initialized; it simply didn't matter since the old code
would either trip on reaching the end of the FAT chain or count the
data it needed.  Now operating according to spec.

Change the "tsize" error message since it no longer applies

Fix the tsize error message to indicate that it now, in fact, refers
to an invalid TFTP response.

SYSLINUX, EXTLINUX: support the new getfssec API

Support the new getfssec API which returns number of bytes read in
SYSLINUX and EXTLINUX.  Untested so far, but it's a reasonably easy
change.

comboot.inc: use the correct upper limit

The exact upper limit is 65536-256-2 = 65278 = 0xFEFE bytes.

comboot.inc: update test for oversized files

The test for oversized COMBOOT files have to be updated to be an a
posteori test, since the length might not be known a priori.

Un-inline fclose()

gcc complains that fclose() is too big to be inlined with -Os, so
humour it and move fclose() out of line.

background.c: remove unused filesize() function

Remove obsolete and now unused filesize() function.

realloc(): put an absolute upper limit on slack

With loadfile() doing megabyte-sized trial-and-error allocations, we
want to be able to do really set the size on the final allocation;
thus constrain the amount of permitted slack to 4K max.

Comboot/Com32 changes for unspecified file lengths

Handle unspecified file length for comboot/com32 modules; do changes
to the appropriate part of libcom32 to handle this properly.

Document the nolen changes.

PXELINUX: make TFTP work without any OACK

Make the TFTP stack handle the case where no options are acknowledged,
so we don't even get an OACK; instead we get the first data packet
immediately.

PXELINUX: make TFTP work without tsize

Make the TFTP stack no longer require the tsize option.

Note: getc relies on DI not being clobbered by getfssec.  Be more
careful about not clobbering registers unless documented.

getc: support for unknown file sizes

Handle unknown file sizes in getc

isolinux: getfssec now outputs bytes read

ISOLINUX support for the API changes needed to handle unknown file
sizes.

Revamp runkernel.inc for "lengthless" operation

Revamp runkernel.inc to be able to operate without a priori known
length.

Merge commit 'origin/nodxax' into nolen

Conflicts:

pxelinux.asm

Remove additional use of DX:AX

Remove an additional use of DX:AX for file size

pxelinux: fix inadvertent breakage of TFTP

Fix the following bogus edit in previous checkin:

- mov eax,[si+tftp_filesize]
+ mov eax,[si+tftp_bytesleft]

Finally get rid of the old DX:AX for file length 16-bitism

Finally scrub the code and get rid of the old uses of DX:AX for file
size (rather than EAX).

fstat(): report files of unknown length as sockets

Allow MENU EXIT to specify a menu tag

Allow MENU EXIT to "exit" to an arbitrary menu.  This is really just a
variant of "MENU GOTO", but it allows displaying an exit marker.

Fix the handling of hotkeys in MENU LABEL on submenus

Two bugs:

- We didn't strip ^ symbols inheriting from MENU LABEL to MENU TITLE
- We did consider_for_hotkey() with the wrong menu (the submenu
  itself, as opposed to the parent menu.)

As part of these changes, make a function available to create an
uninitialized, mutable refstring (that can be constructed and then
used as a refstring, that is.)

PXELINUX: no longer require a tsize option

No longer require a tsize option; this means handle
RRQ -> DATA as well as RRQ -> OACK.

Document intent at no longer providing file length a priori

We intend to no longer guarantee that we know the file size ahead of
time.

This probably will be version 3.70...

NEWS: Document Bruce Robson's Adaptec bug fix

realloc(): try to protect a block in the path of a growing object

When we realloc() a block larger, try to protect the free block
following it from being immediately allocated by something else by
placing it at the end of the freelist instead of the beginning.

realloc(): better implementation allowing in-place growth

Change the realloc() implementation to allow in-place growth.  This is
an important step in handling files without knowing their sizes a
priori.

"begin Ymodem download" is supposed to be an imperative...

Fix MENU TITLE -> MENU LABEL inheritance

Correctly make it so MENU TITLE can be inherited upward as MENU TITLE
unless one is provided.

Make sure color directives get attached to the proper menu.

Color directives would always end up attached to the root menu, no
matter what menu declaration they where actually located in.

simple menu: fix the handling of '+' and '-' given disabled entries

When encountering disabled entries, we want to keep going.  Given that
these particular keys have nonstandard scrolling, but the handling there.

Fix the scrollbar handling for insanely huge menus

The handling of the scrollbar for insanely huge menus was broken,
causing it to disappear off the bottom of the menu window.

simple menu: remember the cursor position on a per-menu basis

For each menu, remember what the current position of the cursor and
the scroll is.

Add support for MENU EXIT; no marker for MENU GOTO

When entering a new menu, go to the default entry for that menu.

Document MENU START

Whitespace cleanup...

com32: remove dependency files for "make tidy"

Add dependency generation for com32 samples.

Add dependency generation for com32 modules.

Add dependency generation for the simple menu system

Set m->title for both root and submenus

Allow MENU LABEL <-> MENU TITLE for submenus to work both ways

Allow either "MENU LABEL" or "MENU TITLE" to default for each other.

Allow an included file to be treated as a submenu.

Document hierarchial menus so far...

simple menu: The use of realloc() requires indirect pointers

Since we store pointers to struct menu_entry, we can't put it in
storage that is subject to realloc().  Accordingly, make menu_entries
an indirect array instead.

simple menu: first cut at working submenus

With this edit, the submenu system seems to have minimal
functionality.

refstr: handle NULL in refstr[n]dup()

Simple menu: use refstrings consistently; now works again

Switch consistently to using refstrings; we now seem to have original
functionality back.

refstr_get(): handle NULL, force inline

Make refstr_get() handle NULL correctly; force it to be an inline
since it seems to make no difference for code size.

[v]rsprintf(): actually set the return pointer...

submenu snapshot: it compiles now...

Actually implement strnlen()

Actually implement strnlen(), which was in the header files but not in
the library.

Actually implement syslinux_ipappend_strings()

Actually implement the library function syslinux_ipappend_strings(),
which had been in the header files but not in the actual library.

Submenu support: development snapshot

Development snapshot before converting to refstrings

memdump: fix typo

VESA: work around bug in the Bochs VESA BIOS

The Bochs VESA BIOS returns a value other than 1 for the number of
banks in unbanked modes.  Ignore the number of banks if bank_size == 0
(the spec says that for unbanked modes, banks == 1 && bank_size == 0;
for banked modes banks > 1 and bank_size != 0).

rllback: improve compression by allowing two-byte run lengths

With the command line size being set to 2K, it's common to need longer
runs.  Allow runs up to 8K.

ISOLINUX: Adaptec bug fix: handle the case of DL missing bit 7

Intel Classic R+ computer with Adaptec 1542CP BIOS 1.02 passes garbage
in sp_drive, and the drive number originally passed in DL does not
have 80h bit set.  Check for this case and compensate if appropriate.

Get rid of 4096-entry limit in the simple menu system

Use a dynamic array instead of a static array which we would simply
crash on overflow.  Always make it a power-of-two sized so we don't
end up doing a realloc() and a full array copy on every extend.

If we're showing a scrollbar, always show at least one unit

In the simple menu system, if we're showing a scrollbar at all, always
show at least one unit of it.

Put virtual kernels (CLI labels) in high memory

Support putting virtual kernels in high memory instead of using a
dedicated segment for it.  This both reduces the low memory footprint
by 64K, and allows for functionally unlimited labels (tested with over
a hundred thousand.)

hello.c: print arguments, no input section

Make "Hello, World!" a little bit more plain, but do print out its
arguments, if any.  Useful for testing.

Don't close the A20 gate; leave it open

Don't close the A20 gate (restore to previous state); leave it open.
This is good for performance, but also avoids a nasty race condition
when leaving protected mode to then quickly re-enter protected mode.

Slightly simpler to use interface to simple_pm_call

Clean up the interface to simple_pm_call so we generally can avoid a
bunch of push/call/pop/ret boilerplate.

bcopy32: refactor the bcopy routine to be able to reuse the pm part

Refactor the bcopy routine to be able to reuse the pm entry and exit
portion to call other "simple" protected-mode routines ("simple" in
the sense that no interrupt thunking support is present or expected.)

Note: consider whether or not it would be preferrable to move the
thunking support into low memory and have it be always present.

VESA: suppress an unused arguments warning

Suppress a warning about unused arguments.

VESA: align the row buffer to a multiple of 4 bytes.

We do dword accesses to the row buffer, so align it to 4 bytes.

Add __aligned() and __alignas() macros

Add macros __aligned() (which takes a byte count), and __alignas()
(which takes a type or expression whose type is used, same as sizeof).

VESA: Minor cleanups

Minor cleanups for clarity

VESA: move debugging code to separate header file

Move the debugging function to a separate header file, so we can
include it at will when convenient.

Set the window size to 2 GB for linear framebuffer

Set the window size to 2 GB for linear framebuffer, lest the
calculation:

    l = min(bytes, win_size-win_off);

... incorrectly returns zero when win_off == 0.

Bypass pixel conversion when the output format is BGRA32

When the output format is BGRA32, we don't need any conversion at
all.  Skip the dummy copy.

Treat linear framebuffer as a degenerate paged framebuffer

Simplify the code by treating linear framebuffer as a degenerate case
of a paged framebuffer (a single window covering all of memory, which
is already in position 0 - the only possible position.)

VESA: move pixel formatting into __vesacon_copy_to_screen()

Make pixel formatting an integral part of __vesacon_copy_to_screen().
In order to cut down on the dispatch overhead, make the formatting
functions contain the pixel loop, so we only do indirect dispatch
twice per pixel row - once for the formatting and once for copying to
the screen.

Fix the calculation of bytes_per_pixel

Handle cases where __vesa_info.mi.bpp is not a multiple of 8, e.g. 15.
Remove totally redundant switch statement in vesacon_update_characters().

Replace C version of memmove() with slightly optimized assembly

Replace the C version of memmove() with a slightly more optimized
assembly version that at least can do dword-sized rep moves.

Document support for nonlinear frame buffers.

VESA: Support 15-bit RGB modes.

If there are manufacturers which don't support linear framebuffers out
there, then there is probably someone who want a 15-bit mode, too.

Add support for paged (banked) VESA video mode

Add support for paged ("banked", non-linear-framebuffer) VESA video
modes.  Apparently some manufacturers haven't caught on that
non-linear graphics modes have been obsolete for 15 years or so
already.

Correct comment specific to SYSLINUX in the other derivatives

There was a comment which applied to SYSLINUX that had been copied
verbatim to the other derivatives; fix.

isolinux: spec buffer size is 13h (19), not 13

The El Torito spec says "13", but it's implicitly hexadecimal.  We got
it right in one place and wrong in another.  Fix.

The shuffle descriptors need to be unused for input *and* output

The memory used to hold shuffle descriptors must be unused during the
entire execution of the shuffle sequence, and therefore needs to be
free at input *and* output time.

Once we have picked a region for the shuffle descriptors, we can free
this working copy and start over with a clean memory map, the only
thing we do there is mark as reserved the memory used by the
descriptors.

Change the minimum number of shuffle descriptors to 64.

Only use 64 as a static guarantee of the number of shuffle
descriptors; corresponding to 768 bytes of memory.

Query the shuffle descriptor set size and use it

Query the maximum number of shuffle descriptors, and use that number
as the descriptor block size.

Move the prototypes for syslinux_shuffle_boot_*()

Move the prototypes for syslinux_shuffle_boot_[pr]m() from
<syslinux/movebits.h> to <syslinux/boot[pr]m.h>, which anyway has the
required structure definitions.  #include <syslinux/movebits.h> in
those files instead of relying on forward structure definitions.

A bit more exactitude in the documentation

Switch the display file and graphics routines to using the getc stack

The file display and graphics routines used their own file management
since the old getc code did not nest.  The new one does (necessary to
support INCLUDE), so use the same routines and get rid of the ad hoc
buffer management.

getc: don't clobber AH; return CF=1, AL=0 on end of file

Don't clobber AH when calling getc; when returning with CF=1 (EOF),
always return with AL=0.

NEWS: document longer command line limit.

simple menu: extend command line size to 2047 characters

Extend the command line size to 2047 characters.  The editor probably
doesn't deal all that well with it; as it pretty much needs a
scrolling window of some sort (2047 characters is bigger than an 80x25
screen.)

Worry about that bit later.

Change command line limit to 2047 characters

Change the command line limit to 2047 characters, which is also the
current kernel limit.  As a result, shuffle around the memory layout
to make the larger buffers fit.

TODO: consider moving vgafontbuf to getcseg, and try to make do with
fewer command line-sized buffers.

Remove last users of getcbuf; reclaim the address space

Remove the last few uses of getcbuf (to extend trackbuf for shuffle
descriptors, and for temp storage during pxelinux config file search.)
As a result, change the way RBFG_brainfuck is handled in pxelinux (at
some point it's probably not worth maintaining anymore, as RBFG is no
longer widely used); add a .bss2 section for the region between the
RBFG zone and the stack.

shuffle: avoid computing block lists that will never converge

It is safe to assume that the number of moves will never decrease as
the reserved memory space increases; thus, no need to do individual
increments; skip ahead.

Document changes

Handle arbitrary numbers of shuffle descriptors

Allocate high memory out of the way to hold the shuffle descriptors,
and generate continuation descriptors as needed.

comboot: guarantee at least 256 shuffle descriptors

Make a static guarantee of a minimum of 256 shuffle descriptors.

Working on version 3.62