Merge remote branch 'origin/master' into pathbased

chain.c32: Fix chaining to MBRs

The change to load the bootsector even when loading a bootstrap from a
file broke the handing of chainloading the MBR of a disk.  Fix this.

Debugging-info-by: Thomas Mieslinger <thomas.mieslinger@lundl.de>
Signed-off-by: H. Peter Anvin <hpa@zytor.com>

VFAT: handle filenames with are exact multiples of 13

Filenames in VFAT that are exact multiples of 13 are not
null-terminated; handle that particular subcase.

Reported-by: Gert Hulselmans <gerth@zytor.com>
Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lmalloc: add <string.h> for lzalloc

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

readdir: replace opendir/readdir/closedir API with a 32-bit API

The 16-bit API to opendir/readdir/closedir was confused, had a memory
leak, and was incompatible with Syslinux 3.x anyway.  Replace it with
a pure 32-bit API.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

extlinux: centralize file flags setting; add FAT support

Centralize the poking at file flags.
Add FAT support to file flags setting (S bit).

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

extlinux: don't report failure after writing a FAT superblock

Missing parens made us return failure after successfully writing a FAT
superblock.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fat: fix longname matching

Fix longname matching, which was broken due to missing counter
decrement.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

btrfs: remove global fs ptr and clean up code

Signed-off-by: Alek Du <alek.du@intel.com>
Signed-off-by: H. Peter Anvin <hpa@zytor.com>

btrfs: get rid of unnecessary _fs variable

Get rid of the unnecessary _fs variable in btrfs_fs_init().  The
compiler would have optimized it out anyway, but it's cleaner if it's
in the source.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

btrfs: Implement next_extent and call generic_getfssec

Now multiple extent allocation is supported.
Also fixed the symlink file handling and fs_init typo.

Signed-off-by: Alek Du <alek.du@intel.com>
Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: don't allow URL parsing to produce zero bytes; retune

Don't allow URL escapes to produce zero bytes (%00).  Also, assume
TFTP URLs are going to be less common than "plain" filenames, so defer
the type testing until we know it's a URL.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Add simplified toupper, tolower, str[n]casecmp to core

(Missing from previous checkin)

Add simplified toupper(), tolower() and str[n]casecmp()
implementations to the core, good enough for ASCII e.g. for use in URL
parsing, or in config file decoding.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: handle tftp:// URLs natively

Handle tftp:// URLs natively, instead of relying on gPXE.  This also
allows for specifying a nonstandard TFTP port.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: add a single-tick timeout for PXE stacks which eat transmits

Add a single-tick first-round timeout for PXE stacks which eat the
first transmit under certain circumstances, i.e. gPXE if the ARP table
isn't populated yet.

TODO: encapsulate all send packet/wait for reply code into a common
function.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

gfxboot: remove 16-bit gfxboot module

Get rid of the 16-bit gfxboot module; use gfxboot.c32 instead.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fs: add no_next_extent() dummy function

Add a no_next_extent() dummy function for filesystems (like iso9660)
which should never end up calling next_extent (because there is only
one extent...)

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: fs: get rid of the prev_extent member

The prev_extent member was only ever used transiently; instead pass
the new lstart in as an argument and leave the previous value of
next_extent unmolested and thus can be used in-place.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: get rid of unmangle_name completely

The notion of "mangle name" is now restricted to producing a canonical
representation, e.g. changing \ -> / for FAT filesystems.  However,
the resulting mangled name is now always human-readable, so there
never is any reason to unmangle a name.

Get rid of not just the mangling, but of the resulting unmangled-name
buffers and so on.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: remove unmangle_name

Remove the now-obsolete unmangle_name method.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: add missing dependencies

We need to account for dependences as far down as we care about.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: change debugging message to dprintf()

Marking debug messages is what dprintf() is for...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

memdisk: drop DEBUG from unzip.c

DEBUG doesn't work in unzip.c/inflate.c, so always #undef it.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: drop UDP close from unload sequence

UDP close is part of the reset sequence, not the unload sequence.  Now
we always execute the reset sequence, so drop it from the unload
sequence.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: don't use "const volatile" in __jiffies definition

It looks like some versions of gcc might have issues with "const
volatile".

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: revamp timeout, improve the unloading of gpxelinux

Revamp the timeout mechanism, to deal with UDP stacks (like gPXE!)
which lose transmit packets.  gPXE, in particular, will drop a UDP
packet if it doesn't have the recipient in the ARP cache.
Furthermore, it has the poor taste to not even send back an error.

Also, always unload gPXE when present, before exiting.  This should
let us clean up low memory better.  Reconsider if this turns out to be
too slow.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

dprintf: make usable on hardware

Actually configure the serial port used for dprintf, so we can
actually use it on real hardware.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

com32/lib: remove unused definitions

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

MCONFIG.embedded: make sure to honor options in MCONFIG.local

In particular, make sure we can honor debug options in MCONFIG.local.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxelinux: allow "localboot -1" to do INT 18h, just like !pxelinux

Allow "localboot -1" to invoke INT 18h, as it does on other
derivatives.  Perhaps that can help track down systems on which the
normal return path just isn't working.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

MCONFIG: include MCONFIG.local if one exists

Allow for an MCONFIG.local as a handier way to set things like debug
options.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: drop accidental checkin of -DDEBUG=1

We should not be compiling with -DDEBUG=1 by default!

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: fix and simplify generic_getfssec()

Both simplify and fix generic_getfssec().  The previous version would
occasionally request the same extent twice from the underlying layer.
This is not a big deal for ext2fs for example, but is *very* expensive
on FAT, where any out-of-order next_extent() call means walking the
FAT from the beginning.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

ext2: use generic_getfssec

Use generic_getfssec for ext2.

NOTE: Something seems wrong with the generic_getfssec() loop; running
this on an ext2 filesystem ends up with the code looking up the same
extent twice in a row, which should not happen.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fat: use generic_getfssec(), fix generic_getfssec(), add dprintf

Use generic_getfssec() for the FAT filesystem.  Do a bunch of
calculations based on clusters rather than on sectors, so we don't
have to do the same thing N times for N sectors per cluster.

Fix boundary conditions in generic_getfssec().  Adjust iso9660 to
match the resulting interface change.

Add dprintf's to generic_getfssec() and a few other routines.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

iso9660: use boot_info_table and fix hybrid mode

In hybrid disk mode, one block will generally *not* equal one sector.
Use the boot_info_table to find the primary volume descriptor.
Remove the now-unused cdrom_read_blocks().

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

iso9660: use generic_getfssec()

Use generic_getfssec() for iso9660.  This is a particularly simple
case, since all iso9660 files (that we support) are contiguous.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fs: add generic getfssec

Add a generic getfssec method which operate on cached extents. This
should avoid the need to each filesystem to implement its own getfssec
loop.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core/readdir.c: remove unused variable

Remove an unused variable in opendir().

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fs/iso9660: remove unused variables

Remove variables which are no longer used.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

dos: make sure we don't look like a Windows image

Some tools might assume that the reloc offset being 64 automatically
means it's really a Windows file.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

doc: document 32-bit-only API calls

As long as we have a pretence of an ABI we should at least keep it
updated.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

opendir: remove unnecessary buffer pointer

We don't need to abuse the InitRD buffer anymore.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

iso9660: make readdir() work

Make readdir work on iso9660.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

opendir: use internal protected-mode interfaces

No need to do yet another bounce through lowmem for no good reason.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fs: searchdir: handle opening a directory

Handle the case of opening a directory.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fs: cleanups: use PVT() macro for all filesystems; iso9660 cleanups

Use a PVT() macro and a structure to access the private inode data for
all filesystems, instead of open-coding the type.

Use a packed structure for iso9660, instead of open-coding pointer
casts.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

isolinux: 7C00h -> TEXT_START

Use the TEXT_START macro instead of hard-coding 7C00h.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

isolinux: drop dependency on core_xfer_buf in self-loader

Drop the dependency on core_xfer_buf in the self-loader, and instead
load the data aligned to an offset, and then bulk-move it into place.
diskstart.inc will need to do something similar if/when support is
added for > 1K sectors on BIOS.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core/mem: better dprintf()

Add a few dprintf() statements to the core malloc/free which makes it
easier to track down bugs.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: fix double free of pathbuf, constify iget filename, fix iso9660

Fix double free of pathbuf in searchdir().
Constify the pathname passed to ->iget().
Major cleanups of the iso9660 filesystem; it would use insufficiently
dimensioned stack variables and do compares in a rather inefficient
manner.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

com32: replace hard-coded bounce buffer use in com32/lib

Replace hard-coded bounce buffer uses in com32/lib with lmalloc/lfree.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: fix lowmem malloc

a) initialize *all* the head nodes
b) the lowmem heap needs to be paragraph (16 byte) aligned
c) use a dedicated tag value for headnodes.  The type code should be
   removed and replaced with special tag values for head node and
   free.
d) for libcom32 code called from the core, do NOT present a
   usable bounce buffer; we should only ever use lmalloc/lfree.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

com32: add lzalloc()

Add lzalloc().

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lmalloc: set errno on failure

The core function can't set the com32 errno, so we need to do it in
the wrapper.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

com32: wrapper functions for lowmem allocations

lmalloc(), lfree(), lstrdup()

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: move aligned segments earlier

Move the aligned segments downward, to provide for the largest
possible contiguous lowmem heap.  This minimizes the necessary lowmem
footprint.  (Note: the heap doesn't actually need to be contiguous,
but having it not be makes it harder to size.)

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: use better malloc; add low memory malloc; fix com32 exit

Use a better malloc for the core.  In particular, use the same core
that we should eventually be able to use for the entire system in
Syslinux 5 -- with module awareness, etc.

This code can also accommodate multiple heaps.  Set up a separate heap
for lowmem; the intent is to use explicit lowmem allocations instead
of the static bounce buffer.  The lowmem allocation is also exported
via the pmapi mechanism, so modules can safely allocate lowmem.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: clean up/fix generation of ipappend strings

Clean up and fix the generation of the ipappend strings.  In
particular, BOOTIF= was generated into a buffer which was too small.
Put the buffer definitions in C while we're at it.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fs/pxe: drop the use of PKTBUF_SEG

Drop the use of a magic PKTBUF_SEG, and instead just have a high
memory buffer for each file, and a single lowmem buffer that we reuse
at will.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Merge branch 'pxefix' into pathbased

pxe: set the block size in the fs structure

For better or worse, we use block counts for communicating with the
filesystem.  It would therefore be rather polite to tell them what
block size we expect.

This fixes a boot failure with the new loadhigh routine.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: add a direct 32-bit API

Add a direct 32-bit API to some functions; initially read file only.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pathbased:btrfs use iget interface and leverage general search routing

Now btrfs won't export its own searchdir, it uses the iget and
iget_root interface.

Signed-off-by: Alek Du <alek.du@intel.com>
Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core/com32.inc: warn about possible double use of core_xfer_buf

core_xfer_buf is still used as bounce buffer by libcom32 code linked
into the core.  This is likely unsafe -- needs to be fixed.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: rewrite loadhigh in C

Rewrite the loadhight function in C, and eliminate double usage of
xfer_buf_seg.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

com32: go back to using real_mode_seg as bounce buffer

Go back to using real_mode_seg as bounce buffer; this reserves
xfer_buf_seg strictly for the in-core filesystem code.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: let xfer_buf_seg, real_mode_seg be assigned by the linker

Use the linker to assign xfer_bug_seg and real_mode_seg.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Merge remote branch 'origin/master' into pathbased

libpci: merge BIOS read and BIOS write

Save a few bytes by merging the very similar BIOS read and BIOS write
functions.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

i915resolution: use libpci to access PCI config space

Use libpci to access PCI config space.  This *hopefully* will make it
less likely that some old machine hangs when failing to set the
requested video mode.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NEWS: document i915resolution merge.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Merge branch 'i915res'

core: use vk_append for function 0016h temp storage

a) we have to copy the command line tail earlier - the pm_*
   calls may use xfer_buf_seg in particular.
b) use vk_append rather than trackbuf; vk_append should definitely
   be unused.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: remove stray -DDEBUG

Remove stray -DDEBUG that should not have been committed.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

ext2: handle symlinks larger than a single block

There is no law that symlinks has to be a single block only.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

ext2: a zero block number is actually legit

It may not happen in normal operation, but a zero block value is legit
and means an all-zero block.  For anything which uses the cache, we
have dealt with that by always keeping a zero block in the cache.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

ext2: drop any 64K limit

There is no point in maintaining a 64K limit; this is handled at a
lower level in the disk I/O library if appropriate.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fs: move the disk cache into high memory

Move the disk cache out of the DOS memory area.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

ext2: fix confusion between logical and physical block numbers

Fix a minor confusion between logical and physical block numbers in
the new iterative bmap implementation.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

cache: fix cache initialization

Fix the cache initialization; in particular make sure dev->cache_head
actually gets set.  Also, just use a plain division to figure out how
many entries we can fit in the cache.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fs: move cache_init() into fs_init, to handle special needs

Move cache_init() into the fs_init methods, to accommodate special
handling, e.g. the all-zero zero block for ext2.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

ext2: fix bmap block number breakage

Fix the handling of block numbers in the bmap loop.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

cache: fix _get_cache_block() return, add lock_cache_block()

Correct the return value from _get_cache_block(), and add a method for
locking a block permanently in the cache.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

cache: update the metadata cache design

- instead of get_cache_block() returning a descriptor, have
  get_cache() returning const void *.
- have a subfunction to allow getting a block without reading it
  from disk, and returning the cache descriptor.  This will be
  used in ext2 to pre-seed block 0 with all zero.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: move fs-related C files into fs/

Move filesystem-related C files into the fs/ directory.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: remove obsolete assembly strecpy.inc

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: remove obsolete assembly cache.inc

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fs: use malloc'd mutable pathname buffers

Use malloc'd mutable pathname buffers during pathname walks.  This
avoids the need for very large static buffers, as well as the need to
copy character by character.  It also handles the symlink case fairly
nicely.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

ext2: clean up types in the bmap functions

No need to take an explicit fs pointer when we're passing an inode
anyway...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

generic_close_file: use put_inode(), not free_inode()

Nothing other than put_inode() should ever really call free_inode()...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

btrfs: use generic_load_config

btrfs can use generic_load_config, so use it.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fs: centralize symlink handling

Put all handling of symbolic links into the central pathname walker.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

fs: reference-count inodes, fix generic loadconfig

Reference-count inodes, so we don't leak them all over the place.
This also lets us hold onto the root inode from the very beginning.
Make the generic loadconfig work again.  Significant cleanups to the
ext2 filesystem core.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: separate bcopyxx code and data; use linker-generated symbols

Separate out bcopyxx code and data, and use linker-generated barrier
symbols instead of inline label hacks.  This makes it possible to link
code into the bcopyxx area if need be.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

memmove: don't reverse copy if there is no overlap

Don't do reverse copies if there is no overlap.  Current x86 CPUs
optimize forward copies, but some of them don't optimize reverse
copies.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Makefile: dos/copybs.com now in dosutil

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

dosutil: move copybs here, update Makefile

Move copybs to dosutil, change the Makefile to deal with UPX being
able to compress (e.g. very small files.)

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

bootsect.inc: change 100000h -> free_high_memory

We can't load stuff at 100000h... that will overwrite the PM code.
That is what free_high_memory is for.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxelinux: remove USE_PXE_PROVIDED_STACK

Remove USE_PXE_PROVIDED_STACK once and for all.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>