Merge branch 'disklibdev' into chaindev

disklib: updates to params/read/write functions

disk_get_params():

Don't bail out if we fail int13h/48h call in ebios == 1 case. Regular
CHS might still be enough.

disk_read_sectors(), disk_write_sectors():

We don't need separate cases for valid and invalid cbios with the data
prepared by the current disk_get_params() function.

Signed-off-by: Michal Soltys <soltys@ziu.info>

Merge remote branch 'origin/disklib' into disklibdev

Merge branch 'master' into disklib

Merge remote branch 'genec/rosh_for_hpa'

com32/chain: move partition entries' mangling to mangle.c

All functions related to partition entries' mangling has been moved
to mangle.c, including appropriate renames:

pentry_mangle() -> manglepe_mbrchshide()
pem_setchs() -> mpe_setchs()
pem_sethide() -> mpe_sethide()

Signed-off-by: Michal Soltys <soltys@ziu.info>

com32/chain: allow service-only runs

This patch introduces small feature, allowing so called "service-only"
runs - where the chain modules does everything as instructed, but
otherwise doesn't perform actual chainloading.

This is useful for 'mbrchs', '[un]hide[all]' and 'setbpb'+'save'
options, making possible adjustments to partition/boot sector values on
any disk/partition.

See 'chain' option in doc/chain.txt for more details.

Signed-off-by: Michal Soltys <soltys@ziu.info>

com32/chain: fix condition in pentry_mangle()

Signed-off-by: Michal Soltys <soltys@ziu.info>

com32/chain: make raw handover use total sectors info

With disklib update providing total sectors info, make raw handover
use it (instead of forcing arbitrary number).

Signed-off-by: Michal Soltys <soltys@ziu.info>

com32/chain: Add unhide and unhideall options

It could be useful to be able to simply unhide partitions. This short
patch adds such functionality.

Signed-off-by: Michal Soltys <soltys@ziu.info>

com32/chain: simplify pentry_mangle()

pentry_mangle() has been simplified and made more readable, using
non-selfkilling iterators, introduced recently.

Further plan is to move 'mbrchs' into separate module (fixit.c32)
providing such feature for all disks (along with some other features,
including [un]hide[all]).

Signed-off-by: Michal Soltys <soltys@ziu.info>

com32/chain: utility's lba2chs update

This patch adds 3 modes of operation to lba2chs:

l2c_cnul - strict cylinder mode, using at most the value returned by
13h/48h or 13h/08h

l2c_cadd - allow using 1 cylinder more. Only if cylinders are less than
1024 and total drive's lba size is not on a cylinder boundary.

l2c_max - allow using any cylinder number.

Modes have effect only if CHS geometry (cbios) is valid. chain.c uses
l2c_cadd.

Signed-off-by: Michal Soltys <soltys@ziu.info>

Merge branch 'disklib' into chaindev

Conflicts:
com32/modules/chain.c

disklib: updates - lbacnt, bps, misc. things

With this commit, disk_info structure provides additional fields,
namely:

lbacnt - total amount of sectors, either returned by 13h/48h or calculated
from valid (or faked - 1/1/1) geometry

bps - bytes per sector - returned by 13h/48h or equal to SECTOR

disk_get_params() has been adjusted to call int13h/48h to get extended
drive parameters - mentioned lbacnt and bps. We don't use geometry
data returned by 13h/48h, as it can be quite a bit different from
the data returned by 13h/08h.

disk_write_verify_sector() and disk_write_sector() can deal with more
than 1 sector now. Suffix has been renamed to _sectors().

disk_read_sectors() and disk_write_sectors() have been updated to check
if we don't overflow bounce buffer, and don't try to read beyond lbacnt.

All disk.c functions use 'bps' now, instead of hardcoded SECTOR.

struct disk_ebios_dapa - uses packed attribute now.

Signed-off-by: Michal Soltys <soltys@ziu.info>

Merge branch 'master' into chaindev

com32/chain/mangle.c: remove useless comment

Signed-off-by: Michal Soltys <soltys@ziu.info>

com32/chain/partiter: make iterators not autofree after fin/err

This patch changes iterator behaviour to not free themselves
automatically after finished iteration or error. This allows
us to be able to always:

- check their status through ->status field
- access last valid data

It will allow simplification of pentry_mangle() function in
further commits.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain/options.c: cosmetics

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain/chain.c: add "raw" handover

This adds a possibility to create an area resembling proper handover,
when booting mbr of some media. If we have custom/special booting code
always expecting handover, this would allow us to boot it from the 1st
sector as well.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain/utility.c: Adjust lba2chs

This tiny patch adjusts how lba2chs() deals with unknown geometries.
Instead of returning max values of "typical" geometries, it returns
chs values calculated from them.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain module: bugfixing and cosmetics

Bugs:

- one introduced ages ago - find_by_* functions should be tested vs. <0
  for failure
- one introduced by 579f15c7c456c - it accidentally blocked too much
  when testing for ',' in drive/partition option parsing
- one introduced by d4d713c9ccfe0 - sone machines / VMs seem to set
  @40:75 just 1, regardless of amount of fixed disks available

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain module: setbpb changes, bss & bs options, bugfixes

Generic function detecting BPB type (7 versions) have been added.
set{hid,geo,drv} have been replaced by single setbpb option, using
mentioned function to make more precise decisions what to update where.

Full BSS and BS emulation has been added, also employing BPB detection.

Some logic/flow changes in chain's main(). There was also a bug, in
which backup sector was populated with wrong data.

Appropriate documentation updates.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain module: make option 'save' truly separate

Previously, option 'save' has been executed as a part of bpb mangling.
This was rather inflexible.

Apart from that, all mangle functions test their respective opt.* options
internally.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain, options: bugfixes, adjustments; big doc update

- seg='s offset values default to 0 if ommited
- sect='s offset values default to 0x7c00 if ommited
- FDOS's bootsector loaded at 0x1fe0
- drive / partition parsing: bugfix, so lables with ',' are recognized
  properly
- big documentation update

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain: adjust 'mbrchs' calculations, adjust partitier

It seems that chs values in extended partitions are expected to provide
absolute positions. Previously these values were calculated directly
from ebr lba values.

Partiter now provides cebr_lba and ebr_lba that hold absolute values
of current and next ebr.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain, partiter, options: bugfix, new options

- small bugfix in partiter.c
- new options: hideall, mbrchs
- new partiter feature - rawindex - counts all (inc. empty) partitions in all
  cases

hideall is expansion of hide, that hides all partitions in a chain, not
only primary ones

mbrchs walks over all partitions and fixes chs values in mbr entries

rawindex keeps count of all partitions, including holes in EBRs

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain, options: fixes, additions

- add 'bss=' option
- update usage()
- ommited offsets in 'file=' and 'sect=' default to 0x7c00 now
- cosmetics

Signed-off-by: Michal Soltys <soltys@ziu.info>

partiter.c: add stepall modifier; bugfixes + comment changes

In certain situations (new features to be added later), it's useful
to be able to step through all partitions in a partition list. This
patch adds necessary functionality.

Adjust chain.c to use new version of partiter.

Also small bugfixes and comment changes.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: Split chain into smaller files

new file:   chain.h
new file:   common.h
new file:   mangle.c
new file:   mangle.h
new file:   options.c
new file:   options.h
new file:   utility.c
new file:   utility.h

Signed-off-by: Michal Soltys <soltys@ziu.info>

partiter.c: cosmetic changes

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: Improve setdrv option, remove setbpb4/

Option 'setdrv' can autodetect offset now. setbpb4 is removed, as it's
no longer necessary.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: change file/sect/hand area handling logic, add 'hptr' option

The logic behind file/sect/hand area handling is more flexible
now. Furthermore, a user can explicitly control where ds:si/ds:bp
should point during chainloading.

Other misc. changes:

- registry setup is more conservative
- 'if' style

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: merge segs= and sect into single option, remove segf

There's no need to have separate 'sect' and 'segs='. 'segf' alias of
'seg' can also be removed now.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: option renames

Renamed some of the options to better fit the whole scheme.
Also adjusted usage().

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: Always use console_ansi_raw(), not only with DEBUG

Signed-off-by: Michal Soltys <soltys@ziu.info>

Merge branch 'disklib' into chaindev

core: fix handling new directory "/" for CONFIG in ISOLINUX and EXTLINUX

Fix missing option -s in libinstaller

In 'libinstaller/syslxopt.c' on line 71 the "s" (undercast) is missing in:

   const char short_options[] = "t:fid:UuzS:H:rvho:OM:ma";

Adding the 's' there seems to solve our problem.

pxe: add a "pxeretry" option to deal with 404's in web apps

For web downloads, sometimes a mirror site will not be fully synced.
Add an option to retry the open a specific number of times before
giving up.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

chain.c: adjust what ds:si and ds:bp point to after chainloading

Previously, chain module always set ds:si and ds:bp to handover
area (unless otherwise blocked). This is not necessarily valid in case
when both file and sector are being loaded - here file should receive
pointer to it's [relocated] sector, and it's unlikely interested in
mbr-like handover area at all.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: fixes, adjustments

- update usage()
- add chs2lba()
- update handover code to generate CHS values
- make sure 'write' is never default
- add wait_key()

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: add options, misc varaible renames

This patch adds following options:
- setgeo (bpb: set legacy geometry)
- setdrv (bpb: set physical drive number)
- read  (read mbr / bs - previously always attempted)
- write (write bs - for bpb mangling)
- filebpb (also mangle 'kernel' file in memory)
- msdos7 (dos7+ IP is set as required by io.sys)

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: add 'smap' and 'hand' options, update handover code

'[no]hand' allows explicit control whenever to create handover data

'[no]smap' allows loading bootsector without mapping it during
actual chainloading (meant for upcoming BPB mangling options)

Expanded handover code moved mostly to its own function

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain, partiter: bugfixes

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: Don't bruteforce loops detecting fixed drives.

Previously chain module looped all possible fixed disks from 0x80 to
0xFF. It's prone to BIOS bugs, where BIOS can report nonexistent or
phantom drives at higher numbers. It's safer to use fixed disk count
value from 40:75 to limit such loops.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: Introduce sseg and fseg options.

Add options for detailed specification of load and jump addresses.
Misc adjustments.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: fix trailing whitespace

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: move reg setup of dos drive to find_dp()

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: add nokeeppxe option and sethid shortcut of sethidden

Signed-off-by: Michal Soltys <soltys@ziu.info>

disklib: small fixes / addons

Functions disk_write_sector() and disk_write_verify_sector()
take 64bit lba as an argument now - similary to disk_read_sectors().

Structure disk_info additionally provides cylinders, besides head and sector.
Sanity checks during lba -> chs conversions have been adjusted to use
cylinders.

CX in cbios read/write code was not calculated properly.

Minor signed/unsigned changes.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: Rename cur_part -> iter

Current iterators go over both disk and partitions, including raw disks.
More generic name fits better into the whole scheme.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c minor fix of ADDRMAX value

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: move regs to opt structure

regs, being a set of starting registers for chainloaded image, fits
logically into opt structure. Also simplifies function callings.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: fix all compiler warnings in very pedantic mode

Compilation of chain.c now passes: -Wextra -Wconversion -pedantic

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: move file mangling outside main()

All the file mangling code has been moved to
mangle_*() family of functions, currently:

mangle_isolinux()
mangle_grublegacy()
mangle_grldr()
mangle_drmk()

They will be further moved to separate file.

Also, file and sector loading routines are now near each other.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: Adjust hide_unhide() and remove mbr_area from main()

hide_unhide() is adjusted to use new iterators. It's also fully
self sufficient.

mbr_area is no longer needed in main().

Check for proper magic when loading bs/mbr is removed. There can be valid bootable
code without 0xaa55 magic (e.g. for testing purposes or unusual tasks).

Signed-off-by: Michal Soltys <soltys@ziu.info>

partiter: Add raw iterators

As iterators cover the whole disk now, it's possible to be able to still
boot "something" from the 1st sector, even if it has no valid mbr or gpt
layout. This patch adds "raw" iterator, updating necessary code.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: Restructure finding of partition/drive to chainload.

Finding drive or partition to chainload has been moved outside
main() to find_dp(). Further adjustments and fixes made to accomodate
this change.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: move parsing outside main(), move some options to opt structure

Options' parsing can be easily moved outside main().
drivename and partition are part of opt structure now.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: adjust usage(), update placeholder doc/chain.txt

Make usage() info more precise, adjust indentation.
Update placeholder docs.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: add soi2sli() function

Add generic function to convert seg[:off:[ip]] into seg:lin:ip, mostly
in preparation for further updates.

Make opt.seg check use it.

Signed-off-by: Michal Soltys <soltys@ziu.info>

partiter.c: tone down non-data sanity checks, add comments in ebr helper

Sanity checks vs. programmer are compiled only with DEBUG.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: initial move of documentation to doc/chain.txt

This patch moves the commented documentation from chain.c to
placeholder doc/chain.txt.

Signed-off-by: Michal Soltys <soltys@ziu.info>

doc/gpt.txt: minor fix

Information about one field was incorrect.

Signed-off-by: Michal Soltys <soltys@ziu.info>

chain.c: minor fixes

This fixes segval comparison and two mistypes.

Signed-off-by: Michal Soltys <soltys@ziu.info>

split chain into chain + iterator, expand iterators' code

Patch:

- splits chain into chain and iterator parts and moves them into their
  own com32/chain directory
- extensively updates iterators' code
- adjusts chain.c to use new iterators
- fixes mbr/sect/hand/file allocation

Signed-off-by: Michal Soltys <soltys@ziu.info>

Merge branch 'master' into chaindev

extlinux: try to get the disk offset from sysfs

It is possible(?) that HDIO_GETGEO can't return the full offset, and
in either case it is too small -- only 32 bits on 32-bit platforms.
Thus query sysfs for the real value, if available.

sysfs also contains information for slave devices -- this is going to
really matter for the md/lvm issues.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

diskio: remove redundant register write

The disk number is set twice in diskio.c/edd_rdwr_sectors() this patch
removes the redundant setting.

version: next version will be 4.03

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: look for invalid MBR handover information address

The Win7 MBR doesn't provide proper handover information.  Instead, it
leaves DS:SI = 0:0x7e00, so reject that information as invalid on
grounds that it is pointed into the bootloader area.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

chain: Extra comments; shrink the new space to minimum

chain: Just assign the value rather than using memcpy()

chain: add drmk= to usage

chain: Fix up and clean up DRMK load code; fix filename length;  Patch memory.

chain.c32: prepare for loading DRMK

Merge branch 'master' into disklib

Resolved Conflicts:
com32/modules/chain.c

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

syslxopt: remove lengthy warning message

Remove a lengthy warning message which cause the actual command
reference to overflow a 24-line screen.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

syslxopt: fix fatal warnings

Fix fatal warnings in syslxopt.c partly due to legal but non-idiomatic
use of switch().  Since the only purpose was to conditionalize single
output statements, just do it explicitly.

In addition, since they are conditional messages, there is no need to
explain when they apply.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

chain.c: fix public index value in mbr and gpt iterators

mbr and gpt iterators skip empty / non-data partitions properly, but don't
update publicly visible index. With this patch, such partitions are counted as
well.

Signed-off-by: Michal Soltys <soltys@ziu.info>
Signed-off-by: H. Peter Anvin <hpa@zytor.com>

chain.c: fix public index value in mbr and gpt iterators

mbr and gpt iterators skip empty / non-data partitions properly, but don't
update publicly visible index. With this patch, such partitions are counted as
well.

Signed-off-by: Michal Soltys <soltys@ziu.info>
Signed-off-by: H. Peter Anvin <hpa@zytor.com>

libinstaller/syslxopt.c: remove unneeded usage text from certain variants.

Gert Hulselmans noticed this.

Make __free_tagged actually free memory

__free_tagged called by comboot_cleanup_lowmem (core/mem/free.c) doesn't
seem to work correctly. Memory allocated with lmalloc() isn't marked as free
after the allocating module exits:

boot: mem
lowmem_buf: 0x000353e0
boot: mem
lowmem_buf: 0x000553f0
boot: mem
lowmem_buf: 0x00075400
boot: mem
lowmem_buf: 0x00000000
boot:

The expected behaviour

boot: mem
lowmem_buf: 0x000353e0
boot: mem
lowmem_buf: 0x000353e0
boot: mem
lowmem_buf: 0x000353e0

can be achieved with the following patch.

Merge branch 'm' into rosh_for_hpa

core: define and use set_flags() helper

Rather than opencoding the arithmetic flag mask, define an inline to
make that happen properly.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

sample: remove obsolete "raw" comboot/com32 samples

We really don't want people to write code without using the library,
so just remove these obsolete and no longer functional samples.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

libmenu: Fix cursor on exit from showmenus()

This fixes the issue in hdt.c32 that Kent Robotti noticed where
exiting directly from Menu Mode caused the cursor to not be displayed.
This same issue also affects com32/cmenu/simple.c32 and probably
others using showmenus().

Signed-off-by: Gene Cumm <gene.cumm@gmail.com>
Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

core: don't hang if no config file is found

If we can't find a configuration file, we need to do something
slightly more friendly than hanging.

Reported-by: Sebastian Herbszt <herbszt@gmx.de>
Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Merge remote branch 'sha0/com32lib_disk' into disklib

win64: experimental Win64 installer (syslinux64.exe)

Experimental Win64 installer.  This is necessary to be able to run on
WinPE64, since WinPE64 doesn't support running 32-bit binaries.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

win32: fix README, adjust broken +x bits

Fix the win32/README file and adjust some stray +x bits which had
crept in.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

lua: remove obsolete FIXME comment

Remove an obsolete FIXME comment; the problem was caused by a stale
library.

NEWS: document IP byte order fix.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: fix byte order of output from parse_dotquad()

parse_dotquad() incorrectly returned output in host byte order.

Reported-by: Alexander Wuerstlein <arw@arw.name>
Signed-off-by: H. Peter Anvin <hpa@zytor.com>

extlinux, linux: Ignore --force in these installers

Previous commits described this behaviour, but did not
actually implement it. :)

Signed-off-by: Shao Miller <shao.miller@yrdsb.edu.on.ca>

dos: Use libinstaller option parser

We will produce an error message if a user attempts
to use an option we don't implement.

Signed-off-by: Shao Miller <shao.miller@yrdsb.edu.on.ca>

dos: add .size directives to int2526.S

Add .size directives to int2526.S.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

dos: add .size attribute for syslinux_ldlinux_len

Just for the sake of good order, a .size attribute for
syslinux_ldlinux_len.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

dos: add missing file ldlinux.S

Add missing assembly wrapper for ldlinux.sys.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

win32: remove an archive before running ar on it

Always remove an archive before ar...

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>