NEWS: document FTP

pxe: use a separate poll thread instead of using an idle thread hook

The idle thread can never sleep, so it's not really safe to do
anything inside it.  Instead, run a separate poll thread at low
priority; we can also do that to poll the serial console if needed.

Overall, the "classic" Syslinux idle handling really should go away
and be replaced by the idle thread.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

idle.c: remove -*- fundamental -*- tag

This is a normal C file, no reason for a -*- fundamental -*- tag as
used in NASM source code.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe, tftp: unbreak the TFTP state machine

Some of the code motion had broken the TFTP state machine, make it
work properly again.  Furthermore, remove some no longer necessary
fields in the pxe inode structure.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe, tftp: let lwIP manage port numbers

lwIP needs to manage port numbers for TCP and for DNS, so just let it
do it for TFTP as well.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe, ftp: remove a bogus include

Remove an include of a header file which never actually existed.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: make lwip use IANA-blessed local port numbers

Make lwip use the IANA-blessed local port numbers 49152 and higher.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: allow an empty input to dns_resolv()

If dns_resolv() gets an empty input, just return failure.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: continue to bounce URLs with unknown schemes to gPXE

If we're running on top of a gPXE/iPXE stack, and get a URL we don't
know, continue to bounce it to gPXE.  It isn't entirely clear how well
this will actually work with an UNDI-based network stack, however...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: make url_set_ip() static

url_set_ip() is now only used in one place, so make it static.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: move redirect processing to the URL-parsing level

Move redirect processing out of the HTTP code and into the top
URL-processing level.  This both makes the code simpler and also deals
with absurdities like HTTP redirecting to an FTP URL (which is legal.)

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: add support for FTP

Add support for the FTP protocol.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: tcp: close the connection before freeing the buffers

As long as the connection is opened, we may end up receiving data, so
don't free the receive buffers until after the connection is closed.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: more verbose lwIP asserts

If we're going to bother compiling in the lwIP asserts, then make them
a bit more useful in terms of the message delivered.  This may be
worth tweaking further to make a smaller footprint.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

urlparse: fix url_unescape()

Fix double pointer advacing in url_unescape().

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: tcp: always call the close method

Always call the designated close method, instead of assuming it is
tcp_close_file().  This isn't the case for FTP, which also needs to
manage the control connection.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: make tftp_pktbuf a dynamic buffer

We don't need tftp_pktbuf for the TCP-based protocols, so allocate it
on demand.  It should be possible to get rid of it for TFTP as well.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: move operations common to TCP-based protocols to a common file

Move operations that are common to all TCP-based protocols into a
common file, tcp.c.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: use the unified URL parsing framework

Use the unified URL parsing framework for TFTP and HTTP.  This should
also make it easier to add new protocols (e.g. FTP) in the near
future.

Note that HTTP redirects are still handled wrong: they really should
be sent all the way back to the top of URL parsing; there are sites in
the field which redirect to FTP URLs, for example.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: urlparse: add comments

Add comments to the URL parser functions.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: Add a much more general URL-parsing framework

Add a URL-parsing framework that we can use for multiple protocols.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

thread: free curr->rmstack

Free curr->rmstack instead of double free of curr->stack.

Signed-off-by: Sebastian Herbszt <herbszt@gmx.de>
Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: put a semaphore around PXE calls

Make sure we can't accidentally invoke the PXE stack from multiple
threads (except for the ISR, which presumably has to allow for
reentrancy, since the spec implies the ISR can be invoked from inside
the PXE stack strategy routine.)

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

thread: free(NULL) is safe, lmalloc() always return para-aligned

free(NULL) is safe and permitted, no reason to conditionalize calling
free().

lmalloc() will always return a paragraph-aligned memory block, so we
don't have to play games with the offset.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: handle UNDI stacks which need to be polled

If the UNDI stack reports either IRQ 0 or does NOT report the NDIS IRQ
supported flag, then poll the interrupt routine from the idle thread
instead.

This is somewhat limited; we really should have a chain of idle poll
routines to support things like serial console.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

thread: thread-switch the real-mode stack, too

When this code was originally written, we didn't have lmalloc().  Now
when lmalloc() is implemented, let each real-mode task have its own
stack.

Note that this means we absolutely have to continue to support the
SS != CS, DS model in the real-mode code, which should already be the
case, but...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NEWS: document lwIP

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

version: call this branch 4.10

A totally different network stack is definitely grounds for calling it
4.10 instead of 4.0x...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Merge branch 'master' into lwip-threads

version: now working on version 4.05

4.04 is out, next version will be 4.05 (or later).

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: isr: fix formatting

Fix code formatting.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: fix gcc 4.6 problems

Remove unused variables, which give gcc 4.6 problems.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Merge commit 'syslinux-4.04' into dynamic-sector

spec: Use BuildRequires, add diag/ subdirectory

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

diag: Don't remove BTARGET on make clean

"make clean" should not remove BTARGET

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

Merge remote-tracking branch 'pcacjr/syslinux-update-for-hpa'

menu: allow "menu hiddenkey" to take multiple keys; run unlabel

- Allow "menu hiddenkey" to take a comma-separated list of keys.
- Run unlabel() on the commands passed to menu hiddenkey.
  XXX: Consider moving unlabelling to post-menu instead.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

NEWS: Document MENU HIDDENKEY

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

syslinux: check --update option properly

Signed-off-by: Paulo Alcantara <pcacjr@gmail.com>

extlinux: remove already_installed

Signed-off-by: Paulo Alcantara <pcacjr@gmail.com>

extlinux: use syslinux_already_installed instead of already_installed

Signed-off-by: Paulo Alcantara <pcacjr@gmail.com>

libinstaller: implement syslinux_already_installed

syslinux_already_installed function will be used in both extlinux and
syslinux for checking if the boot sector has either the string
"SYSLINUX" or "EXTLINUX" in the OEMID field.

Signed-off-by: Paulo Alcantara <pcacjr@gmail.com>

undiif: Unneeded debugging functions.

Committing so I have these somewhere in case I need them again.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Neuter pxe_idle_init

The previous pxe_idle_init no longer makes sense as we are no
longer using the udp core of the pxe stack.  So gut pxe_idle_init.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Cleanup interrupt handling making it reliabe and in spec

- Rework pm_return into pxe_poll_wakeups and use the new
  sched_hook_funk to call it from schedule.  That is a
  little extra work but it is always correct to do.

- Unconditionally call schedule from the pm_core_hook.
  schedule now does everything pm_return used to do
  if perhaps in a more braindead way so this is correct
  and safe.

- Declare undiif_input in pxe.h

- Stop exporting pxe_poll.  Having it exported helped
  me track down what was going on but it was the wrong
  way to do things and exporting it is no longer needed.

- Rename pxe_poll pxe_process_irq for clarity.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: thread: Implement polling for wakeups.

For some reason the core_pm_hook is not getting called
every time we get an interrupt with the result that
in some situations like arping for our neighbours mac
address or a tftp transfer we can stall, we never move
forward again.

The reason for those stalls likely bears more investigating
but for now it is sufficient for me to know that they exist
and that I can work around them by polling for wakekup
conditions everytime we call schedule.  That gives us code
that works reliably and stays within the letter of the
pxe spec.  The oddities of the pxelinux core can be ironed
out later.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

undiif: Theoretical support for infiniband.

Sync up the maximum address length between pxe.h and netif.h
and assert if they are different.

PXEENV_UNDI_GET_INFORMATION only returns a 16 hardware
address field, and infiniband has a 20 byte hardware address
so use MAC provided by pxe.c instead which is already set
to the proper 20 byte hardware address.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Remove the lwip_test code

lwip works so we no longer need this test code.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Clean up the initialization sequence

Implement an initialization sequence for lwip that is essentially
sane, and remove the previous udp stack support.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Allow up to 20 byte hardware address to support infiniband.

Infiniband has a positively crazy mapping of ip to it's infiniband
form, and that crazy mapping leads to a 20 byte hardware address
used for ip (despite really only having a 8 byte hardware address).
Infiniband routers such a crazy idea.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Update the undi driver so it handles (in theory) all network types supported by undi

This involves on transmmit using theundi protocol types and letting
the undi layer put on the link level header,  On receive this
involves using the undi parsing of the link level header and generation
of the link level type.  This involves cloning etharp into undi.c
so we have our own set of arp functions that don't care how long
your hardware address is.

Using ethernet link layer frames directly removes a number of weird
limmitations so I do that by default when I know I am on ethernet
but that is not necessary, and a quick hack to change
undi_is_ethernet to always return false show that this code works
on whatever flavor of network adapter you have.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: Cleanup properly when using undi.

Unhook the interrupt handler and stop the undi processing to
make it save to exit, and allows unload_pxe to start succeeding
again.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe:  Improve the situation with installing and uninstalling irq handlers

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip:  Explicitly enable udp,tcp,icmp, and receive timeouts.

Of the group receive timeouts are the most important as we
need those working so that tftp transfers that will actually
get back to the tftp code.

Icmp is nice so that we can test the latency to the machine
running syslinux why syslinux is downloading a file.  Allowing
us to confirm to test for excessive buffering on the network
increasing the round trip times.  Plus it is just nice to
be able to ping a machine and know it is there.

udp and tcp were already implicitly enabled so explicitly
enabling them is no big deal.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe Add native support for http urls

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: Add general support for pluggable url handlers.

In preparation for adding http support (and possibly others)
add support for looking up a url scheme by name in a table
and calling the appropriate open function.

This also adds a struct netbuf pointer to the pxe inode allowing
for some easy to implement and nice to use streaming abstractions
like pxe_getc.

Cleanup the includes of lwip headers.  We want <> brackets
(no point in searching in the current directory first)
and the ifdefs around them can go.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip:  Tune memory management for performance

In a series of short tests it turns out that lwip's
default memory management seems orders' of magnitude
better than using syslinux's malloc and it uses much
less memory as well.  So just use it.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Rename mem_init lwip_mem_init to remove a namespace conflict.

There are efficiency problems in the lwip stack related to memory
management.  Remove the conflict in the name memory_init so I can
experiment to see which allocator is better for large file transfers.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: Add isspace to ctype.h

This is needed for the http file downloader.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: Factor out pxe_poll from pxe_receive_thread

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: Rewrite the tftp implementation to use lwip

Since the raw pxe udp interface is unusable when lwip
is active rewrite the tftp implmentation to use netconn.

I expect this implementation can be simplified but my
goal was as straight forward a transformation as I
could possibly mange to avoid bugs slipping in.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: Add a netconn socket to the pxe private inode

Now that we are using lwip, all implementations of transfer
protocols will need a netconn, so add it to the pxe inode.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core pxe: Use the lwip dns resolver

When we start receiving packets at the undi layer we can
no longer use the the pxe udp layer.  So make our lives
simple by using the lwip dns resolve which which works
without changes and seems to be a little more comprehensive.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Send tftp acks after we reach our timeout

While looking at the tftp implementation I noticed that we are not
retransmitting acks if we reach our timeout.  Not retransmitting
can be a problem when there is packet loss present in a network.

We do retransmit if the server times out but it is better if
we retransmit ourselves in case we are dealing with a stupid
tftp server that has not noticed it missed a packet from us.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Use byteswap.h to define htons and friends

Define lwip's byteswapping in terms of byteswap.h
This ensures htons(CONSTANT) is seen as a constant
by gcc, and it allows us to use unmodified lwip headers.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: factor out byteswap.h from netinet/in.h

This is a logical generalization, follows the precedent set
by glibc and it will allow us to avoid problems with
lwips definition of the network byte swap functions.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core pxe: Cleanup the call to pxe_isr_init

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: show stats when displaying speedtest results

Performance seems to be heavily inversely correlated with packet
loss...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

undiif: Fix weird include order madness.

For some reason undiif now only compiles if core.h
is included first, but undiif gets weird mem_init
errors if core.h is included towards the end.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: fix timestamps, statistics functions

Add bits needed to support timestamps and stats functions.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>
Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: lwipopts: additional fine-tuning

Fine tune parameters a bit more...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: better speed test

Better speed test, to make tuning easier.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: Disable lwip's malloc routines

lwip's malloc routines conflict with the core malloc
and free routine's and Peter's earlier port apparently
had acceptable performance without them.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip:  In mem.h define mem_realloc as static inline

The intent was clearly for the compiler to inline
mem_realloc or else the defintion would have been placed
in a C file somewhere.   gcc complains and since -Werr
is set the build fails when the function is just static.
So make the function static inline.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

Make sure TCP_WND is < 64K-TCP_MSS

Avoid an error "len would wrap tcp_wnd"

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: lwip: tune parameters for performance

With these tweaks, we are up from 6 Mbps to over 200 Mbps on a
back-to-back gigabit TCP connection.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: better test case

Download a large file from www3.kernel.org (Amsterdam) and time the
result.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: now to the point we can make a TCP connection...

lwip is now functional enough that TCP and DNS seem to work.  More
tests still need to be done, though.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>
Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Allow clearing a dns server

  /*
   * hpa: the lwip code has the dnsserver->addr != 0 test, but that would
   * seem to indicate that there is no way to cancel a previously given
   * DNS server...
   */

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core pxe: Ensure all parameters in pxe_get_cached_info are initialized.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: additional work on the lwip port

Additional work on the lwip port.  With this code, we can get pretty
far before having problems.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core pxe: Switch threads if more than one runnable.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxeisr.inc: The name of the globals is pxe_irq_vector not pxe_irq_num

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core thread: Make the code a little clearer.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: thread: return 0 from sem_down() if we didn't have to wait

Return 0 from sem_down if we passed right through the assembly code.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: pxe: don't switch to the PXE stack if we're on it...

Don't switch to the PXE stack if we are already on it.  This can
happen if we take an interrupt inside the stack switch code.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: lwip: busy-wait if transmit is blocked for buffers

If we can't send a packet because of insufficient buffers, simply
busy-wait and keep trying.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: lwip: update data pointer after getting a secondary fragment

After we receive a secondary fragment we need to update the frame data
pointer.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: hook up the interrupt routine and the lwip receive routine

Hook up the interrupt routine to the lwip receive routine; this should
be able to receive packets as written.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: fix conflict with <netinet/in.h>

Fix a conflict with <netinet/in.h>.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: undiif - initial cut at a UNDI Ethernet-only driver

Initial cut at an UNDI driver -- still needs to be reworked to handle
the receive side.  For now, assume the underlying interface is
Ethernet; supporting generic media types will require changes to the
ARP handling in lwIP.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: Move the gpxe url reading code into it's own file.

Now that we have method pointers there is no longer any reason
to clutter up pxe.c with tftp specific details.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Move the tftp implementation into it's own file

Now that we have method pointers there is no longer any reason
to clutter up pxe.c with tftp specific details.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Add methods to abstract out the connection type.

The gpxe handling has already found the places where
we need to have different code to handle different
connection types.  So add function pointers into
struct pxe_pvt_inode for each of those places and
cleanup the code to call those new functions.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

keytest: make somewhat more comprehensible

Someone may very well need to use keytest to figure out their
keymappings.  Make it a bit more user friendly.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

keyname: better handling of named control characters

Named control character (Tab, Enter, Backspace etc.) should use those
names rather than caret sequences.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

keytest: show the human name together with the keycode

Since we now have library support for showing the keycode name, make
keytest print that as well.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

menu: clear the timeout line on MENU HIDDENKEY

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

menu hiddenkey: fix parsing the config file option

Fix parsing bugs in the config file.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

menu: Add "menu hiddenkey" to make terminating menu hidden a command

Use "menu hiddenkey" together with "menu hidden" for a one-keystroke
action.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>