pxe: urlparse: add comments

Add comments to the URL parser functions.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: Add a much more general URL-parsing framework

Add a URL-parsing framework that we can use for multiple protocols.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

thread: free curr->rmstack

Free curr->rmstack instead of double free of curr->stack.

Signed-off-by: Sebastian Herbszt <herbszt@gmx.de>
Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: put a semaphore around PXE calls

Make sure we can't accidentally invoke the PXE stack from multiple
threads (except for the ISR, which presumably has to allow for
reentrancy, since the spec implies the ISR can be invoked from inside
the PXE stack strategy routine.)

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

thread: free(NULL) is safe, lmalloc() always return para-aligned

free(NULL) is safe and permitted, no reason to conditionalize calling
free().

lmalloc() will always return a paragraph-aligned memory block, so we
don't have to play games with the offset.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: handle UNDI stacks which need to be polled

If the UNDI stack reports either IRQ 0 or does NOT report the NDIS IRQ
supported flag, then poll the interrupt routine from the idle thread
instead.

This is somewhat limited; we really should have a chain of idle poll
routines to support things like serial console.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

thread: thread-switch the real-mode stack, too

When this code was originally written, we didn't have lmalloc().  Now
when lmalloc() is implemented, let each real-mode task have its own
stack.

Note that this means we absolutely have to continue to support the
SS != CS, DS model in the real-mode code, which should already be the
case, but...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

NEWS: document lwIP

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

version: call this branch 4.10

A totally different network stack is definitely grounds for calling it
4.10 instead of 4.0x...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Merge branch 'master' into lwip-threads

version: now working on version 4.05

4.04 is out, next version will be 4.05 (or later).

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: isr: fix formatting

Fix code formatting.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: fix gcc 4.6 problems

Remove unused variables, which give gcc 4.6 problems.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

Merge commit 'syslinux-4.04' into dynamic-sector

spec: Use BuildRequires, add diag/ subdirectory

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

diag: Don't remove BTARGET on make clean

"make clean" should not remove BTARGET

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

Merge remote-tracking branch 'pcacjr/syslinux-update-for-hpa'

menu: allow "menu hiddenkey" to take multiple keys; run unlabel

- Allow "menu hiddenkey" to take a comma-separated list of keys.
- Run unlabel() on the commands passed to menu hiddenkey.
  XXX: Consider moving unlabelling to post-menu instead.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

NEWS: Document MENU HIDDENKEY

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

syslinux: check --update option properly

Signed-off-by: Paulo Alcantara <pcacjr@gmail.com>

extlinux: remove already_installed

Signed-off-by: Paulo Alcantara <pcacjr@gmail.com>

extlinux: use syslinux_already_installed instead of already_installed

Signed-off-by: Paulo Alcantara <pcacjr@gmail.com>

libinstaller: implement syslinux_already_installed

syslinux_already_installed function will be used in both extlinux and
syslinux for checking if the boot sector has either the string
"SYSLINUX" or "EXTLINUX" in the OEMID field.

Signed-off-by: Paulo Alcantara <pcacjr@gmail.com>

undiif: Unneeded debugging functions.

Committing so I have these somewhere in case I need them again.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Neuter pxe_idle_init

The previous pxe_idle_init no longer makes sense as we are no
longer using the udp core of the pxe stack.  So gut pxe_idle_init.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Cleanup interrupt handling making it reliabe and in spec

- Rework pm_return into pxe_poll_wakeups and use the new
  sched_hook_funk to call it from schedule.  That is a
  little extra work but it is always correct to do.

- Unconditionally call schedule from the pm_core_hook.
  schedule now does everything pm_return used to do
  if perhaps in a more braindead way so this is correct
  and safe.

- Declare undiif_input in pxe.h

- Stop exporting pxe_poll.  Having it exported helped
  me track down what was going on but it was the wrong
  way to do things and exporting it is no longer needed.

- Rename pxe_poll pxe_process_irq for clarity.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: thread: Implement polling for wakeups.

For some reason the core_pm_hook is not getting called
every time we get an interrupt with the result that
in some situations like arping for our neighbours mac
address or a tftp transfer we can stall, we never move
forward again.

The reason for those stalls likely bears more investigating
but for now it is sufficient for me to know that they exist
and that I can work around them by polling for wakekup
conditions everytime we call schedule.  That gives us code
that works reliably and stays within the letter of the
pxe spec.  The oddities of the pxelinux core can be ironed
out later.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

undiif: Theoretical support for infiniband.

Sync up the maximum address length between pxe.h and netif.h
and assert if they are different.

PXEENV_UNDI_GET_INFORMATION only returns a 16 hardware
address field, and infiniband has a 20 byte hardware address
so use MAC provided by pxe.c instead which is already set
to the proper 20 byte hardware address.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Remove the lwip_test code

lwip works so we no longer need this test code.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Clean up the initialization sequence

Implement an initialization sequence for lwip that is essentially
sane, and remove the previous udp stack support.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Allow up to 20 byte hardware address to support infiniband.

Infiniband has a positively crazy mapping of ip to it's infiniband
form, and that crazy mapping leads to a 20 byte hardware address
used for ip (despite really only having a 8 byte hardware address).
Infiniband routers such a crazy idea.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Update the undi driver so it handles (in theory) all network types supported by undi

This involves on transmmit using theundi protocol types and letting
the undi layer put on the link level header,  On receive this
involves using the undi parsing of the link level header and generation
of the link level type.  This involves cloning etharp into undi.c
so we have our own set of arp functions that don't care how long
your hardware address is.

Using ethernet link layer frames directly removes a number of weird
limmitations so I do that by default when I know I am on ethernet
but that is not necessary, and a quick hack to change
undi_is_ethernet to always return false show that this code works
on whatever flavor of network adapter you have.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: Cleanup properly when using undi.

Unhook the interrupt handler and stop the undi processing to
make it save to exit, and allows unload_pxe to start succeeding
again.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe:  Improve the situation with installing and uninstalling irq handlers

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip:  Explicitly enable udp,tcp,icmp, and receive timeouts.

Of the group receive timeouts are the most important as we
need those working so that tftp transfers that will actually
get back to the tftp code.

Icmp is nice so that we can test the latency to the machine
running syslinux why syslinux is downloading a file.  Allowing
us to confirm to test for excessive buffering on the network
increasing the round trip times.  Plus it is just nice to
be able to ping a machine and know it is there.

udp and tcp were already implicitly enabled so explicitly
enabling them is no big deal.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe Add native support for http urls

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: Add general support for pluggable url handlers.

In preparation for adding http support (and possibly others)
add support for looking up a url scheme by name in a table
and calling the appropriate open function.

This also adds a struct netbuf pointer to the pxe inode allowing
for some easy to implement and nice to use streaming abstractions
like pxe_getc.

Cleanup the includes of lwip headers.  We want <> brackets
(no point in searching in the current directory first)
and the ifdefs around them can go.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip:  Tune memory management for performance

In a series of short tests it turns out that lwip's
default memory management seems orders' of magnitude
better than using syslinux's malloc and it uses much
less memory as well.  So just use it.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Rename mem_init lwip_mem_init to remove a namespace conflict.

There are efficiency problems in the lwip stack related to memory
management.  Remove the conflict in the name memory_init so I can
experiment to see which allocator is better for large file transfers.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: Add isspace to ctype.h

This is needed for the http file downloader.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: Factor out pxe_poll from pxe_receive_thread

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: Rewrite the tftp implementation to use lwip

Since the raw pxe udp interface is unusable when lwip
is active rewrite the tftp implmentation to use netconn.

I expect this implementation can be simplified but my
goal was as straight forward a transformation as I
could possibly mange to avoid bugs slipping in.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: Add a netconn socket to the pxe private inode

Now that we are using lwip, all implementations of transfer
protocols will need a netconn, so add it to the pxe inode.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core pxe: Use the lwip dns resolver

When we start receiving packets at the undi layer we can
no longer use the the pxe udp layer.  So make our lives
simple by using the lwip dns resolve which which works
without changes and seems to be a little more comprehensive.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Send tftp acks after we reach our timeout

While looking at the tftp implementation I noticed that we are not
retransmitting acks if we reach our timeout.  Not retransmitting
can be a problem when there is packet loss present in a network.

We do retransmit if the server times out but it is better if
we retransmit ourselves in case we are dealing with a stupid
tftp server that has not noticed it missed a packet from us.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Use byteswap.h to define htons and friends

Define lwip's byteswapping in terms of byteswap.h
This ensures htons(CONSTANT) is seen as a constant
by gcc, and it allows us to use unmodified lwip headers.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: factor out byteswap.h from netinet/in.h

This is a logical generalization, follows the precedent set
by glibc and it will allow us to avoid problems with
lwips definition of the network byte swap functions.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core pxe: Cleanup the call to pxe_isr_init

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: show stats when displaying speedtest results

Performance seems to be heavily inversely correlated with packet
loss...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

undiif: Fix weird include order madness.

For some reason undiif now only compiles if core.h
is included first, but undiif gets weird mem_init
errors if core.h is included towards the end.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: fix timestamps, statistics functions

Add bits needed to support timestamps and stats functions.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>
Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: lwipopts: additional fine-tuning

Fine tune parameters a bit more...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: better speed test

Better speed test, to make tuning easier.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: Disable lwip's malloc routines

lwip's malloc routines conflict with the core malloc
and free routine's and Peter's earlier port apparently
had acceptable performance without them.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip:  In mem.h define mem_realloc as static inline

The intent was clearly for the compiler to inline
mem_realloc or else the defintion would have been placed
in a C file somewhere.   gcc complains and since -Werr
is set the build fails when the function is just static.
So make the function static inline.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

Make sure TCP_WND is < 64K-TCP_MSS

Avoid an error "len would wrap tcp_wnd"

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: lwip: tune parameters for performance

With these tweaks, we are up from 6 Mbps to over 200 Mbps on a
back-to-back gigabit TCP connection.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: better test case

Download a large file from www3.kernel.org (Amsterdam) and time the
result.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: now to the point we can make a TCP connection...

lwip is now functional enough that TCP and DNS seem to work.  More
tests still need to be done, though.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>
Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Allow clearing a dns server

  /*
   * hpa: the lwip code has the dnsserver->addr != 0 test, but that would
   * seem to indicate that there is no way to cancel a previously given
   * DNS server...
   */

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core pxe: Ensure all parameters in pxe_get_cached_info are initialized.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: additional work on the lwip port

Additional work on the lwip port.  With this code, we can get pretty
far before having problems.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core pxe: Switch threads if more than one runnable.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxeisr.inc: The name of the globals is pxe_irq_vector not pxe_irq_num

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core thread: Make the code a little clearer.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: thread: return 0 from sem_down() if we didn't have to wait

Return 0 from sem_down if we passed right through the assembly code.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: pxe: don't switch to the PXE stack if we're on it...

Don't switch to the PXE stack if we are already on it.  This can
happen if we take an interrupt inside the stack switch code.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: lwip: busy-wait if transmit is blocked for buffers

If we can't send a packet because of insufficient buffers, simply
busy-wait and keep trying.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: lwip: update data pointer after getting a secondary fragment

After we receive a secondary fragment we need to update the frame data
pointer.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: hook up the interrupt routine and the lwip receive routine

Hook up the interrupt routine to the lwip receive routine; this should
be able to receive packets as written.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: fix conflict with <netinet/in.h>

Fix a conflict with <netinet/in.h>.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip: undiif - initial cut at a UNDI Ethernet-only driver

Initial cut at an UNDI driver -- still needs to be reworked to handle
the receive side.  For now, assume the underlying interface is
Ethernet; supporting generic media types will require changes to the
ARP handling in lwIP.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

pxe: Move the gpxe url reading code into it's own file.

Now that we have method pointers there is no longer any reason
to clutter up pxe.c with tftp specific details.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Move the tftp implementation into it's own file

Now that we have method pointers there is no longer any reason
to clutter up pxe.c with tftp specific details.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

pxe: Add methods to abstract out the connection type.

The gpxe handling has already found the places where
we need to have different code to handle different
connection types.  So add function pointers into
struct pxe_pvt_inode for each of those places and
cleanup the code to call those new functions.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

keytest: make somewhat more comprehensible

Someone may very well need to use keytest to figure out their
keymappings.  Make it a bit more user friendly.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

keyname: better handling of named control characters

Named control character (Tab, Enter, Backspace etc.) should use those
names rather than caret sequences.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

keytest: show the human name together with the keycode

Since we now have library support for showing the keycode name, make
keytest print that as well.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

menu: clear the timeout line on MENU HIDDENKEY

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

menu hiddenkey: fix parsing the config file option

Fix parsing bugs in the config file.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

menu: Add "menu hiddenkey" to make terminating menu hidden a command

Use "menu hiddenkey" together with "menu hidden" for a one-keystroke
action.

Signed-off-by: H. Peter Anvin <hpa@linux.intel.com>

pxe: Statically initialize pxe_receive_thread_sem

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: pxe: pm_return Use jiffies_t

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: add .stack16 to layout.inc

It seems to get the right flags by default, but since .stack needed it
we might as well put in .stack16 too...

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: add .stack to layout.inc so it gets the proper flags

Add the .stack segment to layout.inc even as just a dummy, so that we
end up with the correct flags in the output.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: pxeisr.inc: fix compatibility with older versions of NASM

Older versions of NASM require "global" to precede the symbol
definition.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: pxe: pm return hook to examine timer ticks and PXE ISR status

When returning to protected mode, check to see if we have any pending
actions due to interrupts.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: add a way to invoke a function on return to protmode

Add a hook so we can invoke a protmode function immediately before
enabling interrupts on the way back from protected mode.  This will
*not* be invoked if we are more than one level deep (i.e.
[RM(0) ->] PM(0) -> RM(1) -> PM(1) -> RM(2) will not invoke the hook
when returning to PM(1).)  This is intended to provide a hook for
taking an action after a real-mode interrupt did something, i.e. the
PXE receive ISR or the timer tick.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core: pxe: real-mode interrupt service routine

Real-mode interrupt service routine for PXE.  All it does is poll the
PXE stack, sets a flag, then issues EOI.  It is then up to the PM
stack to wake up the receive thread and process the packet receives.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

lwip:  Enable thread support

Now that all of the syslinux support code has been built for
threads enable using that support in lwip.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: Make the core malloc and free thread safe.

Add a single semaphore to make malloc and free thread safe.

This is code I extracted from hpa's earlier effort at
importing lwip into syslinux.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core thread: Don't include core.h from thread.h

core.h brings in a lot of symbols and causes conflicts when
included into lwip, in particular conflicts on the symbol
lfree.

So do the simple thing and simplify what thread.h brings in to
reduce the change of symbol conflicts.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: Move timer functions into timer.h

lwip gets symbol conflicts when we include all of core.h
so move the declaration of the timers into their own header
so that we can use those declartions in thread.h and so
we can use thread.h from lwip without having to deal with
symbol conflicts.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

lwip: Use kaboom.h

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: Move kaboom into it's own header.

This allows kaboom to be used by lwip without having to inclued all of core.h

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: thread: add a name field

Add a name field to struct thread, for debugging's sake.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: thread: add static declaration of semaphores

Add the ability to statically declare initialized semaphores.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

thread: add support for locking the scheduler

Add support for locking the scheduler; this is needed for the pm
return hook to operate properly.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>

core thread: Rename timeouts pvt to better reflect it's use.

lwip needs to find a per thread list of timeouts when it calls
sys_arch_thread_timeouts().  Since we support threads we
can easily support this extra bit of private data.

Signed-off-by: Eric W. Biederman <ebiederm@xmission.com>

core: thread: add a "timeouts" pointer to the thread structure

Add a "timeouts" pointer to the thread structure; this is a private
per-thread pointer for the benefit of lwIP.  This is ad hoc, but a lot
easier than implementing TLS.

Signed-off-by: H. Peter Anvin <hpa@zytor.com>