Imported from ../bash-3.1.tar.gz.
[platform/upstream/bash.git] / parse.y
diff --git a/parse.y b/parse.y
index 9c4c75a..1e7bd27 100644 (file)
--- a/parse.y
+++ b/parse.y
@@ -1,12 +1,12 @@
 /* Yacc grammar for bash. */
 
-/* Copyright (C) 1989 Free Software Foundation, Inc.
+/* Copyright (C) 1989-2005 Free Software Foundation, Inc.
 
    This file is part of GNU Bash, the Bourne Again SHell.
 
    Bash is free software; you can redistribute it and/or modify it under
    the terms of the GNU General Public License as published by the Free
-   Software Foundation; either version 1, or (at your option) any later
+   Software Foundation; either version 2, or (at your option) any later
    version.
 
    Bash is distributed in the hope that it will be useful, but WITHOUT ANY
 
    You should have received a copy of the GNU General Public License along
    with Bash; see the file LICENSE.  If not, write to the Free Software
-   Foundation, 675 Mass Ave, Cambridge, MA 02139, USA. */
+   Foundation, 59 Temple Place, Suite 330, Boston, MA 02111 USA. */
 
 %{
-#include <stdio.h>
+#include "config.h"
+
 #include "bashtypes.h"
-#include <signal.h>
 #include "bashansi.h"
+
+#include "filecntl.h"
+
+#if defined (HAVE_UNISTD_H)
+#  include <unistd.h>
+#endif
+
+#if defined (HAVE_LOCALE_H)
+#  include <locale.h>
+#endif
+
+#include <stdio.h>
+#include "chartypes.h"
+#include <signal.h>
+
+#include "memalloc.h"
+
+#include "bashintl.h"
+
+#define NEED_STRFTIME_DECL     /* used in externs.h */
+
 #include "shell.h"
+#include "trap.h"
 #include "flags.h"
-#include "input.h"
+#include "parser.h"
+#include "mailcheck.h"
+#include "test.h"
+#include "builtins.h"
+#include "builtins/common.h"
+#include "builtins/builtext.h"
+
+#include "shmbutil.h"
 
 #if defined (READLINE)
+#  include "bashline.h"
 #  include <readline/readline.h>
 #endif /* READLINE */
 
 
 #if defined (ALIAS)
 #  include "alias.h"
+#else
+typedef void *alias_t;
 #endif /* ALIAS */
 
 #if defined (PROMPT_STRING_DECODE)
-#include <sys/param.h>
-#include <time.h>
-#include "maxpath.h"
+#  ifndef _MINIX
+#    include <sys/param.h>
+#  endif
+#  include <time.h>
+#  if defined (TM_IN_SYS_TIME)
+#    include <sys/types.h>
+#    include <sys/time.h>
+#  endif /* TM_IN_SYS_TIME */
+#  include "maxpath.h"
 #endif /* PROMPT_STRING_DECODE */
 
-#define YYDEBUG 1
+#define RE_READ_TOKEN  -99
+#define NO_EXPANSION   -100
+
+#ifdef DEBUG
+#  define YYDEBUG 1
+#else
+#  define YYDEBUG 0
+#endif
+
+#if defined (HANDLE_MULTIBYTE)
+#  define last_shell_getc_is_singlebyte \
+       ((shell_input_line_index > 1) \
+               ? shell_input_line_property[shell_input_line_index - 1] \
+               : 1)
+#  define MBTEST(x)    ((x) && last_shell_getc_is_singlebyte)
+#else
+#  define last_shell_getc_is_singlebyte        1
+#  define MBTEST(x)    ((x))
+#endif
+
+#if defined (EXTENDED_GLOB)
+extern int extended_glob;
+#endif
+
 extern int eof_encountered;
-extern int no_line_editing;
+extern int no_line_editing, running_under_emacs;
 extern int current_command_number;
-extern int interactive, interactive_shell, login_shell;
+extern int sourcelevel;
 extern int posixly_correct;
 extern int last_command_exit_value;
 extern int interrupt_immediately;
 extern char *shell_name, *current_host_name;
-extern Function *last_shell_builtin, *this_shell_builtin;
-#if defined (READLINE)
-extern int bash_readline_initialized;
-#endif
+extern char *dist_version;
+extern int patch_level;
+extern int dump_translatable_strings, dump_po_strings;
+extern sh_builtin_func_t *last_shell_builtin, *this_shell_builtin;
 #if defined (BUFFERED_INPUT)
 extern int bash_input_fd_changed;
 #endif
 
+extern int errno;
 /* **************************************************************** */
 /*                                                                 */
 /*                 "Forward" declarations                          */
 /*                                                                 */
 /* **************************************************************** */
 
-/* This is kind of sickening.  In order to let these variables be seen by
-   all the functions that need them, I am forced to place their declarations
-   far away from the place where they should logically be found. */
+#ifdef DEBUG
+static void debug_parser __P((int));
+#endif
+
+static int yy_getc __P((void));
+static int yy_ungetc __P((int));
+
+#if defined (READLINE)
+static int yy_readline_get __P((void));
+static int yy_readline_unget __P((int));
+#endif
+
+static int yy_string_get __P((void));
+static int yy_string_unget __P((int));
+static int yy_stream_get __P((void));
+static int yy_stream_unget __P((int));
+
+static int shell_getc __P((int));
+static void shell_ungetc __P((int));
+static void discard_until __P((int));
+
+#if defined (ALIAS) || defined (DPAREN_ARITHMETIC)
+static void push_string __P((char *, int, alias_t *));
+static void pop_string __P((void));
+static void free_string_list __P((void));
+#endif
+
+static char *read_a_line __P((int));
+
+static int reserved_word_acceptable __P((int));
+static int yylex __P((void));
+static int alias_expand_token __P((char *));
+static int time_command_acceptable __P((void));
+static int special_case_tokens __P((char *));
+static int read_token __P((int));
+static char *parse_matched_pair __P((int, int, int, int *, int));
+#if defined (ARRAY_VARS)
+static char *parse_compound_assignment __P((int *));
+#endif
+#if defined (DPAREN_ARITHMETIC) || defined (ARITH_FOR_COMMAND)
+static int parse_dparen __P((int));
+static int parse_arith_cmd __P((char **, int));
+#endif
+#if defined (COND_COMMAND)
+static void cond_error __P((void));
+static COND_COM *cond_expr __P((void));
+static COND_COM *cond_or __P((void));
+static COND_COM *cond_and __P((void));
+static COND_COM *cond_term __P((void));
+static int cond_skip_newlines __P((void));
+static COMMAND *parse_cond_command __P((void));
+#endif
+#if defined (ARRAY_VARS)
+static int token_is_assignment __P((char *, int));
+static int token_is_ident __P((char *, int));
+#endif
+static int read_token_word __P((int));
+static void discard_parser_constructs __P((int));
+
+static char *error_token_from_token __P((int));
+static char *error_token_from_text __P((void));
+static void print_offending_line __P((void));
+static void report_syntax_error __P((char *));
+
+static void handle_eof_input_unit __P((void));
+static void prompt_again __P((void));
+#if 0
+static void reset_readline_prompt __P((void));
+#endif
+static void print_prompt __P((void));
+
+#if defined (HISTORY)
+char *history_delimiting_chars __P((void));
+#endif
+
+#if defined (HANDLE_MULTIBYTE)
+static void set_line_mbstate __P((void));
+static char *shell_input_line_property = NULL;
+#else
+#  define set_line_mbstate()
+#endif
+
+extern int yyerror __P((const char *));
 
-static int reserved_word_acceptable ();
-static int read_token ();
+#ifdef DEBUG
+extern int yydebug;
+#endif
 
-static void report_syntax_error ();
-static void handle_eof_input_unit ();
-static void prompt_again ();
-static void reset_readline_prompt ();
-static void print_prompt ();
+/* Default prompt strings */
+char *primary_prompt = PPROMPT;
+char *secondary_prompt = SPROMPT;
 
 /* PROMPT_STRING_POINTER points to one of these, never to an actual string. */
 char *ps1_prompt, *ps2_prompt;
@@ -94,27 +235,64 @@ char *ps1_prompt, *ps2_prompt;
 char **prompt_string_pointer = (char **)NULL;
 char *current_prompt_string;
 
+/* Non-zero means we expand aliases in commands. */
+int expand_aliases = 0;
+
+/* If non-zero, the decoded prompt string undergoes parameter and
+   variable substitution, command substitution, arithmetic substitution,
+   string expansion, process substitution, and quote removal in
+   decode_prompt_string. */
+int promptvars = 1;
+
+/* If non-zero, $'...' and $"..." are expanded when they appear within
+   a ${...} expansion, even when the expansion appears within double
+   quotes. */
+int extended_quote = 1;
+
 /* The decoded prompt string.  Used if READLINE is not defined or if
    editing is turned off.  Analogous to current_readline_prompt. */
 static char *current_decoded_prompt;
 
 /* The number of lines read from input while creating the current command. */
-int current_command_line_count = 0;
+int current_command_line_count;
 
 /* Variables to manage the task of reading here documents, because we need to
    defer the reading until after a complete command has been collected. */
 static REDIRECT *redir_stack[10];
-int need_here_doc = 0;
+int need_here_doc;
 
 /* Where shell input comes from.  History expansion is performed on each
    line when the shell is interactive. */
 static char *shell_input_line = (char *)NULL;
-static int shell_input_line_index = 0;
-static int shell_input_line_size = 0;  /* Amount allocated for shell_input_line. */
-static int shell_input_line_len = 0;   /* strlen (shell_input_line) */
+static int shell_input_line_index;
+static int shell_input_line_size;      /* Amount allocated for shell_input_line. */
+static int shell_input_line_len;       /* strlen (shell_input_line) */
 
 /* Either zero or EOF. */
-static int shell_input_line_terminator = 0;
+static int shell_input_line_terminator;
+
+/* The line number in a script on which a function definition starts. */
+static int function_dstart;
+
+/* The line number in a script on which a function body starts. */
+static int function_bstart;
+
+/* The line number in a script at which an arithmetic for command starts. */
+static int arith_for_lineno;
+
+/* The line number in a script where the word in a `case WORD', `select WORD'
+   or `for WORD' begins.  This is a nested command maximum, since the array
+   index is decremented after a case, select, or for command is parsed. */
+#define MAX_CASE_NEST  128
+static int word_lineno[MAX_CASE_NEST];
+static int word_top = -1;
+
+/* If non-zero, it is the token that we want read_token to return
+   regardless of what text is (or isn't) present to be read.  This
+   is reset by read_token.  If token_to_read == WORD or
+   ASSIGNMENT_WORD, yylval.word should be set to word_desc_to_read. */
+static int token_to_read;
+static WORD_DESC *word_desc_to_read;
 
 static REDIRECTEE redir;
 %}
@@ -131,27 +309,37 @@ static REDIRECTEE redir;
 
 /* Reserved words.  Members of the first group are only recognized
    in the case that they are preceded by a list_terminator.  Members
-   of the second group are recognized only under special circumstances. */
+   of the second group are for [[...]] commands.  Members of the
+   third group are recognized only under special circumstances. */
 %token IF THEN ELSE ELIF FI CASE ESAC FOR SELECT WHILE UNTIL DO DONE FUNCTION
-%token IN BANG
+%token COND_START COND_END COND_ERROR
+%token IN BANG TIME TIMEOPT
 
 /* More general tokens. yylex () knows how to make these. */
 %token <word> WORD ASSIGNMENT_WORD
 %token <number> NUMBER
-%token AND_AND OR_OR GREATER_GREATER LESS_LESS LESS_AND
+%token <word_list> ARITH_CMD ARITH_FOR_EXPRS
+%token <command> COND_CMD
+%token AND_AND OR_OR GREATER_GREATER LESS_LESS LESS_AND LESS_LESS_LESS
 %token GREATER_AND SEMI_SEMI LESS_LESS_MINUS AND_GREATER LESS_GREATER
 %token GREATER_BAR
 
 /* The types that the various syntactical units return. */
 
-%type <command> inputunit command pipeline
-%type <command> list list0 list1 simple_list simple_list1
-%type <command> simple_command shell_command_1 shell_command select_command
-%type <command> group_command function_def if_command elif_clause subshell
-%type <redirect> redirection redirections
+%type <command> inputunit command pipeline pipeline_command
+%type <command> list list0 list1 compound_list simple_list simple_list1
+%type <command> simple_command shell_command
+%type <command> for_command select_command case_command group_command
+%type <command> arith_command
+%type <command> cond_command
+%type <command> arith_for_command
+%type <command> function_def function_body if_command elif_clause subshell
+%type <redirect> redirection redirection_list
 %type <element> simple_command_element
-%type <word_list> words pattern 
-%type <pattern> pattern_list case_clause_sequence case_clause_1 pattern_list_1
+%type <word_list> word_list pattern
+%type <pattern> pattern_list case_clause_sequence case_clause
+%type <number> timespec
+%type <number> list_terminator
 
 %start inputunit
 
@@ -160,13 +348,13 @@ static REDIRECTEE redir;
 %right '|'
 %%
 
-inputunit:     simple_list '\n'
+inputunit:     simple_list simple_list_terminator
                        {
                          /* Case of regular command.  Discard the error
                             safety net,and return the command just parsed. */
                          global_command = $1;
                          eof_encountered = 0;
-                         discard_parser_constructs (0);
+                         /* discard_parser_constructs (0); */
                          YYACCEPT;
                        }
        |       '\n'
@@ -176,13 +364,12 @@ inputunit:        simple_list '\n'
                          global_command = (COMMAND *)NULL;
                          YYACCEPT;
                        }
-       |
-               error '\n'
+       |       error '\n'
                        {
                          /* Error during parsing.  Return NULL command. */
                          global_command = (COMMAND *)NULL;
                          eof_encountered = 0;
-                         discard_parser_constructs (1);
+                         /* discard_parser_constructs (1); */
                          if (interactive)
                            {
                              YYACCEPT;
@@ -194,7 +381,7 @@ inputunit:  simple_list '\n'
                        }
        |       yacc_EOF
                        {
-                         /* Case of EOF seen by itself.  Do ignoreeof or 
+                         /* Case of EOF seen by itself.  Do ignoreeof or
                             not. */
                          global_command = (COMMAND *)NULL;
                          handle_eof_input_unit ();
@@ -202,9 +389,9 @@ inputunit:  simple_list '\n'
                        }
        ;
 
-words: 
-                       { $$ = (WORD_LIST *)NULL; }
-       |       words WORD
+word_list:     WORD
+                       { $$ = make_word_list ($1, (WORD_LIST *)NULL); }
+       |       word_list WORD
                        { $$ = make_word_list ($2, $1); }
        ;
 
@@ -250,6 +437,16 @@ redirection:       '>' WORD
                          $$ = make_redirection ($1, r_reading_until, redir);
                          redir_stack[need_here_doc++] = $$;
                        }
+       |       LESS_LESS_LESS WORD
+                       {
+                         redir.filename = $2;
+                         $$ = make_redirection (0, r_reading_string, redir);
+                       }
+       |       NUMBER LESS_LESS_LESS WORD
+                       {
+                         redir.filename = $3;
+                         $$ = make_redirection ($1, r_reading_string, redir);
+                       }
        |       LESS_AND NUMBER
                        {
                          redir.dest = $2;
@@ -306,22 +503,22 @@ redirection:      '>' WORD
                        }
        |       GREATER_AND '-'
                        {
-                         redir.dest = 0L;
+                         redir.dest = 0;
                          $$ = make_redirection (1, r_close_this, redir);
                        }
        |       NUMBER GREATER_AND '-'
                        {
-                         redir.dest = 0L;
+                         redir.dest = 0;
                          $$ = make_redirection ($1, r_close_this, redir);
                        }
        |       LESS_AND '-'
                        {
-                         redir.dest = 0L;
+                         redir.dest = 0;
                          $$ = make_redirection (0, r_close_this, redir);
                        }
        |       NUMBER LESS_AND '-'
                        {
-                         redir.dest = 0L;
+                         redir.dest = 0;
                          $$ = make_redirection ($1, r_close_this, redir);
                        }
        |       AND_GREATER WORD
@@ -336,20 +533,9 @@ redirection:       '>' WORD
                        }
        |       LESS_GREATER WORD
                        {
-                         REDIRECT *t1, *t2;
-
                          redir.filename = $2;
-                         if (posixly_correct)
-                           $$ = make_redirection (0, r_input_output, redir);
-                         else
-                           {
-                             t1 = make_redirection (0, r_input_direction, redir);
-                             redir.filename = copy_word ($2);
-                             t2 = make_redirection (1, r_output_direction, redir);
-                             t1->next = t2;
-                             $$ = t1;
-                           }
-                       }                         
+                         $$ = make_redirection (0, r_input_output, redir);
+                       }
        |       GREATER_BAR WORD
                        {
                          redir.filename = $2;
@@ -370,17 +556,17 @@ simple_command_element: WORD
                        { $$.redirect = $1; $$.word = 0; }
        ;
 
-redirections:  redirection
+redirection_list: redirection
                        {
                          $$ = $1;
                        }
-       |       redirections redirection
-                       { 
-                         register REDIRECT *t = $1;
+       |       redirection_list redirection
+                       {
+                         register REDIRECT *t;
 
-                         while (t->next)
-                           t = t->next;
-                         t->next = $2; 
+                         for (t = $1; t->next; t = t->next)
+                           ;
+                         t->next = $2;
                          $$ = $1;
                        }
        ;
@@ -395,47 +581,33 @@ command:  simple_command
                        { $$ = clean_simple_command ($1); }
        |       shell_command
                        { $$ = $1; }
-       ;
-
-shell_command: shell_command_1
-                       { $$ = $1; }
-       |       shell_command_1 redirections
+       |       shell_command redirection_list
                        {
-                         if ($1->redirects)
+                         COMMAND *tc;
+
+                         tc = $1;
+                         if (tc->redirects)
                            {
                              register REDIRECT *t;
-                             for (t = $1->redirects; t->next; t = t->next)
+                             for (t = tc->redirects; t->next; t = t->next)
                                ;
                              t->next = $2;
                            }
                          else
-                           $1->redirects = $2;
+                           tc->redirects = $2;
                          $$ = $1;
                        }
+       |       function_def
+                       { $$ = $1; }
        ;
 
-shell_command_1: FOR WORD newlines DO list DONE
-                       { $$ = make_for_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $5); }
-       |       FOR WORD newlines '{' list '}'
-                       { $$ = make_for_command ($2, add_string_to_list ("$@", (WORD_LIST *)NULL), $5); }
-       |       FOR WORD ';' newlines DO list DONE
-                       { $$ = make_for_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $6); }
-       |       FOR WORD ';' newlines '{' list '}'
-                       { $$ = make_for_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $6); }
-       |       FOR WORD newlines IN words list_terminator newlines DO list DONE
-                       { $$ = make_for_command ($2, REVERSE_LIST ($5, WORD_LIST *), $9); }
-       |       FOR WORD newlines IN words list_terminator newlines '{' list '}'
-                       { $$ = make_for_command ($2, REVERSE_LIST ($5, WORD_LIST *), $9); }
-
-       |       CASE WORD newlines IN newlines ESAC
-                       { $$ = make_case_command ($2, (PATTERN_LIST *)NULL); }
-       |       CASE WORD newlines IN case_clause_sequence newlines ESAC
-                       { $$ = make_case_command ($2, $5); }
-       |       CASE WORD newlines IN case_clause_1 ESAC
-                       { $$ = make_case_command ($2, $5); }
-       |       WHILE list DO list DONE
+shell_command: for_command
+                       { $$ = $1; }
+       |       case_command
+                       { $$ = $1; }
+       |       WHILE compound_list DO compound_list DONE
                        { $$ = make_while_command ($2, $4); }
-       |       UNTIL list DO list DONE
+       |       UNTIL compound_list DO compound_list DONE
                        { $$ = make_until_command ($2, $4); }
        |       select_command
                        { $$ = $1; }
@@ -445,122 +617,227 @@ shell_command_1: FOR WORD newlines DO list DONE
                        { $$ = $1; }
        |       group_command
                        { $$ = $1; }
-       |       function_def
+       |       arith_command
+                       { $$ = $1; }
+       |       cond_command
+                       { $$ = $1; }
+       |       arith_for_command
                        { $$ = $1; }
        ;
 
-select_command:        SELECT WORD newlines DO list DONE
+for_command:   FOR WORD newline_list DO compound_list DONE
                        {
-#if defined (SELECT_COMMAND)
-                         $$ = make_select_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $5);
-#endif
+                         $$ = make_for_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $5, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
                        }
-       |       SELECT WORD newlines '{' list '}'
+       |       FOR WORD newline_list '{' compound_list '}'
                        {
-#if defined (SELECT_COMMAND)
-                         $$ = make_select_command ($2, add_string_to_list ("$@", (WORD_LIST *)NULL), $5);
-#endif
+                         $$ = make_for_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $5, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
                        }
-       |       SELECT WORD ';' newlines DO list DONE
+       |       FOR WORD ';' newline_list DO compound_list DONE
                        {
-#if defined (SELECT_COMMAND)
-                         $$ = make_select_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $6);
-#endif
+                         $$ = make_for_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $6, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
                        }
-       |       SELECT WORD ';' newlines '{' list '}'
+       |       FOR WORD ';' newline_list '{' compound_list '}'
                        {
-#if defined (SELECT_COMMAND)
-                         $$ = make_select_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $6);
-#endif
+                         $$ = make_for_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $6, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
                        }
-       |       SELECT WORD newlines IN words list_terminator newlines DO list DONE
+       |       FOR WORD newline_list IN word_list list_terminator newline_list DO compound_list DONE
                        {
-#if defined (SELECT_COMMAND)
-                         $$ = make_select_command ($2, (WORD_LIST *)reverse_list ($5), $9);
-#endif
+                         $$ = make_for_command ($2, REVERSE_LIST ($5, WORD_LIST *), $9, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
                        }
-       |       SELECT WORD newlines IN words list_terminator newlines '{' list '}'
+       |       FOR WORD newline_list IN word_list list_terminator newline_list '{' compound_list '}'
                        {
-#if defined (SELECT_COMMAND)
-                         $$ = make_select_command ($2, (WORD_LIST *)reverse_list ($5), $9);
-#endif
+                         $$ = make_for_command ($2, REVERSE_LIST ($5, WORD_LIST *), $9, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
+                       }
+       |       FOR WORD newline_list IN list_terminator newline_list DO compound_list DONE
+                       {
+                         $$ = make_for_command ($2, (WORD_LIST *)NULL, $8, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
+                       }
+       |       FOR WORD newline_list IN list_terminator newline_list '{' compound_list '}'
+                       {
+                         $$ = make_for_command ($2, (WORD_LIST *)NULL, $8, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
+                       }
+       ;
+
+arith_for_command:     FOR ARITH_FOR_EXPRS list_terminator newline_list DO compound_list DONE
+                               {
+                                 $$ = make_arith_for_command ($2, $6, arith_for_lineno);
+                                 if (word_top > 0) word_top--;
+                               }
+       |               FOR ARITH_FOR_EXPRS list_terminator newline_list '{' compound_list '}'
+                               {
+                                 $$ = make_arith_for_command ($2, $6, arith_for_lineno);
+                                 if (word_top > 0) word_top--;
+                               }
+       |               FOR ARITH_FOR_EXPRS DO compound_list DONE
+                               {
+                                 $$ = make_arith_for_command ($2, $4, arith_for_lineno);
+                                 if (word_top > 0) word_top--;
+                               }
+       |               FOR ARITH_FOR_EXPRS '{' compound_list '}'
+                               {
+                                 $$ = make_arith_for_command ($2, $4, arith_for_lineno);
+                                 if (word_top > 0) word_top--;
+                               }
+       ;
+
+select_command:        SELECT WORD newline_list DO list DONE
+                       {
+                         $$ = make_select_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $5, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
+                       }
+       |       SELECT WORD newline_list '{' list '}'
+                       {
+                         $$ = make_select_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $5, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
+                       }
+       |       SELECT WORD ';' newline_list DO list DONE
+                       {
+                         $$ = make_select_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $6, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
+                       }
+       |       SELECT WORD ';' newline_list '{' list '}'
+                       {
+                         $$ = make_select_command ($2, add_string_to_list ("\"$@\"", (WORD_LIST *)NULL), $6, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
+                       }
+       |       SELECT WORD newline_list IN word_list list_terminator newline_list DO list DONE
+                       {
+                         $$ = make_select_command ($2, REVERSE_LIST ($5, WORD_LIST *), $9, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
+                       }
+       |       SELECT WORD newline_list IN word_list list_terminator newline_list '{' list '}'
+                       {
+                         $$ = make_select_command ($2, REVERSE_LIST ($5, WORD_LIST *), $9, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
                        }
        ;
 
-function_def:  WORD '(' ')' newlines group_command
-                       { $$ = make_function_def ($1, $5); }
+case_command:  CASE WORD newline_list IN newline_list ESAC
+                       {
+                         $$ = make_case_command ($2, (PATTERN_LIST *)NULL, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
+                       }
+       |       CASE WORD newline_list IN case_clause_sequence newline_list ESAC
+                       {
+                         $$ = make_case_command ($2, $5, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
+                       }
+       |       CASE WORD newline_list IN case_clause ESAC
+                       {
+                         $$ = make_case_command ($2, $5, word_lineno[word_top]);
+                         if (word_top > 0) word_top--;
+                       }
+       ;
 
-       |       WORD '(' ')' newlines group_command redirections
-                       { $5->redirects = $6; $$ = make_function_def ($1, $5); }
+function_def:  WORD '(' ')' newline_list function_body
+                       { $$ = make_function_def ($1, $5, function_dstart, function_bstart); }
 
-       |       FUNCTION WORD '(' ')' newlines group_command
-                       { $$ = make_function_def ($2, $6); }
+       |       FUNCTION WORD '(' ')' newline_list function_body
+                       { $$ = make_function_def ($2, $6, function_dstart, function_bstart); }
 
-       |       FUNCTION WORD '(' ')' newlines group_command redirections
-                       { $6->redirects = $7; $$ = make_function_def ($2, $6); }
+       |       FUNCTION WORD newline_list function_body
+                       { $$ = make_function_def ($2, $4, function_dstart, function_bstart); }
+       ;
 
-       |       FUNCTION WORD newlines group_command
-                       { $$ = make_function_def ($2, $4); }
 
-       |       FUNCTION WORD newlines group_command redirections
-                       { $4->redirects = $5; $$ = make_function_def ($2, $4); }
+function_body: shell_command
+                       { $$ = $1; }
+       |       shell_command redirection_list
+                       {
+                         COMMAND *tc;
+
+                         tc = $1;
+                         /* According to Posix.2 3.9.5, redirections
+                            specified after the body of a function should
+                            be attached to the function and performed when
+                            the function is executed, not as part of the
+                            function definition command. */
+                         /* XXX - I don't think it matters, but we might
+                            want to change this in the future to avoid
+                            problems differentiating between a function
+                            definition with a redirection and a function
+                            definition containing a single command with a
+                            redirection.  The two are semantically equivalent,
+                            though -- the only difference is in how the
+                            command printing code displays the redirections. */
+                         if (tc->redirects)
+                           {
+                             register REDIRECT *t;
+                             for (t = tc->redirects; t->next; t = t->next)
+                               ;
+                             t->next = $2;
+                           }
+                         else
+                           tc->redirects = $2;
+                         $$ = $1;
+                       }
        ;
 
-subshell:      '(' list ')'
-                       { $2->flags |= CMD_WANT_SUBSHELL; $$ = $2; }
+subshell:      '(' compound_list ')'
+                       {
+                         $$ = make_subshell_command ($2);
+                         $$->flags |= CMD_WANT_SUBSHELL;
+                       }
        ;
-       
-if_command:    IF list THEN list FI
+
+if_command:    IF compound_list THEN compound_list FI
                        { $$ = make_if_command ($2, $4, (COMMAND *)NULL); }
-       |       IF list THEN list ELSE list FI
+       |       IF compound_list THEN compound_list ELSE compound_list FI
                        { $$ = make_if_command ($2, $4, $6); }
-       |       IF list THEN list elif_clause FI
+       |       IF compound_list THEN compound_list elif_clause FI
                        { $$ = make_if_command ($2, $4, $5); }
        ;
 
 
-group_command: '{' list '}'
+group_command: '{' compound_list '}'
                        { $$ = make_group_command ($2); }
        ;
 
-elif_clause:   ELIF list THEN list
+arith_command: ARITH_CMD
+                       { $$ = make_arith_command ($1); }
+       ;
+
+cond_command:  COND_START COND_CMD COND_END
+                       { $$ = $2; }
+       ; 
+
+elif_clause:   ELIF compound_list THEN compound_list
                        { $$ = make_if_command ($2, $4, (COMMAND *)NULL); }
-       |       ELIF list THEN list ELSE list
+       |       ELIF compound_list THEN compound_list ELSE compound_list
                        { $$ = make_if_command ($2, $4, $6); }
-       |       ELIF list THEN list elif_clause
+       |       ELIF compound_list THEN compound_list elif_clause
                        { $$ = make_if_command ($2, $4, $5); }
        ;
 
-case_clause_1: pattern_list_1
-       |       case_clause_sequence pattern_list_1
+case_clause:   pattern_list
+       |       case_clause_sequence pattern_list
                        { $2->next = $1; $$ = $2; }
        ;
 
-pattern_list_1:        newlines pattern ')' list
+pattern_list:  newline_list pattern ')' compound_list
                        { $$ = make_pattern_list ($2, $4); }
-       |       newlines pattern ')' newlines
+       |       newline_list pattern ')' newline_list
                        { $$ = make_pattern_list ($2, (COMMAND *)NULL); }
-       |       newlines '(' pattern ')' list
+       |       newline_list '(' pattern ')' compound_list
                        { $$ = make_pattern_list ($3, $5); }
-       |       newlines '(' pattern ')' newlines
+       |       newline_list '(' pattern ')' newline_list
                        { $$ = make_pattern_list ($3, (COMMAND *)NULL); }
        ;
 
-case_clause_sequence:  pattern_list
-       |       case_clause_sequence pattern_list
+case_clause_sequence:  pattern_list SEMI_SEMI
+       |       case_clause_sequence pattern_list SEMI_SEMI
                        { $2->next = $1; $$ = $2; }
        ;
 
-pattern_list:  newlines pattern ')' list SEMI_SEMI
-                       { $$ = make_pattern_list ($2, $4); }
-       |       newlines pattern ')' newlines SEMI_SEMI
-                       { $$ = make_pattern_list ($2, (COMMAND *)NULL); }
-       |       newlines '(' pattern ')' list SEMI_SEMI
-                       { $$ = make_pattern_list ($3, $5); }
-       |       newlines '(' pattern ')' newlines SEMI_SEMI
-                       { $$ = make_pattern_list ($3, (COMMAND *)NULL); }
-       ;
-
 pattern:       WORD
                        { $$ = make_word_list ($1, (WORD_LIST *)NULL); }
        |       pattern '|' WORD
@@ -572,7 +849,7 @@ pattern:    WORD
    It must end with a newline or semicolon.
    Lists are used within commands such as if, for, while.  */
 
-list:          newlines list0
+list:          newline_list list0
                        {
                          $$ = $2;
                          if (need_here_doc)
@@ -580,50 +857,58 @@ list:             newlines list0
                         }
        ;
 
-list0:         list1
-       |       list1 '\n' newlines
-       |       list1 '&' newlines
+compound_list: list
+       |       newline_list list1
+                       {
+                         $$ = $2;
+                       }
+       ;
+
+list0:         list1 '\n' newline_list
+       |       list1 '&' newline_list
                        {
                          if ($1->type == cm_connection)
                            $$ = connect_async_list ($1, (COMMAND *)NULL, '&');
                          else
                            $$ = command_connect ($1, (COMMAND *)NULL, '&');
                        }
-       |       list1 ';' newlines
+       |       list1 ';' newline_list
 
        ;
 
-list1:         list1 AND_AND newlines list1
+list1:         list1 AND_AND newline_list list1
                        { $$ = command_connect ($1, $4, AND_AND); }
-       |       list1 OR_OR newlines list1
+       |       list1 OR_OR newline_list list1
                        { $$ = command_connect ($1, $4, OR_OR); }
-       |       list1 '&' newlines list1
+       |       list1 '&' newline_list list1
                        {
                          if ($1->type == cm_connection)
                            $$ = connect_async_list ($1, $4, '&');
                          else
                            $$ = command_connect ($1, $4, '&');
                        }
-       |       list1 ';' newlines list1
+       |       list1 ';' newline_list list1
                        { $$ = command_connect ($1, $4, ';'); }
-       |       list1 '\n' newlines list1
+       |       list1 '\n' newline_list list1
                        { $$ = command_connect ($1, $4, ';'); }
-       |       pipeline
+       |       pipeline_command
                        { $$ = $1; }
-       |       BANG pipeline
-                       {
-                         $2->flags |= CMD_INVERT_RETURN;
-                         $$ = $2;
-                       }
+       ;
+
+simple_list_terminator:        '\n'
+       |       yacc_EOF
        ;
 
 list_terminator:'\n'
+               { $$ = '\n'; }
        |       ';'
+               { $$ = ';'; }
        |       yacc_EOF
+               { $$ = yacc_EOF; }
        ;
 
-newlines:
-       |       newlines '\n'
+newline_list:
+       |       newline_list '\n'
        ;
 
 /* A simple_list is a list that contains no significant newlines
@@ -655,9 +940,9 @@ simple_list:        simple_list1
                        }
        ;
 
-simple_list1:  simple_list1 AND_AND newlines simple_list1
+simple_list1:  simple_list1 AND_AND newline_list simple_list1
                        { $$ = command_connect ($1, $4, AND_AND); }
-       |       simple_list1 OR_OR newlines simple_list1
+       |       simple_list1 OR_OR newline_list simple_list1
                        { $$ = command_connect ($1, $4, OR_OR); }
        |       simple_list1 '&' simple_list1
                        {
@@ -668,45 +953,133 @@ simple_list1:    simple_list1 AND_AND newlines simple_list1
                        }
        |       simple_list1 ';' simple_list1
                        { $$ = command_connect ($1, $3, ';'); }
-       |       pipeline
+
+       |       pipeline_command
+                       { $$ = $1; }
+       ;
+
+pipeline_command: pipeline
                        { $$ = $1; }
        |       BANG pipeline
                        {
-                         $2->flags |= CMD_INVERT_RETURN;
+                         if ($2)
+                           $2->flags |= CMD_INVERT_RETURN;
                          $$ = $2;
                        }
+       |       timespec pipeline
+                       {
+                         if ($2)
+                           $2->flags |= $1;
+                         $$ = $2;
+                       }
+       |       timespec BANG pipeline
+                       {
+                         if ($3)
+                           $3->flags |= $1|CMD_INVERT_RETURN;
+                         $$ = $3;
+                       }
+       |       BANG timespec pipeline
+                       {
+                         if ($3)
+                           $3->flags |= $2|CMD_INVERT_RETURN;
+                         $$ = $3;
+                       }
+       |       timespec list_terminator
+                       {
+                         ELEMENT x;
+
+                         /* Boy, this is unclean.  `time' by itself can
+                            time a null command.  We cheat and push a
+                            newline back if the list_terminator was a newline
+                            to avoid the double-newline problem (one to
+                            terminate this, one to terminate the command) */
+                         x.word = 0;
+                         x.redirect = 0;
+                         $$ = make_simple_command (x, (COMMAND *)NULL);
+                         $$->flags |= $1;
+                         /* XXX - let's cheat and push a newline back */
+                         if ($2 == '\n')
+                           token_to_read = '\n';
+                       }
+                       
        ;
 
 pipeline:
-               pipeline '|' newlines pipeline
+               pipeline '|' newline_list pipeline
                        { $$ = command_connect ($1, $4, '|'); }
        |       command
                        { $$ = $1; }
        ;
+
+timespec:      TIME
+                       { $$ = CMD_TIME_PIPELINE; }
+       |       TIME TIMEOPT
+                       { $$ = CMD_TIME_PIPELINE|CMD_TIME_POSIX; }
+       ;
 %%
 
+/* Possible states for the parser that require it to do special things. */
+#define PST_CASEPAT    0x0001          /* in a case pattern list */
+#define PST_ALEXPNEXT  0x0002          /* expand next word for aliases */
+#define PST_ALLOWOPNBRC        0x0004          /* allow open brace for function def */
+#define PST_NEEDCLOSBRC        0x0008          /* need close brace */
+#define PST_DBLPAREN   0x0010          /* double-paren parsing */
+#define PST_SUBSHELL   0x0020          /* ( ... ) subshell */
+#define PST_CMDSUBST   0x0040          /* $( ... ) command substitution */
+#define PST_CASESTMT   0x0080          /* parsing a case statement */
+#define PST_CONDCMD    0x0100          /* parsing a [[...]] command */
+#define PST_CONDEXPR   0x0200          /* parsing the guts of [[...]] */
+#define PST_ARITHFOR   0x0400          /* parsing an arithmetic for command */
+#define PST_ALEXPAND   0x0800          /* OK to expand aliases - unused */
+#define PST_CMDTOKEN   0x1000          /* command token OK - unused */
+#define PST_COMPASSIGN 0x2000          /* parsing x=(...) compound assignment */
+#define PST_ASSIGNOK   0x4000          /* assignment statement ok in this context */
+
 /* Initial size to allocate for tokens, and the
    amount to grow them by. */
+#define TOKEN_DEFAULT_INITIAL_SIZE 496
 #define TOKEN_DEFAULT_GROW_SIZE 512
 
+/* Should we call prompt_again? */
+#define SHOULD_PROMPT() \
+  (interactive && (bash_input.type == st_stdin || bash_input.type == st_stream))
+
+#if defined (ALIAS)
+#  define expanding_alias() (pushed_string_list && pushed_string_list->expander)
+#else
+#  define expanding_alias() 0
+#endif
+
 /* The token currently being read. */
-static int current_token = 0;
+static int current_token;
 
 /* The last read token, or NULL.  read_token () uses this for context
    checking. */
-static int last_read_token = 0;
+static int last_read_token;
 
 /* The token read prior to last_read_token. */
-static int token_before_that = 0;
+static int token_before_that;
 
-/* If non-zero, it is the token that we want read_token to return
-   regardless of what text is (or isn't) present to be read.  This
-   is reset by read_token. */
-static int token_to_read = 0;
+/* The token read prior to token_before_that. */
+static int two_tokens_ago;
+
+/* The current parser state. */
+static int parser_state;
 
 /* Global var is non-zero when end of file has been reached. */
 int EOF_Reached = 0;
 
+#ifdef DEBUG
+static void
+debug_parser (i)
+     int i;
+{
+#if YYDEBUG != 0
+  yydebug = i;
+#endif
+}
+#endif
+
 /* yy_getc () returns the next available character from input or EOF.
    yy_ungetc (c) makes `c' the next character to read.
    init_yy_io (get, unget, type, location) makes the function GET the
@@ -716,6 +1089,7 @@ int EOF_Reached = 0;
    the input is coming from. */
 
 /* Unconditionally returns end-of-file. */
+int
 return_EOF ()
 {
   return (EOF);
@@ -725,35 +1099,35 @@ return_EOF ()
    See ./input.h for a clearer description. */
 BASH_INPUT bash_input;
 
-/* Set all of the fields in BASH_INPUT to NULL. */
+/* Set all of the fields in BASH_INPUT to NULL.  Free bash_input.name if it
+   is non-null, avoiding a memory leak. */
 void
 initialize_bash_input ()
 {
-  bash_input.type = 0;
+  bash_input.type = st_none;
+  FREE (bash_input.name);
   bash_input.name = (char *)NULL;
   bash_input.location.file = (FILE *)NULL;
   bash_input.location.string = (char *)NULL;
-  bash_input.getter = (Function *)NULL;
-  bash_input.ungetter = (Function *)NULL;
+  bash_input.getter = (sh_cget_func_t *)NULL;
+  bash_input.ungetter = (sh_cunget_func_t *)NULL;
 }
 
 /* Set the contents of the current bash input stream from
    GET, UNGET, TYPE, NAME, and LOCATION. */
 void
 init_yy_io (get, unget, type, name, location)
-     Function *get, *unget;
-     int type;
-     char *name;
+     sh_cget_func_t *get;
+     sh_cunget_func_t *unget;
+     enum stream_type type;
+     const char *name;
      INPUT_STREAM location;
 {
   bash_input.type = type;
   FREE (bash_input.name);
+  bash_input.name = name ? savestring (name) : (char *)NULL;
 
-  if (name)
-    bash_input.name = savestring (name);
-  else
-    bash_input.name = (char *)NULL;
-
+  /* XXX */
 #if defined (CRAY)
   memcpy((char *)&bash_input.location.string, (char *)&location.string, sizeof(location));
 #else
@@ -763,7 +1137,14 @@ init_yy_io (get, unget, type, name, location)
   bash_input.ungetter = unget;
 }
 
+char *
+yy_input_name ()
+{
+  return (bash_input.name ? bash_input.name : "stdin");
+}
+
 /* Call this to get the next character of input. */
+static int
 yy_getc ()
 {
   return (*(bash_input.getter)) ();
@@ -771,6 +1152,7 @@ yy_getc ()
 
 /* Call this to unget C.  That is, to make C the next character
    to be read. */
+static int
 yy_ungetc (c)
      int c;
 {
@@ -778,6 +1160,7 @@ yy_ungetc (c)
 }
 
 #if defined (BUFFERED_INPUT)
+#ifdef INCLUDE_UNUSED
 int
 input_file_descriptor ()
 {
@@ -787,10 +1170,12 @@ input_file_descriptor ()
       return (fileno (bash_input.location.file));
     case st_bstream:
       return (bash_input.location.buffered_fd);
+    case st_stdin:
     default:
       return (fileno (stdin));
     }
 }
+#endif
 #endif /* BUFFERED_INPUT */
 
 /* **************************************************************** */
@@ -807,52 +1192,53 @@ int current_readline_line_index = 0;
 static int
 yy_readline_get ()
 {
+  SigHandler *old_sigint;
+  int line_len;
+  unsigned char c;
+
   if (!current_readline_line)
     {
-      SigHandler *old_sigint;
-      int line_len;
-
       if (!bash_readline_initialized)
        initialize_readline ();
 
 #if defined (JOB_CONTROL)
       if (job_control)
-       give_terminal_to (shell_pgrp);
+       give_terminal_to (shell_pgrp, 0);
 #endif /* JOB_CONTROL */
 
+      old_sigint = (SigHandler *)NULL;
       if (signal_is_ignored (SIGINT) == 0)
        {
          old_sigint = (SigHandler *)set_signal_handler (SIGINT, sigint_sighandler);
          interrupt_immediately++;
        }
 
-      if (!current_readline_prompt)
-       current_readline_line = readline ("");
-      else
-       current_readline_line = readline (current_readline_prompt);
+      current_readline_line = readline (current_readline_prompt ?
+                                         current_readline_prompt : "");
 
-      if (signal_is_ignored (SIGINT) == 0)
+      if (signal_is_ignored (SIGINT) == 0 && old_sigint)
        {
          interrupt_immediately--;
          set_signal_handler (SIGINT, old_sigint);
        }
 
-      /* Reset the prompt to whatever is in the decoded value of
-        prompt_string_pointer. */
+#if 0
+      /* Reset the prompt to the decoded value of prompt_string_pointer. */
       reset_readline_prompt ();
+#endif
 
-      current_readline_line_index = 0;
-
-      if (!current_readline_line)
+      if (current_readline_line == 0)
        return (EOF);
 
+      current_readline_line_index = 0;
       line_len = strlen (current_readline_line);
-      current_readline_line = xrealloc (current_readline_line, 2 + line_len);
+
+      current_readline_line = (char *)xrealloc (current_readline_line, 2 + line_len);
       current_readline_line[line_len++] = '\n';
       current_readline_line[line_len] = '\0';
     }
 
-  if (!current_readline_line[current_readline_line_index])
+  if (current_readline_line[current_readline_line_index] == 0)
     {
       free (current_readline_line);
       current_readline_line = (char *)NULL;
@@ -860,20 +1246,21 @@ yy_readline_get ()
     }
   else
     {
-      int c = (unsigned char)current_readline_line[current_readline_line_index++];
+      c = current_readline_line[current_readline_line_index++];
       return (c);
     }
 }
 
 static int
 yy_readline_unget (c)
+     int c;
 {
   if (current_readline_line_index && current_readline_line)
     current_readline_line[--current_readline_line_index] = c;
   return (c);
 }
 
-void  
+void
 with_input_from_stdin ()
 {
   INPUT_STREAM location;
@@ -904,19 +1291,20 @@ with_input_from_stdin ()
 static int
 yy_string_get ()
 {
-  register unsigned char *string;
-  register int c;
+  register char *string;
+  register unsigned char c;
 
   string = bash_input.location.string;
-  c = EOF;
 
   /* If the string doesn't exist, or is empty, EOF found. */
   if (string && *string)
     {
       c = *string++;
       bash_input.location.string = string;
+      return (c);
     }
-  return (c);
+  else
+    return (EOF);
 }
 
 static int
@@ -930,12 +1318,11 @@ yy_string_unget (c)
 void
 with_input_from_string (string, name)
      char *string;
-     char *name;
+     const char *name;
 {
   INPUT_STREAM location;
 
   location.string = string;
-
   init_yy_io (yy_string_get, yy_string_unget, st_string, name, location);
 }
 
@@ -945,17 +1332,26 @@ with_input_from_string (string, name)
 /*                                                                 */
 /* **************************************************************** */
 
+/* These two functions used to test the value of the HAVE_RESTARTABLE_SYSCALLS
+   define, and just use getc/ungetc if it was defined, but since bash
+   installs its signal handlers without the SA_RESTART flag, some signals
+   (like SIGCHLD, SIGWINCH, etc.) received during a read(2) will not cause
+   the read to be restarted.  We need to restart it ourselves. */
+
 static int
 yy_stream_get ()
 {
-  int result = EOF;
+  int result;
 
+  result = EOF;
   if (bash_input.location.file)
-#if defined (NO_READ_RESTART_ON_SIGNAL)
-    result = (unsigned char)getc_with_restart (bash_input.location.file);
-#else
-    result = (unsigned char)getc (bash_input.location.file);
-#endif /* !NO_READ_RESTART_ON_SIGNAL */
+    {
+      if (interactive)
+       interrupt_immediately++;
+      result = getc_with_restart (bash_input.location.file);
+      if (interactive)
+       interrupt_immediately--;
+    }
   return (result);
 }
 
@@ -963,17 +1359,13 @@ static int
 yy_stream_unget (c)
      int c;
 {
-#if defined (NO_READ_RESTART_ON_SIGNAL)
   return (ungetc_with_restart (c, bash_input.location.file));
-#else
-  return (ungetc (c, bash_input.location.file));
-#endif
 }
 
 void
 with_input_from_stream (stream, name)
      FILE *stream;
-     char *name;
+     const char *name;
 {
   INPUT_STREAM location;
 
@@ -993,9 +1385,16 @@ typedef struct stream_saver {
 /* The globally known line number. */
 int line_number = 0;
 
+#if defined (COND_COMMAND)
+static int cond_lineno;
+static int cond_token;
+#endif
+
 STREAM_SAVER *stream_list = (STREAM_SAVER *)NULL;
 
-push_stream ()
+void
+push_stream (reset_lineno)
+     int reset_lineno;
 {
   STREAM_SAVER *saver = (STREAM_SAVER *)xmalloc (sizeof (STREAM_SAVER));
 
@@ -1005,23 +1404,22 @@ push_stream ()
   saver->bstream = (BUFFERED_STREAM *)NULL;
   /* If we have a buffered stream, clear out buffers[fd]. */
   if (bash_input.type == st_bstream && bash_input.location.buffered_fd >= 0)
-    {
-      saver->bstream = buffers[bash_input.location.buffered_fd];
-      buffers[bash_input.location.buffered_fd] = (BUFFERED_STREAM *)NULL;
-    }
+    saver->bstream = set_buffered_stream (bash_input.location.buffered_fd,
+                                         (BUFFERED_STREAM *)NULL);
 #endif /* BUFFERED_INPUT */
 
   saver->line = line_number;
   bash_input.name = (char *)NULL;
   saver->next = stream_list;
   stream_list = saver;
-  EOF_Reached = line_number = 0;
+  EOF_Reached = 0;
+  if (reset_lineno)
+    line_number = 0;
 }
 
+void
 pop_stream ()
 {
-  int temp;
-
   if (!stream_list)
     EOF_Reached = 1;
   else
@@ -1043,18 +1441,20 @@ pop_stream ()
         save stack, update the buffered fd to the new file descriptor and
         re-establish the buffer <-> bash_input fd correspondence. */
       if (bash_input.type == st_bstream && bash_input.location.buffered_fd >= 0)
-        {
-          if (bash_input_fd_changed)
+       {
+         if (bash_input_fd_changed)
            {
              bash_input_fd_changed = 0;
              if (default_buffered_input >= 0)
                {
                  bash_input.location.buffered_fd = default_buffered_input;
                  saver->bstream->b_fd = default_buffered_input;
+                 SET_CLOSE_ON_EXEC (default_buffered_input);
                }
            }
-         buffers[bash_input.location.buffered_fd] = saver->bstream;
-        }
+         /* XXX could free buffered stream returned as result here. */
+         set_buffered_stream (bash_input.location.buffered_fd, saver->bstream);
+       }
 #endif /* BUFFERED_INPUT */
 
       line_number = saver->line;
@@ -1067,36 +1467,59 @@ pop_stream ()
 /* Return 1 if a stream of type TYPE is saved on the stack. */
 int
 stream_on_stack (type)
-     int type;
+     enum stream_type type;
 {
   register STREAM_SAVER *s;
+
   for (s = stream_list; s; s = s->next)
     if (s->bash_input.type == type)
       return 1;
   return 0;
 }
 
-\f
+/* Save the current token state and return it in a malloced array. */
+int *
+save_token_state ()
+{
+  int *ret;
+
+  ret = (int *)xmalloc (3 * sizeof (int));
+  ret[0] = last_read_token;
+  ret[1] = token_before_that;
+  ret[2] = two_tokens_ago;
+  return ret;
+}
+
+void
+restore_token_state (ts)
+     int *ts;
+{
+  if (ts == 0)
+    return;
+  last_read_token = ts[0];
+  token_before_that = ts[1];
+  two_tokens_ago = ts[2];
+}
+
 /*
  * This is used to inhibit alias expansion and reserved word recognition
- * inside case statement pattern lists.  A `case statement pattern list'
- * is:
+ * inside case statement pattern lists.  A `case statement pattern list' is:
+ *
  *     everything between the `in' in a `case word in' and the next ')'
  *     or `esac'
  *     everything between a `;;' and the next `)' or `esac'
  */
-static int in_case_pattern_list = 0;
 
-#if defined (ALIAS)
+#if defined (ALIAS) || defined (DPAREN_ARITHMETIC)
+
+#define END_OF_ALIAS 0
+
 /*
  * Pseudo-global variables used in implementing token-wise alias expansion.
  */
 
-static int expand_next_token = 0;
-
 /*
- * Pushing and popping strings.  This works together with shell_getc to 
+ * Pushing and popping strings.  This works together with shell_getc to
  * implement alias expansion on a per-token basis.
  */
 
@@ -1104,13 +1527,14 @@ typedef struct string_saver {
   struct string_saver *next;
   int expand_alias;  /* Value to set expand_alias to when string is popped. */
   char *saved_line;
+#if defined (ALIAS)
+  alias_t *expander;   /* alias that caused this line to be pushed. */
+#endif
   int saved_line_size, saved_line_index, saved_line_terminator;
 } STRING_SAVER;
 
 STRING_SAVER *pushed_string_list = (STRING_SAVER *)NULL;
 
-static void save_expansion ();
-
 /*
  * Push the current shell_input_line onto a stack of such lines and make S
  * the current input.  Used when expanding aliases.  EXPAND is used to set
@@ -1120,28 +1544,38 @@ static void save_expansion ();
  * into S; it is saved and used to prevent infinite recursive expansion.
  */
 static void
-push_string (s, expand, token)
+push_string (s, expand, ap)
      char *s;
      int expand;
-     char *token;
+     alias_t *ap;
 {
-  STRING_SAVER *temp = (STRING_SAVER *) xmalloc (sizeof (STRING_SAVER));
+  STRING_SAVER *temp = (STRING_SAVER *)xmalloc (sizeof (STRING_SAVER));
 
   temp->expand_alias = expand;
   temp->saved_line = shell_input_line;
   temp->saved_line_size = shell_input_line_size;
   temp->saved_line_index = shell_input_line_index;
   temp->saved_line_terminator = shell_input_line_terminator;
-  temp->next = pushed_string_list;
+#if defined (ALIAS)
+  temp->expander = ap;
+#endif
+  temp->next = pushed_string_list;
   pushed_string_list = temp;
 
-  save_expansion (token);
+#if defined (ALIAS)
+  if (ap)
+    ap->flags |= AL_BEINGEXPANDED;
+#endif
 
   shell_input_line = s;
   shell_input_line_size = strlen (s);
   shell_input_line_index = 0;
   shell_input_line_terminator = '\0';
-  expand_next_token = 0;
+#if 0
+  parser_state &= ~PST_ALEXPNEXT;      /* XXX */
+#endif
+
+  set_line_mbstate ();
 }
 
 /*
@@ -1160,102 +1594,54 @@ pop_string ()
   shell_input_line_index = pushed_string_list->saved_line_index;
   shell_input_line_size = pushed_string_list->saved_line_size;
   shell_input_line_terminator = pushed_string_list->saved_line_terminator;
-  expand_next_token = pushed_string_list->expand_alias;
+
+  if (pushed_string_list->expand_alias)
+    parser_state |= PST_ALEXPNEXT;
+  else
+    parser_state &= ~PST_ALEXPNEXT;
 
   t = pushed_string_list;
   pushed_string_list = pushed_string_list->next;
-  free((char *)t);
+
+#if defined (ALIAS)
+  if (t->expander)
+    t->expander->flags &= ~AL_BEINGEXPANDED;
+#endif
+
+  free ((char *)t);
+
+  set_line_mbstate ();
 }
 
 static void
 free_string_list ()
 {
-  register STRING_SAVER *t = pushed_string_list, *t1;
+  register STRING_SAVER *t, *t1;
 
-  while (t)
+  for (t = pushed_string_list; t; )
     {
       t1 = t->next;
       FREE (t->saved_line);
+#if defined (ALIAS)
+      if (t->expander)
+       t->expander->flags &= ~AL_BEINGEXPANDED;
+#endif
       free ((char *)t);
       t = t1;
     }
   pushed_string_list = (STRING_SAVER *)NULL;
 }
 
-/* This is a stack to save the values of all tokens for which alias
-   expansion has been performed during the current call to read_token ().
-   It is used to prevent alias expansion loops:
-
-      alias foo=bar
-      alias bar=baz
-      alias baz=foo
-
-   Ideally this would be taken care of by push and pop string, but because
-   of when strings are popped the stack will not contain the correct
-   strings to test against.  (The popping is done in shell_getc, so that when
-   the current string is exhausted, shell_getc can simply pop that string off
-   the stack, restore the previous string, and continue with the character
-   following the token whose expansion was originally pushed on the stack.)
-
-   What we really want is a record of all tokens that have been expanded for
-   aliases during the `current' call to read_token().  This does that, at the
-   cost of being somewhat special-purpose (OK, OK vile and unclean). */
-
-typedef struct _exp_saver {
-      struct _exp_saver *next;
-      char *saved_token;
-} EXPANSION_SAVER;
-
-EXPANSION_SAVER *expanded_token_stack = (EXPANSION_SAVER *)NULL;
-
-static void
-save_expansion (s)
-     char *s;
-{
-  EXPANSION_SAVER *t;
-
-  t = (EXPANSION_SAVER *) xmalloc (sizeof (EXPANSION_SAVER));
-  t->saved_token = savestring (s);
-  t->next = expanded_token_stack;
-  expanded_token_stack = t;
-}
-
-/* Return 1 if TOKEN has already been expanded in the current `stack' of
-   expansions.  If it has been expanded already, it will appear as the value
-   of saved_token for some entry in the stack of expansions created for the
-   current token being expanded. */
-static int
-token_has_been_expanded (token)
-     char *token;
-{
-  register EXPANSION_SAVER *t = expanded_token_stack;
-
-  while (t)
-    {
-      if (STREQ (token, t->saved_token))
-       return (1);
-      t = t->next;
-    }
-  return (0);
-}
+#endif /* ALIAS || DPAREN_ARITHMETIC */
 
-static void
-free_expansion_stack ()
+void
+free_pushed_string_input ()
 {
-  register EXPANSION_SAVER *t = expanded_token_stack, *t1;
-
-  while (t)
-    {
-      t1 = t->next;
-      free (t->saved_token);
-      free (t);
-      t = t1;
-    }
-  expanded_token_stack = (EXPANSION_SAVER *)NULL;
+#if defined (ALIAS) || defined (DPAREN_ARITHMETIC)
+  free_string_list ();
+#endif
 }
 
-#endif /* ALIAS */
-\f
 /* Return a line of text, taken from wherever yylex () reads input.
    If there is no more input, then we return NULL.  If REMOVE_QUOTED_NEWLINE
    is non-zero, we remove unquoted \<newline> pairs.  This is used by
@@ -1268,31 +1654,42 @@ read_a_line (remove_quoted_newline)
   static int buffer_size = 0;
   int indx = 0, c, peekc, pass_next;
 
+#if defined (READLINE)
+  if (no_line_editing && SHOULD_PROMPT ())
+#else
+  if (SHOULD_PROMPT ())
+#endif
+    print_prompt ();
+
   pass_next = 0;
   while (1)
     {
-      c = yy_getc ();
-
       /* Allow immediate exit if interrupted during input. */
       QUIT;
 
+      c = yy_getc ();
+
+      /* Ignore null bytes in input. */
       if (c == 0)
-       continue;
+       {
+#if 0
+         internal_warning ("read_a_line: ignored null byte in input");
+#endif
+         continue;
+       }
 
       /* If there is no more input, then we return NULL. */
       if (c == EOF)
        {
+         if (interactive && bash_input.type == st_stream)
+           clearerr (stdin);
          if (indx == 0)
            return ((char *)NULL);
          c = '\n';
        }
 
       /* `+2' in case the final character in the buffer is a newline. */
-      if (indx + 2 > buffer_size)
-       if (!buffer_size)
-         line_buffer = xmalloc (buffer_size = 128);
-       else
-         line_buffer = xrealloc (line_buffer, buffer_size += 128);
+      RESIZE_MALLOCED_BUFFER (line_buffer, indx, 2, buffer_size, 128);
 
       /* IF REMOVE_QUOTED_NEWLINES is non-zero, we are reading a
         here document with an unquoted delimiter.  In this case,
@@ -1301,15 +1698,18 @@ read_a_line (remove_quoted_newline)
         need to treat the backslash specially only if a backslash
         quoting a backslash-newline pair appears in the line. */
       if (pass_next)
-        {
+       {
          line_buffer[indx++] = c;
          pass_next = 0;
-        }
+       }
       else if (c == '\\' && remove_quoted_newline)
        {
          peekc = yy_getc ();
          if (peekc == '\n')
-           continue;   /* Make the unquoted \<newline> pair disappear. */
+           {
+             line_number++;
+             continue; /* Make the unquoted \<newline> pair disappear. */
+           }
          else
            {
              yy_ungetc (peekc);
@@ -1338,11 +1738,11 @@ read_secondary_line (remove_quoted_newline)
      int remove_quoted_newline;
 {
   prompt_string_pointer = &ps2_prompt;
-  prompt_again ();
+  if (SHOULD_PROMPT())
+    prompt_again ();
   return (read_a_line (remove_quoted_newline));
 }
 
-\f
 /* **************************************************************** */
 /*                                                                 */
 /*                             YYLEX ()                            */
@@ -1369,39 +1769,134 @@ STRING_INT_ALIST word_token_alist[] = {
   { "done", DONE },
   { "in", IN },
   { "function", FUNCTION },
+#if defined (COMMAND_TIMING)
+  { "time", TIME },
+#endif
   { "{", '{' },
   { "}", '}' },
   { "!", BANG },
+#if defined (COND_COMMAND)
+  { "[[", COND_START },
+  { "]]", COND_END },
+#endif
+  { (char *)NULL, 0}
+};
+
+/* other tokens that can be returned by read_token() */
+STRING_INT_ALIST other_token_alist[] = {
+  /* Multiple-character tokens with special values */
+  { "-p", TIMEOPT },
+  { "&&", AND_AND },
+  { "||", OR_OR },
+  { ">>", GREATER_GREATER },
+  { "<<", LESS_LESS },
+  { "<&", LESS_AND },
+  { ">&", GREATER_AND },
+  { ";;", SEMI_SEMI },
+  { "<<-", LESS_LESS_MINUS },
+  { "<<<", LESS_LESS_LESS },
+  { "&>", AND_GREATER },
+  { "<>", LESS_GREATER },
+  { ">|", GREATER_BAR },
+  { "EOF", yacc_EOF },
+  /* Tokens whose value is the character itself */
+  { ">", '>' },
+  { "<", '<' },
+  { "-", '-' },
+  { "{", '{' },
+  { "}", '}' },
+  { ";", ';' },
+  { "(", '(' },
+  { ")", ')' },
+  { "|", '|' },
+  { "&", '&' },
+  { "newline", '\n' },
   { (char *)NULL, 0}
 };
 
+/* others not listed here:
+       WORD                    look at yylval.word
+       ASSIGNMENT_WORD         look at yylval.word
+       NUMBER                  look at yylval.number
+       ARITH_CMD               look at yylval.word_list
+       ARITH_FOR_EXPRS         look at yylval.word_list
+       COND_CMD                look at yylval.command
+*/
+
+/* These are used by read_token_word, but appear up here so that shell_getc
+   can use them to decide when to add otherwise blank lines to the history. */
+
+/* The primary delimiter stack. */
+struct dstack dstack = {  (char *)NULL, 0, 0 };
+
+/* A temporary delimiter stack to be used when decoding prompt strings.
+   This is needed because command substitutions in prompt strings (e.g., PS2)
+   can screw up the parser's quoting state. */
+static struct dstack temp_dstack = { (char *)NULL, 0, 0 };
+
+/* Macro for accessing the top delimiter on the stack.  Returns the
+   delimiter or zero if none. */
+#define current_delimiter(ds) \
+  (ds.delimiter_depth ? ds.delimiters[ds.delimiter_depth - 1] : 0)
+
+#define push_delimiter(ds, character) \
+  do \
+    { \
+      if (ds.delimiter_depth + 2 > ds.delimiter_space) \
+       ds.delimiters = (char *)xrealloc \
+         (ds.delimiters, (ds.delimiter_space += 10) * sizeof (char)); \
+      ds.delimiters[ds.delimiter_depth] = character; \
+      ds.delimiter_depth++; \
+    } \
+  while (0)
+
+#define pop_delimiter(ds)      ds.delimiter_depth--
+
 /* Return the next shell input character.  This always reads characters
    from shell_input_line; when that line is exhausted, it is time to
    read the next line.  This is called by read_token when the shell is
    processing normal command input. */
+
+/* This implements one-character lookahead/lookbehind across physical input
+   lines, to avoid something being lost because it's pushed back with
+   shell_ungetc when we're at the start of a line. */
+static int eol_ungetc_lookahead = 0;
+
 static int
 shell_getc (remove_quoted_newline)
      int remove_quoted_newline;
 {
+  register int i;
   int c;
+  unsigned char uc;
+  static int mustpop = 0;
 
   QUIT;
 
-#if defined (ALIAS)
+  if (sigwinch_received)
+    {
+      sigwinch_received = 0;
+      get_new_window_size (0, (int *)0, (int *)0);
+    }
+      
+  if (eol_ungetc_lookahead)
+    {
+      c = eol_ungetc_lookahead;
+      eol_ungetc_lookahead = 0;
+      return (c);
+    }
+
+#if defined (ALIAS) || defined (DPAREN_ARITHMETIC)
   /* If shell_input_line[shell_input_line_index] == 0, but there is
      something on the pushed list of strings, then we don't want to go
      off and get another line.  We let the code down below handle it. */
 
   if (!shell_input_line || ((!shell_input_line[shell_input_line_index]) &&
                            (pushed_string_list == (STRING_SAVER *)NULL)))
-#else /* !ALIAS */
+#else /* !ALIAS && !DPAREN_ARITHMETIC */
   if (!shell_input_line || !shell_input_line[shell_input_line_index])
-#endif /* !ALIAS */
+#endif /* !ALIAS && !DPAREN_ARITHMETIC */
     {
-      register int i, l;
-
-      restart_read_next_line:
-
       line_number++;
 
     restart_read:
@@ -1412,41 +1907,56 @@ shell_getc (remove_quoted_newline)
       i = 0;
       shell_input_line_terminator = 0;
 
+      /* If the shell is interatctive, but not currently printing a prompt
+         (interactive_shell && interactive == 0), we don't want to print
+         notifies or cleanup the jobs -- we want to defer it until we do
+         print the next prompt. */
+      if (interactive_shell == 0 || SHOULD_PROMPT())
+       {
 #if defined (JOB_CONTROL)
       /* This can cause a problem when reading a command as the result
         of a trap, when the trap is called from flush_child.  This call
         had better not cause jobs to disappear from the job table in
         that case, or we will have big trouble. */
-      notify_and_cleanup ();
+         notify_and_cleanup ();
 #else /* !JOB_CONTROL */
-      cleanup_dead_jobs ();
+         cleanup_dead_jobs ();
 #endif /* !JOB_CONTROL */
+       }
 
 #if defined (READLINE)
-      if (interactive && bash_input.type != st_string && no_line_editing)
+      if (no_line_editing && SHOULD_PROMPT())
 #else
-      if (interactive && bash_input.type != st_string)
+      if (SHOULD_PROMPT())
 #endif
        print_prompt ();
 
       if (bash_input.type == st_stream)
        clearerr (stdin);
 
-      while (c = yy_getc ())
+      while (1)
        {
+         c = yy_getc ();
+
          /* Allow immediate exit if interrupted during input. */
          QUIT;
 
-         if (i + 2 > shell_input_line_size)
-           shell_input_line =
-             xrealloc (shell_input_line, shell_input_line_size += 256);
+         if (c == '\0')
+           {
+#if 0
+             internal_warning ("shell_getc: ignored null byte in input");
+#endif
+             continue;
+           }
+
+         RESIZE_MALLOCED_BUFFER (shell_input_line, i, 2, shell_input_line_size, 256);
 
          if (c == EOF)
            {
              if (bash_input.type == st_stream)
                clearerr (stdin);
 
-             if (!i)
+             if (i == 0)
                shell_input_line_terminator = EOF;
 
              shell_input_line[i] = '\0';
@@ -1462,28 +1972,67 @@ shell_getc (remove_quoted_newline)
              break;
            }
        }
+
       shell_input_line_index = 0;
       shell_input_line_len = i;                /* == strlen (shell_input_line) */
 
+      set_line_mbstate ();
+
 #if defined (HISTORY)
-      if (interactive && shell_input_line && shell_input_line[0])
+      if (remember_on_history && shell_input_line && shell_input_line[0])
        {
          char *expansions;
-
+#  if defined (BANG_HISTORY)
+         int old_hist;
+
+         /* If the current delimiter is a single quote, we should not be
+            performing history expansion, even if we're on a different
+            line from the original single quote. */
+         old_hist = history_expansion_inhibited;
+         if (current_delimiter (dstack) == '\'')
+           history_expansion_inhibited = 1;
+#  endif
          expansions = pre_process_line (shell_input_line, 1, 1);
-
-         free (shell_input_line);
-         shell_input_line = expansions;
-         shell_input_line_len = shell_input_line ?
-                                strlen (shell_input_line) :
-                                0;
-         if (!shell_input_line_len)
-           current_command_line_count--;
-
-         /* We have to force the xrealloc below because we don't know the
-            true allocated size of shell_input_line anymore. */
-         shell_input_line_size = shell_input_line_len;
+#  if defined (BANG_HISTORY)
+         history_expansion_inhibited = old_hist;
+#  endif
+         if (expansions != shell_input_line)
+           {
+             free (shell_input_line);
+             shell_input_line = expansions;
+             shell_input_line_len = shell_input_line ?
+                                       strlen (shell_input_line) : 0;
+             if (!shell_input_line_len)
+               current_command_line_count--;
+
+             /* We have to force the xrealloc below because we don't know
+                the true allocated size of shell_input_line anymore. */
+             shell_input_line_size = shell_input_line_len;
+
+             set_line_mbstate ();
+           }
+       }
+      /* Try to do something intelligent with blank lines encountered while
+        entering multi-line commands.  XXX - this is grotesque */
+      else if (remember_on_history && shell_input_line &&
+              shell_input_line[0] == '\0' &&
+              current_command_line_count > 1)
+       {
+         if (current_delimiter (dstack))
+           /* We know shell_input_line[0] == 0 and we're reading some sort of
+              quoted string.  This means we've got a line consisting of only
+              a newline in a quoted string.  We want to make sure this line
+              gets added to the history. */
+           maybe_add_history (shell_input_line);
+         else
+           {
+             char *hdcs;
+             hdcs = history_delimiting_chars ();
+             if (hdcs && hdcs[0] == ';')
+               maybe_add_history (shell_input_line);
+           }
        }
+
 #endif /* HISTORY */
 
       if (shell_input_line)
@@ -1498,7 +2047,8 @@ shell_getc (remove_quoted_newline)
        {
          shell_input_line_size = 0;
          prompt_string_pointer = &current_prompt_string;
-         prompt_again ();
+         if (SHOULD_PROMPT ())
+           prompt_again ();
          goto restart_read;
        }
 
@@ -1506,65 +2056,78 @@ shell_getc (remove_quoted_newline)
         not already end in an EOF character.  */
       if (shell_input_line_terminator != EOF)
        {
-         l = shell_input_line_len;     /* was a call to strlen */
-
-         if (l + 3 > shell_input_line_size)
-           shell_input_line = xrealloc (shell_input_line,
+         if (shell_input_line_len + 3 > shell_input_line_size)
+           shell_input_line = (char *)xrealloc (shell_input_line,
                                        1 + (shell_input_line_size += 2));
 
-         shell_input_line[l] = '\n';
-         shell_input_line[l + 1] = '\0';
+         shell_input_line[shell_input_line_len] = '\n';
+         shell_input_line[shell_input_line_len + 1] = '\0';
+
+         set_line_mbstate ();
        }
     }
-  
-  c = shell_input_line[shell_input_line_index];
 
-  if (c)
-    shell_input_line_index++;
+  uc = shell_input_line[shell_input_line_index];
 
-  if (c == '\\' && remove_quoted_newline &&
-      shell_input_line[shell_input_line_index] == '\n')
-    {
-       prompt_again ();
-       goto restart_read_next_line;
-    }
+  if (uc)
+    shell_input_line_index++;
 
-#if defined (ALIAS)
-  /* If C is NULL, we have reached the end of the current input string.  If
+#if defined (ALIAS) || defined (DPAREN_ARITHMETIC)
+  /* If UC is NULL, we have reached the end of the current input string.  If
      pushed_string_list is non-empty, it's time to pop to the previous string
      because we have fully consumed the result of the last alias expansion.
      Do it transparently; just return the next character of the string popped
      to. */
-  if (!c && (pushed_string_list != (STRING_SAVER *)NULL))
+  if (!uc && (pushed_string_list != (STRING_SAVER *)NULL))
     {
       pop_string ();
-      c = shell_input_line[shell_input_line_index];
-      if (c)
+      uc = shell_input_line[shell_input_line_index];
+      if (uc)
        shell_input_line_index++;
     }
-#endif /* ALIAS */
+#endif /* ALIAS || DPAREN_ARITHMETIC */
 
-  if (!c && shell_input_line_terminator == EOF)
+  if MBTEST(uc == '\\' && remove_quoted_newline && shell_input_line[shell_input_line_index] == '\n')
     {
-      if (shell_input_line_index != 0)
-       return ('\n');
-      else
-       return (EOF);
+       if (SHOULD_PROMPT ())
+         prompt_again ();
+       line_number++;
+       goto restart_read;
     }
 
-  return ((unsigned char)c);
+  if (!uc && shell_input_line_terminator == EOF)
+    return ((shell_input_line_index != 0) ? '\n' : EOF);
+
+  return (uc);
 }
 
-/* Put C back into the input for the shell. */
+/* Put C back into the input for the shell.  This might need changes for
+   HANDLE_MULTIBYTE around EOLs.  Since we (currently) never push back a
+   character different than we read, shell_input_line_property doesn't need
+   to change when manipulating shell_input_line.  The define for
+   last_shell_getc_is_singlebyte should take care of it, though. */
 static void
 shell_ungetc (c)
      int c;
 {
   if (shell_input_line && shell_input_line_index)
     shell_input_line[--shell_input_line_index] = c;
+  else
+    eol_ungetc_lookahead = c;
+}
+
+#ifdef INCLUDE_UNUSED
+/* Back the input pointer up by one, effectively `ungetting' a character. */
+static void
+shell_ungetchar ()
+{
+  if (shell_input_line && shell_input_line_index)
+    shell_input_line_index--;
 }
+#endif
 
-/* Discard input until CHARACTER is seen. */
+/* Discard input until CHARACTER is seen, then push that character back
+   onto the input stream. */
 static void
 discard_until (character)
      int character;
@@ -1577,44 +2140,36 @@ discard_until (character)
   if (c != EOF)
     shell_ungetc (c);
 }
-\f
-/* Place to remember the token.  We try to keep the buffer
-   at a reasonable size, but it can grow. */
-static char *token = (char *)NULL;
-
-/* Current size of the token buffer. */
-static int token_buffer_size = 0;
 
 void
 execute_prompt_command (command)
      char *command;
 {
-  Function *temp_last, *temp_this;
   char *last_lastarg;
-  int temp_exit_value, temp_eof_encountered;
+  sh_parser_state_t ps;
 
-  temp_last = last_shell_builtin;
-  temp_this = this_shell_builtin;
-  temp_exit_value = last_command_exit_value;
-  temp_eof_encountered = eof_encountered;
+  save_parser_state (&ps);
   last_lastarg = get_string_value ("_");
   if (last_lastarg)
     last_lastarg = savestring (last_lastarg);
 
-  parse_and_execute (savestring (command), "PROMPT_COMMAND", 0);
+  parse_and_execute (savestring (command), "PROMPT_COMMAND", SEVAL_NONINT|SEVAL_NOHIST);
 
-  last_shell_builtin = temp_last;
-  this_shell_builtin = temp_this;
-  last_command_exit_value = temp_exit_value;
-  eof_encountered = temp_eof_encountered;
-
-  bind_variable ("_", last_lastarg);
+  restore_parser_state (&ps);
+  bind_variable ("_", last_lastarg, 0);
   FREE (last_lastarg);
 
-  if (token_to_read == '\n')
+  if (token_to_read == '\n')   /* reset_parser was called */
     token_to_read = 0;
 }
 
+/* Place to remember the token.  We try to keep the buffer
+   at a reasonable size, but it can grow. */
+static char *token = (char *)NULL;
+
+/* Current size of the token buffer. */
+static int token_buffer_size;
+
 /* Command to read_token () explaining what we want it to do. */
 #define READ 0
 #define RESET 1
@@ -1623,10 +2178,10 @@ execute_prompt_command (command)
 
 /* Function for yyparse to call.  yylex keeps track of
    the last two tokens read, and calls read_token.  */
-
+static int
 yylex ()
 {
-  if (interactive && (!current_token || current_token == '\n'))
+  if (interactive && (current_token == 0 || current_token == '\n'))
     {
       /* Before we print a prompt, we might have to check mailboxes.
         We do this only if it is time to do so. Notice that only here
@@ -1640,39 +2195,20 @@ yylex ()
 
       /* Avoid printing a prompt if we're not going to read anything, e.g.
         after resetting the parser with read_token (RESET). */
-      if (token_to_read == 0 && interactive)
+      if (token_to_read == 0 && SHOULD_PROMPT ())
        prompt_again ();
     }
 
+  two_tokens_ago = token_before_that;
   token_before_that = last_read_token;
   last_read_token = current_token;
   current_token = read_token (READ);
   return (current_token);
 }
 
-/* Called from shell.c when Control-C is typed at top level.  Or
-   by the error rule at top level. */
-reset_parser ()
-{
-  read_token (RESET);
-}
-  
 /* When non-zero, we have read the required tokens
    which allow ESAC to be the next one read. */
-static int allow_esac_as_next = 0;
-
-/* When non-zero, accept single '{' as a token itself. */
-static int allow_open_brace = 0;
-
-/* DELIMITERS is a stack of the nested delimiters that we have
-   encountered so far. */
-static char *delimiters = (char *)NULL;
-
-/* Offset into the stack of delimiters. */
-int delimiter_depth = 0;
-
-/* How many slots are allocated to DELIMITERS. */
-static int delimiter_space = 0;
+static int esacs_needed_count;
 
 void
 gather_here_documents ()
@@ -1685,32 +2221,16 @@ gather_here_documents ()
     }
 }
 
-/* Macro for accessing the top delimiter on the stack.  Returns the
-   delimiter or zero if none. */
-#define current_delimiter() \
-  (delimiter_depth ? delimiters[delimiter_depth - 1] : 0)
-
-#define push_delimiter(character) \
-  do \
-    { \
-      if (delimiter_depth + 2 > delimiter_space) \
-       delimiters = xrealloc \
-         (delimiters, (delimiter_space += 10) * sizeof (char)); \
-      delimiters[delimiter_depth] = character; \
-      delimiter_depth++; \
-    } \
-  while (0)
-
 /* When non-zero, an open-brace used to create a group is awaiting a close
    brace partner. */
-static int open_brace_awaiting_satisfaction = 0;
+static int open_brace_count;
 
 #define command_token_position(token) \
   (((token) == ASSIGNMENT_WORD) || \
    ((token) != SEMI_SEMI && reserved_word_acceptable(token)))
 
-#define assignment_acceptable(token) command_token_position(token) && \
-                                       (in_case_pattern_list == 0)
+#define assignment_acceptable(token) \
+  (command_token_position(token) && ((parser_state & PST_CASEPAT) == 0))
 
 /* Check to see if TOKEN is a reserved word and return the token
    value if it is. */
@@ -1723,124 +2243,334 @@ static int open_brace_awaiting_satisfaction = 0;
        for (i = 0; word_token_alist[i].word != (char *)NULL; i++) \
          if (STREQ (tok, word_token_alist[i].word)) \
            { \
-             if (in_case_pattern_list && (word_token_alist[i].token != ESAC)) \
+             if ((parser_state & PST_CASEPAT) && (word_token_alist[i].token != ESAC)) \
+               break; \
+             if (word_token_alist[i].token == TIME && time_command_acceptable () == 0) \
                break; \
-\
              if (word_token_alist[i].token == ESAC) \
-               in_case_pattern_list = 0; \
-\
-             if (word_token_alist[i].token == '{') \
-               open_brace_awaiting_satisfaction++; \
-\
-             if (word_token_alist[i].token == '}' && open_brace_awaiting_satisfaction) \
-               open_brace_awaiting_satisfaction--; \
-\
+               parser_state &= ~(PST_CASEPAT|PST_CASESTMT); \
+             else if (word_token_alist[i].token == CASE) \
+               parser_state |= PST_CASESTMT; \
+             else if (word_token_alist[i].token == COND_END) \
+               parser_state &= ~(PST_CONDCMD|PST_CONDEXPR); \
+             else if (word_token_alist[i].token == COND_START) \
+               parser_state |= PST_CONDCMD; \
+             else if (word_token_alist[i].token == '{') \
+               open_brace_count++; \
+             else if (word_token_alist[i].token == '}' && open_brace_count) \
+               open_brace_count--; \
              return (word_token_alist[i].token); \
            } \
       } \
   } while (0)
 
-/* Read the next token.  Command can be READ (normal operation) or 
-   RESET (to normalize state). */
+#if defined (ALIAS)
+
+    /* OK, we have a token.  Let's try to alias expand it, if (and only if)
+       it's eligible.
+
+       It is eligible for expansion if EXPAND_ALIASES is set, and
+       the token is unquoted and the last token read was a command
+       separator (or expand_next_token is set), and we are currently
+       processing an alias (pushed_string_list is non-empty) and this
+       token is not the same as the current or any previously
+       processed alias.
+
+       Special cases that disqualify:
+        In a pattern list in a case statement (parser_state & PST_CASEPAT). */
+
+static char *
+mk_alexpansion (s)
+     char *s;
+{
+  int l;
+  char *r;
+
+  l = strlen (s);
+  r = xmalloc (l + 2);
+  strcpy (r, s);
+  if (r[l -1] != ' ')
+    r[l++] = ' ';
+  r[l] = '\0';
+  return r;
+}
+
 static int
-read_token (command)
-     int command;
+alias_expand_token (tokstr)
+     char *tokstr;
 {
-  int character;               /* Current character. */
-  int peek_char;               /* Temporary look-ahead character. */
-  int result;                  /* The thing to return. */
-  WORD_DESC *the_word;         /* The value for YYLVAL when a WORD is read. */
+  char *expanded;
+  alias_t *ap;
 
-  if (token_buffer_size < TOKEN_DEFAULT_GROW_SIZE)
+  if (((parser_state & PST_ALEXPNEXT) || command_token_position (last_read_token)) &&
+       (parser_state & PST_CASEPAT) == 0)
     {
-      FREE (token);
-      token = xmalloc (token_buffer_size = TOKEN_DEFAULT_GROW_SIZE);
+      ap = find_alias (tokstr);
+
+      /* Currently expanding this token. */
+      if (ap && (ap->flags & AL_BEINGEXPANDED))
+       return (NO_EXPANSION);
+
+      /* mk_alexpansion puts an extra space on the end of the alias expansion,
+         so the lookahead by the parser works right.  If this gets changed,
+         make sure the code in shell_getc that deals with reaching the end of
+         an expanded alias is changed with it. */
+      expanded = ap ? mk_alexpansion (ap->value) : (char *)NULL;
+
+      if (expanded)
+       {
+         push_string (expanded, ap->flags & AL_EXPANDNEXT, ap);
+         return (RE_READ_TOKEN);
+       }
+      else
+       /* This is an eligible token that does not have an expansion. */
+       return (NO_EXPANSION);
     }
+  return (NO_EXPANSION);
+}
+#endif /* ALIAS */
 
-  if (command == RESET)
+static int
+time_command_acceptable ()
+{
+#if defined (COMMAND_TIMING)
+  switch (last_read_token)
     {
-      delimiter_depth = 0;     /* No delimiters found so far. */
-      open_brace_awaiting_satisfaction = 0;
-      in_case_pattern_list = 0;
+    case 0:
+    case ';':
+    case '\n':
+    case AND_AND:
+    case OR_OR:
+    case '&':
+    case DO:
+    case THEN:
+    case ELSE:
+    case '{':          /* } */
+    case '(':          /* ) */
+      return 1;
+    default:
+      return 0;
+    }
+#else
+  return 0;
+#endif /* COMMAND_TIMING */
+}
 
-#if defined (ALIAS)
-      if (pushed_string_list)
+/* Handle special cases of token recognition:
+       IN is recognized if the last token was WORD and the token
+       before that was FOR or CASE or SELECT.
+
+       DO is recognized if the last token was WORD and the token
+       before that was FOR or SELECT.
+
+       ESAC is recognized if the last token caused `esacs_needed_count'
+       to be set
+
+       `{' is recognized if the last token as WORD and the token
+       before that was FUNCTION, or if we just parsed an arithmetic
+       `for' command.
+
+       `}' is recognized if there is an unclosed `{' present.
+
+       `-p' is returned as TIMEOPT if the last read token was TIME.
+
+       ']]' is returned as COND_END if the parser is currently parsing
+       a conditional expression ((parser_state & PST_CONDEXPR) != 0)
+
+       `time' is returned as TIME if and only if it is immediately
+       preceded by one of `;', `\n', `||', `&&', or `&'.
+*/
+
+static int
+special_case_tokens (tokstr)
+     char *tokstr;
+{
+  if ((last_read_token == WORD) &&
+#if defined (SELECT_COMMAND)
+      ((token_before_that == FOR) || (token_before_that == CASE) || (token_before_that == SELECT)) &&
+#else
+      ((token_before_that == FOR) || (token_before_that == CASE)) &&
+#endif
+      (tokstr[0] == 'i' && tokstr[1] == 'n' && tokstr[2] == 0))
+    {
+      if (token_before_that == CASE)
        {
-         free_string_list ();
-         pushed_string_list = (STRING_SAVER *)NULL;
+         parser_state |= PST_CASEPAT;
+         esacs_needed_count++;
        }
+      return (IN);
+    }
 
-      if (expanded_token_stack)
+  if (last_read_token == WORD &&
+#if defined (SELECT_COMMAND)
+      (token_before_that == FOR || token_before_that == SELECT) &&
+#else
+      (token_before_that == FOR) &&
+#endif
+      (tokstr[0] == 'd' && tokstr[1] == 'o' && tokstr[2] == '\0'))
+    return (DO);
+
+  /* Ditto for ESAC in the CASE case.
+     Specifically, this handles "case word in esac", which is a legal
+     construct, certainly because someone will pass an empty arg to the
+     case construct, and we don't want it to barf.  Of course, we should
+     insist that the case construct has at least one pattern in it, but
+     the designers disagree. */
+  if (esacs_needed_count)
+    {
+      esacs_needed_count--;
+      if (STREQ (tokstr, "esac"))
        {
-         free_expansion_stack ();
-         expanded_token_stack = (EXPANSION_SAVER *)NULL;
+         parser_state &= ~PST_CASEPAT;
+         return (ESAC);
        }
+    }
 
-      expand_next_token = 0;
-#endif /* ALIAS */
-
-      if (shell_input_line)
+  /* The start of a shell function definition. */
+  if (parser_state & PST_ALLOWOPNBRC)
+    {
+      parser_state &= ~PST_ALLOWOPNBRC;
+      if (tokstr[0] == '{' && tokstr[1] == '\0')               /* } */
        {
-         free (shell_input_line);
-         shell_input_line = (char *)NULL;
-         shell_input_line_size = shell_input_line_index = 0;
+         open_brace_count++;
+         function_bstart = line_number;
+         return ('{');                                 /* } */
        }
-      last_read_token = '\n';
-      token_to_read = '\n';
-      return ('\n');
     }
 
-  if (token_to_read)
+  /* We allow a `do' after a for ((...)) without an intervening
+     list_terminator */
+  if (last_read_token == ARITH_FOR_EXPRS && tokstr[0] == 'd' && tokstr[1] == 'o' && !tokstr[2])
+    return (DO);
+  if (last_read_token == ARITH_FOR_EXPRS && tokstr[0] == '{' && tokstr[1] == '\0')     /* } */
     {
-      int rt = token_to_read;
-      token_to_read = 0;
-      return (rt);
+      open_brace_count++;
+      return ('{');                    /* } */
     }
 
-#if defined (ALIAS)
-  /* If we hit read_token () and there are no saved strings on the
-     pushed_string_list, then we are no longer currently expanding a
-     token.  This can't be done in pop_stream, because pop_stream
-     may pop the stream before the current token has finished being
-     completely expanded (consider what happens when we alias foo to foo,
-     and then try to expand it). */
-  if (!pushed_string_list && expanded_token_stack)
+  if (open_brace_count && reserved_word_acceptable (last_read_token) && tokstr[0] == '}' && !tokstr[1])
     {
-      free_expansion_stack ();
-      expanded_token_stack = (EXPANSION_SAVER *)NULL;
+      open_brace_count--;              /* { */
+      return ('}');
     }
 
-  /* This is a place to jump back to once we have successfully expanded a
-     token with an alias and pushed the string with push_string () */
- re_read_token:
+#if defined (COMMAND_TIMING)
+  /* Handle -p after `time'. */
+  if (last_read_token == TIME && tokstr[0] == '-' && tokstr[1] == 'p' && !tokstr[2])
+    return (TIMEOPT);
+#endif
 
-#endif /* ALIAS */
+#if 0
+#if defined (COMMAND_TIMING)
+  if (STREQ (token, "time") && ((parser_state & PST_CASEPAT) == 0) && time_command_acceptable ())
+    return (TIME);
+#endif /* COMMAND_TIMING */
+#endif
 
-  /* Read a single word from input.  Start by skipping blanks. */
-  while ((character = shell_getc (1)) != EOF && whitespace (character));
+#if defined (COND_COMMAND) /* [[ */
+  if ((parser_state & PST_CONDEXPR) && tokstr[0] == ']' && tokstr[1] == ']' && tokstr[2] == '\0')
+    return (COND_END);
+#endif
 
-  if (character == EOF)
-    {
-      EOF_Reached = 1;
-      return (yacc_EOF);
+  return (-1);
+}
+
+/* Called from shell.c when Control-C is typed at top level.  Or
+   by the error rule at top level. */
+void
+reset_parser ()
+{
+  dstack.delimiter_depth = 0;  /* No delimiters found so far. */
+  open_brace_count = 0;
+
+  parser_state = 0;
+
+#if defined (ALIAS) || defined (DPAREN_ARITHMETIC)
+  if (pushed_string_list)
+    free_string_list ();
+#endif /* ALIAS || DPAREN_ARITHMETIC */
+
+  if (shell_input_line)
+    {
+      free (shell_input_line);
+      shell_input_line = (char *)NULL;
+      shell_input_line_size = shell_input_line_index = 0;
     }
 
-  if (character == '#' && (!interactive || interactive_comments))
+  FREE (word_desc_to_read);
+  word_desc_to_read = (WORD_DESC *)NULL;
+
+  last_read_token = '\n';
+  token_to_read = '\n';
+}
+
+/* Read the next token.  Command can be READ (normal operation) or
+   RESET (to normalize state). */
+static int
+read_token (command)
+     int command;
+{
+  int character;               /* Current character. */
+  int peek_char;               /* Temporary look-ahead character. */
+  int result;                  /* The thing to return. */
+
+  if (command == RESET)
     {
-      /* A comment.  Discard until EOL or EOF, and then return a newline. */
-      discard_until ('\n');
-      shell_getc (0);
+      reset_parser ();
+      return ('\n');
+    }
 
-      /* If we're about to return an unquoted newline, we can go and collect
-        the text of any pending here documents. */
-      if (need_here_doc)
-        gather_here_documents ();
+  if (token_to_read)
+    {
+      result = token_to_read;
+      if (token_to_read == WORD || token_to_read == ASSIGNMENT_WORD)
+       {
+         yylval.word = word_desc_to_read;
+         word_desc_to_read = (WORD_DESC *)NULL;
+       }
+      token_to_read = 0;
+      return (result);
+    }
+
+#if defined (COND_COMMAND)
+  if ((parser_state & (PST_CONDCMD|PST_CONDEXPR)) == PST_CONDCMD)
+    {
+      cond_lineno = line_number;
+      parser_state |= PST_CONDEXPR;
+      yylval.command = parse_cond_command ();
+      if (cond_token != COND_END)
+       {
+         cond_error ();
+         return (-1);
+       }
+      token_to_read = COND_END;
+      parser_state &= ~(PST_CONDEXPR|PST_CONDCMD);
+      return (COND_CMD);
+    }
+#endif
 
 #if defined (ALIAS)
-      expand_next_token = 0;
+  /* This is a place to jump back to once we have successfully expanded a
+     token with an alias and pushed the string with push_string () */
+ re_read_token:
 #endif /* ALIAS */
 
-      return ('\n');
+  /* Read a single word from input.  Start by skipping blanks. */
+  while ((character = shell_getc (1)) != EOF && whitespace (character))
+    ;
+
+  if (character == EOF)
+    {
+      EOF_Reached = 1;
+      return (yacc_EOF);
+    }
+
+  if MBTEST(character == '#' && (!interactive || interactive_comments))
+    {
+      /* A comment.  Discard until EOL or EOF, and then return a newline. */
+      discard_until ('\n');
+      shell_getc (0);
+      character = '\n';        /* this will take the next if statement and return. */
     }
 
   if (character == '\n')
@@ -1851,34 +2581,39 @@ read_token (command)
        gather_here_documents ();
 
 #if defined (ALIAS)
-      expand_next_token = 0;
+      parser_state &= ~PST_ALEXPNEXT;
 #endif /* ALIAS */
 
+      parser_state &= ~PST_ASSIGNOK;
+
       return (character);
     }
 
-  if (member (character, "()<>;&|"))
+  /* Shell meta-characters. */
+  if MBTEST(shellmeta (character) && ((parser_state & PST_DBLPAREN) == 0))
     {
 #if defined (ALIAS)
       /* Turn off alias tokenization iff this character sequence would
         not leave us ready to read a command. */
       if (character == '<' || character == '>')
-       expand_next_token = 0;
+       parser_state &= ~PST_ALEXPNEXT;
 #endif /* ALIAS */
 
-      /* Please note that the shell does not allow whitespace to
-        appear in between tokens which are character pairs, such as
-        "<<" or ">>".  I believe this is the correct behaviour. */
-      if (character == (peek_char = shell_getc (1)))
+      parser_state &= ~PST_ASSIGNOK;
+
+      peek_char = shell_getc (1);
+      if (character == peek_char)
        {
          switch (character)
            {
+           case '<':
              /* If '<' then we could be at "<<" or at "<<-".  We have to
                 look ahead one more character. */
-           case '<':
              peek_char = shell_getc (1);
              if (peek_char == '-')
                return (LESS_LESS_MINUS);
+             else if (peek_char == '<')
+               return (LESS_LESS_LESS);
              else
                {
                  shell_ungetc (peek_char);
@@ -1889,10 +2624,11 @@ read_token (command)
              return (GREATER_GREATER);
 
            case ';':
-             in_case_pattern_list = 1;
+             parser_state |= PST_CASEPAT;
 #if defined (ALIAS)
-             expand_next_token = 0;
+             parser_state &= ~PST_ALEXPNEXT;
 #endif /* ALIAS */
+
              return (SEMI_SEMI);
 
            case '&':
@@ -1900,574 +2636,1144 @@ read_token (command)
 
            case '|':
              return (OR_OR);
+
+#if defined (DPAREN_ARITHMETIC) || defined (ARITH_FOR_COMMAND)
+           case '(':           /* ) */
+             result = parse_dparen (character);
+             if (result == -2)
+               break;
+             else
+               return result;
+#endif
            }
        }
-      else
-       {
-         if (peek_char == '&')
-           {
-             switch (character)
-               {
-               case '<': return (LESS_AND);
-               case '>': return (GREATER_AND);
-               }
-           }
-         if (character == '<' && peek_char == '>')
-           return (LESS_GREATER);
-         if (character == '>' && peek_char == '|')
-           return (GREATER_BAR);
-         if (peek_char == '>' && character == '&')
-           return (AND_GREATER);
-       }
+      else if MBTEST(character == '<' && peek_char == '&')
+       return (LESS_AND);
+      else if MBTEST(character == '>' && peek_char == '&')
+       return (GREATER_AND);
+      else if MBTEST(character == '<' && peek_char == '>')
+       return (LESS_GREATER);
+      else if MBTEST(character == '>' && peek_char == '|')
+       return (GREATER_BAR);
+      else if MBTEST(peek_char == '>' && character == '&')
+       return (AND_GREATER);
+
       shell_ungetc (peek_char);
 
       /* If we look like we are reading the start of a function
         definition, then let the reader know about it so that
         we will do the right thing with `{'. */
-      if (character == ')' &&
-         last_read_token == '(' && token_before_that == WORD)
+      if MBTEST(character == ')' && last_read_token == '(' && token_before_that == WORD)
        {
-         allow_open_brace = 1;
+         parser_state |= PST_ALLOWOPNBRC;
 #if defined (ALIAS)
-         expand_next_token = 0;
+         parser_state &= ~PST_ALEXPNEXT;
 #endif /* ALIAS */
+         function_dstart = line_number;
        }
 
-      if (in_case_pattern_list && (character == ')'))
-       in_case_pattern_list = 0;
+      /* case pattern lists may be preceded by an optional left paren.  If
+        we're not trying to parse a case pattern list, the left paren
+        indicates a subshell. */
+      if MBTEST(character == '(' && (parser_state & PST_CASEPAT) == 0) /* ) */
+       parser_state |= PST_SUBSHELL;
+      /*(*/
+      else if MBTEST((parser_state & PST_CASEPAT) && character == ')')
+       parser_state &= ~PST_CASEPAT;
+      /*(*/
+      else if MBTEST((parser_state & PST_SUBSHELL) && character == ')')
+       parser_state &= ~PST_SUBSHELL;
 
 #if defined (PROCESS_SUBSTITUTION)
       /* Check for the constructs which introduce process substitution.
         Shells running in `posix mode' don't do process substitution. */
-      if (posixly_correct ||
-         (((character == '>' || character == '<') && peek_char == '(') == 0))
+      if MBTEST(posixly_correct || ((character != '>' && character != '<') || peek_char != '(')) /*)*/
 #endif /* PROCESS_SUBSTITUTION */
        return (character);
     }
 
-  /* Hack <&- (close stdin) case. */
-  if (character == '-')
+  /* Hack <&- (close stdin) case.  Also <&N- (dup and close). */
+  if MBTEST(character == '-' && (last_read_token == LESS_AND || last_read_token == GREATER_AND))
+    return (character);
+
+  /* Okay, if we got this far, we have to read a word.  Read one,
+     and then check it against the known ones. */
+  result = read_token_word (character);
+#if defined (ALIAS)
+  if (result == RE_READ_TOKEN)
+    goto re_read_token;
+#endif
+  return result;
+}
+
+/*
+ * Match a $(...) or other grouping construct.  This has to handle embedded
+ * quoted strings ('', ``, "") and nested constructs.  It also must handle
+ * reprompting the user, if necessary, after reading a newline, and returning
+ * correct error values if it reads EOF.
+ */
+#define P_FIRSTCLOSE   0x01
+#define P_ALLOWESC     0x02
+#define P_DQUOTE       0x04
+#define P_COMMAND      0x08    /* parsing a command, so look for comments */
+
+static char matched_pair_error;
+static char *
+parse_matched_pair (qc, open, close, lenp, flags)
+     int qc;   /* `"' if this construct is within double quotes */
+     int open, close;
+     int *lenp, flags;
+{
+  int count, ch, was_dollar, in_comment, check_comment;
+  int pass_next_character, nestlen, ttranslen, start_lineno;
+  char *ret, *nestret, *ttrans;
+  int retind, retsize, rflags;
+
+  count = 1;
+  pass_next_character = was_dollar = in_comment = 0;
+  check_comment = (flags & P_COMMAND) && qc != '\'' && qc != '"' && (flags & P_DQUOTE) == 0;
+
+  /* RFLAGS is the set of flags we want to pass to recursive calls. */
+  rflags = (qc == '"') ? P_DQUOTE : (flags & P_DQUOTE);
+
+  ret = (char *)xmalloc (retsize = 64);
+  retind = 0;
+
+  start_lineno = line_number;
+  while (count)
     {
-      switch (last_read_token)
+#if 0
+      ch = shell_getc ((qc != '\'' || (flags & P_ALLOWESC)) && pass_next_character == 0);
+#else
+      ch = shell_getc (qc != '\'' && pass_next_character == 0);
+#endif
+      if (ch == EOF)
+       {
+         free (ret);
+         parser_error (start_lineno, _("unexpected EOF while looking for matching `%c'"), close);
+         EOF_Reached = 1;      /* XXX */
+         return (&matched_pair_error);
+       }
+
+      /* Possible reprompting. */
+      if (ch == '\n' && SHOULD_PROMPT ())
+       prompt_again ();
+
+      if (in_comment)
+       {
+         /* Add this character. */
+         RESIZE_MALLOCED_BUFFER (ret, retind, 1, retsize, 64);
+         ret[retind++] = ch;
+
+         if (ch == '\n')
+           in_comment = 0;
+
+         continue;
+       }
+      /* Not exactly right yet */
+      else if (check_comment && in_comment == 0 && ch == '#' && (retind == 0 || ret[retind-1] == '\n' || whitespace (ret[retind -1])))
+       in_comment = 1;
+
+      if (pass_next_character)         /* last char was backslash */
+       {
+         pass_next_character = 0;
+         if (qc != '\'' && ch == '\n') /* double-quoted \<newline> disappears. */
+           {
+             if (retind > 0) retind--; /* swallow previously-added backslash */
+             continue;
+           }
+
+         RESIZE_MALLOCED_BUFFER (ret, retind, 2, retsize, 64);
+         if MBTEST(ch == CTLESC || ch == CTLNUL)
+           ret[retind++] = CTLESC;
+         ret[retind++] = ch;
+         continue;
+       }
+      else if MBTEST(ch == CTLESC || ch == CTLNUL)     /* special shell escapes */
        {
-       case LESS_AND:
-       case GREATER_AND:
-         return (character);
+         RESIZE_MALLOCED_BUFFER (ret, retind, 2, retsize, 64);
+         ret[retind++] = CTLESC;
+         ret[retind++] = ch;
+         continue;
        }
+      else if MBTEST(ch == close)              /* ending delimiter */
+       count--;
+#if 1
+      /* handle nested ${...} specially. */
+      else if MBTEST(open != close && was_dollar && open == '{' && ch == open) /* } */
+       count++;
+#endif
+      else if MBTEST(((flags & P_FIRSTCLOSE) == 0) && ch == open)      /* nested begin */
+       count++;
+
+      /* Add this character. */
+      RESIZE_MALLOCED_BUFFER (ret, retind, 1, retsize, 64);
+      ret[retind++] = ch;
+
+      if (open == '\'')                        /* '' inside grouping construct */
+       {
+         if MBTEST((flags & P_ALLOWESC) && ch == '\\')
+           pass_next_character++;
+         continue;
+       }
+
+      if MBTEST(ch == '\\')                    /* backslashes */
+       pass_next_character++;
+
+      if (open != close)               /* a grouping construct */
+       {
+         if MBTEST(shellquote (ch))
+           {
+             /* '', ``, or "" inside $(...) or other grouping construct. */
+             push_delimiter (dstack, ch);
+             if MBTEST(was_dollar && ch == '\'')       /* $'...' inside group */
+               nestret = parse_matched_pair (ch, ch, ch, &nestlen, P_ALLOWESC|rflags);
+             else
+               nestret = parse_matched_pair (ch, ch, ch, &nestlen, rflags);
+             pop_delimiter (dstack);
+             if (nestret == &matched_pair_error)
+               {
+                 free (ret);
+                 return &matched_pair_error;
+               }
+             if MBTEST(was_dollar && ch == '\'' && (extended_quote || (rflags & P_DQUOTE) == 0))
+               {
+                 /* Translate $'...' here. */
+                 ttrans = ansiexpand (nestret, 0, nestlen - 1, &ttranslen);
+                 xfree (nestret);
+
+                 if ((rflags & P_DQUOTE) == 0)
+                   {
+                     nestret = sh_single_quote (ttrans);
+                     free (ttrans);
+                     nestlen = strlen (nestret);
+                   }
+                 else
+                   {
+                     nestret = ttrans;
+                     nestlen = ttranslen;
+                   }
+                 retind -= 2;          /* back up before the $' */
+               }
+             else if MBTEST(was_dollar && ch == '"' && (extended_quote || (rflags & P_DQUOTE) == 0))
+               {
+                 /* Locale expand $"..." here. */
+                 ttrans = localeexpand (nestret, 0, nestlen - 1, start_lineno, &ttranslen);
+                 xfree (nestret);
+
+                 nestret = sh_mkdoublequoted (ttrans, ttranslen, 0);
+                 free (ttrans);
+                 nestlen = ttranslen + 2;
+                 retind -= 2;          /* back up before the $" */
+               }
+
+             if (nestlen)
+               {
+                 RESIZE_MALLOCED_BUFFER (ret, retind, nestlen, retsize, 64);
+                 strcpy (ret + retind, nestret);
+                 retind += nestlen;
+               }
+             FREE (nestret);
+           }
+       }
+      /* Parse an old-style command substitution within double quotes as a
+        single word. */
+      /* XXX - sh and ksh93 don't do this - XXX */
+      else if MBTEST(open == '"' && ch == '`')
+       {
+         nestret = parse_matched_pair (0, '`', '`', &nestlen, rflags);
+add_nestret:
+         if (nestret == &matched_pair_error)
+           {
+             free (ret);
+             return &matched_pair_error;
+           }
+         if (nestlen)
+           {
+             RESIZE_MALLOCED_BUFFER (ret, retind, nestlen, retsize, 64);
+             strcpy (ret + retind, nestret);
+             retind += nestlen;
+           }
+         FREE (nestret);
+       }
+      else if MBTEST(qc == '`' && (ch == '"' || ch == '\'') && in_comment == 0)
+       {
+         nestret = parse_matched_pair (0, ch, ch, &nestlen, rflags);
+         goto add_nestret;
+       }
+      else if MBTEST(was_dollar && (ch == '(' || ch == '{' || ch == '['))      /* ) } ] */
+       /* check for $(), $[], or ${} inside quoted string. */
+       {
+         if (open == ch)       /* undo previous increment */
+           count--;
+         if (ch == '(')                /* ) */
+           nestret = parse_matched_pair (0, '(', ')', &nestlen, rflags);
+         else if (ch == '{')           /* } */
+           nestret = parse_matched_pair (0, '{', '}', &nestlen, P_FIRSTCLOSE|rflags);
+         else if (ch == '[')           /* ] */
+           nestret = parse_matched_pair (0, '[', ']', &nestlen, rflags);
+
+         goto add_nestret;
+       }
+      was_dollar = MBTEST(ch == '$');
     }
-  
-  /* Okay, if we got this far, we have to read a word.  Read one,
-     and then check it against the known ones. */
-  {
-    /* Index into the token that we are building. */
-    int token_index = 0;
 
-    /* ALL_DIGITS becomes zero when we see a non-digit. */
-    int all_digits = digit (character);
+  ret[retind] = '\0';
+  if (lenp)
+    *lenp = retind;
+  return ret;
+}
 
-    /* DOLLAR_PRESENT becomes non-zero if we see a `$'. */
-    int dollar_present = 0;
+#if defined (DPAREN_ARITHMETIC) || defined (ARITH_FOR_COMMAND)
+/* Parse a double-paren construct.  It can be either an arithmetic
+   command, an arithmetic `for' command, or a nested subshell.  Returns
+   the parsed token, -1 on error, or -2 if we didn't do anything and
+   should just go on. */
+static int
+parse_dparen (c)
+     int c;
+{
+  int cmdtyp, len, sline;
+  char *wval, *wv2;
+  WORD_DESC *wd;
 
-    /* QUOTED becomes non-zero if we see one of ("), ('), (`), or (\). */
-    int quoted = 0;
+#if defined (ARITH_FOR_COMMAND)
+  if (last_read_token == FOR)
+    {
+      arith_for_lineno = line_number;
+      cmdtyp = parse_arith_cmd (&wval, 0);
+      if (cmdtyp == 1)
+       {
+         wd = alloc_word_desc ();
+         wd->word = wval;
+         wd = make_word (wval);
+         yylval.word_list = make_word_list (wd, (WORD_LIST *)NULL);
+         return (ARITH_FOR_EXPRS);
+       }
+      else
+       return -1;              /* ERROR */
+    }
+#endif
 
-    /* Non-zero means to ignore the value of the next character, and just
-       to add it no matter what. */
-    int pass_next_character = 0;
+#if defined (DPAREN_ARITHMETIC)
+  if (reserved_word_acceptable (last_read_token))
+    {
+      sline = line_number;
 
-    /* Non-zero means parsing a dollar-paren construct.  It is the count of
-       un-quoted closes we need to see. */
-    int dollar_paren_level = 0;
+      cmdtyp = parse_arith_cmd (&wval, 0);
+      if (cmdtyp == 1) /* arithmetic command */
+       {
+         wd = alloc_word_desc ();
+         wd->word = wval;
+         wd->flags = W_QUOTED|W_NOSPLIT|W_NOGLOB|W_DQUOTE;
+         yylval.word_list = make_word_list (wd, (WORD_LIST *)NULL);
+         return (ARITH_CMD);
+       }
+      else if (cmdtyp == 0)    /* nested subshell */
+       {
+         push_string (wval, 0, (alias_t *)NULL);
+         if ((parser_state & PST_CASEPAT) == 0)
+           parser_state |= PST_SUBSHELL;
+         return (c);
+       }
+      else                     /* ERROR */
+       return -1;
+    }
+#endif
 
-    /* Non-zero means parsing a dollar-bracket construct ($[...]).  It is
-       the count of un-quoted `]' characters we need to see. */
-    int dollar_bracket_level = 0;
+  return -2;                   /* XXX */
+}
 
-    /* Non-zero means parsing a `${' construct.  It is the count of
-       un-quoted `}' we need to see. */
-    int dollar_brace_level = 0;
+/* We've seen a `(('.  Look for the matching `))'.  If we get it, return 1.
+   If not, assume it's a nested subshell for backwards compatibility and
+   return 0.  In any case, put the characters we've consumed into a locally-
+   allocated buffer and make *ep point to that buffer.  Return -1 on an
+   error, for example EOF. */
+static int
+parse_arith_cmd (ep, adddq)
+     char **ep;
+     int adddq;
+{
+  int exp_lineno, rval, c;
+  char *ttok, *tokstr;
+  int ttoklen;
+
+  exp_lineno = line_number;
+  ttok = parse_matched_pair (0, '(', ')', &ttoklen, 0);
+  rval = 1;
+  if (ttok == &matched_pair_error)
+    return -1;
+  /* Check that the next character is the closing right paren.  If
+     not, this is a syntax error. ( */
+  c = shell_getc (0);
+  if MBTEST(c != ')')
+    rval = 0;
+
+  tokstr = (char *)xmalloc (ttoklen + 4);
+
+  /* if ADDDQ != 0 then (( ... )) -> "..." */
+  if (rval == 1 && adddq)      /* arith cmd, add double quotes */
+    {
+      tokstr[0] = '"';
+      strncpy (tokstr + 1, ttok, ttoklen - 1);
+      tokstr[ttoklen] = '"';
+      tokstr[ttoklen+1] = '\0';
+    }
+  else if (rval == 1)          /* arith cmd, don't add double quotes */
+    {
+      strncpy (tokstr, ttok, ttoklen - 1);
+      tokstr[ttoklen-1] = '\0';
+    }
+  else                         /* nested subshell */
+    {
+      tokstr[0] = '(';
+      strncpy (tokstr + 1, ttok, ttoklen - 1);
+      tokstr[ttoklen] = ')';
+      tokstr[ttoklen+1] = c;
+      tokstr[ttoklen+2] = '\0';
+    }
 
-    /* A level variable for parsing '${ ... }' constructs inside of double
-       quotes. */
-    int delimited_brace_level = 0;
+  *ep = tokstr;
+  FREE (ttok);
+  return rval;
+}
+#endif /* DPAREN_ARITHMETIC || ARITH_FOR_COMMAND */
 
-    /* A boolean variable denoting whether or not we are currently parsing
-       a double-quoted string embedded in a $( ) or ${ } construct. */
-    int embedded_quoted_string = 0;
+#if defined (COND_COMMAND)
+static void
+cond_error ()
+{
+  char *etext;
 
-    /* Another level variable.  This one is for dollar_parens inside of
-       double-quotes. */
-    int delimited_paren_level = 0;
+  if (EOF_Reached && cond_token != COND_ERROR)         /* [[ */
+    parser_error (cond_lineno, _("unexpected EOF while looking for `]]'"));
+  else if (cond_token != COND_ERROR)
+    {
+      if (etext = error_token_from_token (cond_token))
+       {
+         parser_error (cond_lineno, _("syntax error in conditional expression: unexpected token `%s'"), etext);
+         free (etext);
+       }
+      else
+       parser_error (cond_lineno, _("syntax error in conditional expression"));
+    }
+}
 
-    /* The current delimiting character. */
-    int cd;
+static COND_COM *
+cond_expr ()
+{
+  return (cond_or ());  
+}
 
-    for (;;)
-      {
-       if (character == EOF)
-         goto got_token;
+static COND_COM *
+cond_or ()
+{
+  COND_COM *l, *r;
 
-       if (pass_next_character)
-         {
-           pass_next_character = 0;
-           goto got_character;
-         }
+  l = cond_and ();
+  if (cond_token == OR_OR)
+    {
+      r = cond_or ();
+      l = make_cond_node (COND_OR, (WORD_DESC *)NULL, l, r);
+    }
+  return l;
+}
 
-       cd = current_delimiter ();
+static COND_COM *
+cond_and ()
+{
+  COND_COM *l, *r;
 
-       if (cd && character == '\\' && cd != '\'')
-         {
-           peek_char = shell_getc (0);
-           if (peek_char != '\\')
-             shell_ungetc (peek_char);
-           else
-             {
-               token[token_index++] = character;
-               goto got_character;
-             }
-         }
-
-       /* Handle backslashes.  Quote lots of things when not inside of
-          double-quotes, quote some things inside of double-quotes. */
-          
-       if (character == '\\' && (!delimiter_depth || cd != '\''))
-         {
-           peek_char = shell_getc (0);
-
-           /* Backslash-newline is ignored in all cases excepting
-              when quoted with single quotes. */
-           if (peek_char == '\n')
-             {
-               character = '\n';
-               goto next_character;
-             }
-           else
-             {
-               shell_ungetc (peek_char);
+  l = cond_term ();
+  if (cond_token == AND_AND)
+    {
+      r = cond_and ();
+      l = make_cond_node (COND_AND, (WORD_DESC *)NULL, l, r);
+    }
+  return l;
+}
 
-               /* If the next character is to be quoted, do it now. */
-               if (!cd || cd == '`' ||
-                   (cd == '"' && member (peek_char, slashify_in_quotes)))
-                 {
-                   pass_next_character++;
-                   quoted = 1;
-                   goto got_character;
-                 }
-             }
-         }
-
-       /* This is a hack, in its present form.  If a backquote substitution
-          appears within double quotes, everything within the backquotes
-          should be read as part of a single word.  Jesus.  Now I see why
-          Korn introduced the $() form. */
-       if (delimiter_depth && (cd == '"') && (character == '`'))
-         {
-           push_delimiter (character);
-           goto got_character;
-         }
-
-       cd = current_delimiter ();              /* XXX - may not need */
-       if (delimiter_depth)
-         {
-           if (character == cd)
-             {
-               /* If we see a double quote while parsing a double-quoted
-                 $( ) or ${ }, and we have not seen ) or }, respectively,
-                  note that we are in the middle of reading an embedded
-                  quoted string. */
-               if ((delimited_paren_level || delimited_brace_level) &&
-                   (character == '"'))
-                 {
-                   embedded_quoted_string = !embedded_quoted_string;
-                   goto got_character;
-                 }
-               
-               delimiter_depth--;
-               goto got_character;
-             }
-         }
+static int
+cond_skip_newlines ()
+{
+  while ((cond_token = read_token (READ)) == '\n')
+    {
+      if (SHOULD_PROMPT ())
+       prompt_again ();
+    }
+  return (cond_token);
+}
 
-       if (cd != '\'')
-         {
-#if defined (PROCESS_SUBSTITUTION)
-           if (character == '$' || character == '<' || character == '>')
-#else
-           if (character == '$')
-#endif /* !PROCESS_SUBSTITUTION */
-             {
-               /* If we're in the middle of parsing a $( ) or ${ }
-                  construct with an embedded quoted string, don't
-                  bother looking at this character any further. */
-               if (embedded_quoted_string)
-                 goto got_character;
-
-               peek_char = shell_getc (1);
-               shell_ungetc (peek_char);
-               if (peek_char == '(')
-                 {
-                   if (!delimiter_depth)
-                     dollar_paren_level++;
-                   else
-                     delimited_paren_level++;
+#define COND_RETURN_ERROR() \
+  do { cond_token = COND_ERROR; return ((COND_COM *)NULL); } while (0)
 
-                   pass_next_character++;
-                   goto got_character;
-                 }
-               else if (peek_char == '[' && character == '$')
-                 {
-                   if (!delimiter_depth)
-                     dollar_bracket_level++;
+static COND_COM *
+cond_term ()
+{
+  WORD_DESC *op;
+  COND_COM *term, *tleft, *tright;
+  int tok, lineno;
+  char *etext;
+
+  /* Read a token.  It can be a left paren, a `!', a unary operator, or a
+     word that should be the first argument of a binary operator.  Start by
+     skipping newlines, since this is a compound command. */
+  tok = cond_skip_newlines ();
+  lineno = line_number;
+  if (tok == COND_END)
+    {
+      COND_RETURN_ERROR ();
+    }
+  else if (tok == '(')
+    {
+      term = cond_expr ();
+      if (cond_token != ')')
+       {
+         if (term)
+           dispose_cond_node (term);           /* ( */
+         if (etext = error_token_from_token (cond_token))
+           {
+             parser_error (lineno, _("unexpected token `%s', expected `)'"), etext);
+             free (etext);
+           }
+         else
+           parser_error (lineno, _("expected `)'"));
+         COND_RETURN_ERROR ();
+       }
+      term = make_cond_node (COND_EXPR, (WORD_DESC *)NULL, term, (COND_COM *)NULL);
+      (void)cond_skip_newlines ();
+    }
+  else if (tok == BANG || (tok == WORD && (yylval.word->word[0] == '!' && yylval.word->word[1] == '\0')))
+    {
+      if (tok == WORD)
+       dispose_word (yylval.word);     /* not needed */
+      term = cond_term ();
+      if (term)
+       term->flags |= CMD_INVERT_RETURN;
+    }
+  else if (tok == WORD && test_unop (yylval.word->word))
+    {
+      op = yylval.word;
+      tok = read_token (READ);
+      if (tok == WORD)
+       {
+         tleft = make_cond_node (COND_TERM, yylval.word, (COND_COM *)NULL, (COND_COM *)NULL);
+         term = make_cond_node (COND_UNARY, op, tleft, (COND_COM *)NULL);
+       }
+      else
+       {
+         dispose_word (op);
+         if (etext = error_token_from_token (tok))
+           {
+             parser_error (line_number, _("unexpected argument `%s' to conditional unary operator"), etext);
+             free (etext);
+           }
+         else
+           parser_error (line_number, _("unexpected argument to conditional unary operator"));
+         COND_RETURN_ERROR ();
+       }
 
-                   pass_next_character++;
-                   goto got_character;
-                 }
-               /* This handles ${...} constructs. */
-               else if (peek_char == '{' && character == '$')
-                 {
-                   if (!delimiter_depth)
-                     dollar_brace_level++;
-                   else
-                     delimited_brace_level++;
+      (void)cond_skip_newlines ();
+    }
+  else if (tok == WORD)                /* left argument to binary operator */
+    {
+      /* lhs */
+      tleft = make_cond_node (COND_TERM, yylval.word, (COND_COM *)NULL, (COND_COM *)NULL);
+
+      /* binop */
+      tok = read_token (READ);
+      if (tok == WORD && test_binop (yylval.word->word))
+       op = yylval.word;
+#if defined (COND_REGEXP)
+      else if (tok == WORD && STREQ (yylval.word->word,"=~"))
+       op = yylval.word;
+#endif
+      else if (tok == '<' || tok == '>')
+       op = make_word_from_token (tok);  /* ( */
+      /* There should be a check before blindly accepting the `)' that we have
+        seen the opening `('. */
+      else if (tok == COND_END || tok == AND_AND || tok == OR_OR || tok == ')')
+       {
+         /* Special case.  [[ x ]] is equivalent to [[ -n x ]], just like
+            the test command.  Similarly for [[ x && expr ]] or
+            [[ x || expr ]] or [[ (x) ]]. */
+         op = make_word ("-n");
+         term = make_cond_node (COND_UNARY, op, tleft, (COND_COM *)NULL);
+         cond_token = tok;
+         return (term);
+       }
+      else
+       {
+         if (etext = error_token_from_token (tok))
+           {
+             parser_error (line_number, _("unexpected token `%s', conditional binary operator expected"), etext);
+             free (etext);
+           }
+         else
+           parser_error (line_number, _("conditional binary operator expected"));
+         dispose_cond_node (tleft);
+         COND_RETURN_ERROR ();
+       }
 
-                   pass_next_character++;
-                   goto got_character;
-                 }
-             }
+      /* rhs */
+      tok = read_token (READ);
+      if (tok == WORD)
+       {
+         tright = make_cond_node (COND_TERM, yylval.word, (COND_COM *)NULL, (COND_COM *)NULL);
+         term = make_cond_node (COND_BINARY, op, tleft, tright);
+       }
+      else
+       {
+         if (etext = error_token_from_token (tok))
+           {
+             parser_error (line_number, _("unexpected argument `%s' to conditional binary operator"), etext);
+             free (etext);
+           }
+         else
+           parser_error (line_number, _("unexpected argument to conditional binary operator"));
+         dispose_cond_node (tleft);
+         dispose_word (op);
+         COND_RETURN_ERROR ();
+       }
 
-           /* If we are parsing a $() or $[] construct, we need to balance
-              parens and brackets inside the construct.  This whole function
-              could use a rewrite. */
-           if (character == '(' && !embedded_quoted_string)
-             {
-               if (delimiter_depth && delimited_paren_level)
-                 delimited_paren_level++;
+      (void)cond_skip_newlines ();
+    }
+  else
+    {
+      if (tok < 256)
+       parser_error (line_number, _("unexpected token `%c' in conditional command"), tok);
+      else if (etext = error_token_from_token (tok))
+       {
+         parser_error (line_number, _("unexpected token `%s' in conditional command"), etext);
+         free (etext);
+       }
+      else
+       parser_error (line_number, _("unexpected token %d in conditional command"), tok);
+      COND_RETURN_ERROR ();
+    }
+  return (term);
+}      
 
-               if (!delimiter_depth && dollar_paren_level)
-                 dollar_paren_level++;
-             }
+/* This is kind of bogus -- we slip a mini recursive-descent parser in
+   here to handle the conditional statement syntax. */
+static COMMAND *
+parse_cond_command ()
+{
+  COND_COM *cexp;
 
-           if (character == '[')
-             {
-               if (!delimiter_depth && dollar_bracket_level)
-                 dollar_bracket_level++;
-             }
+  cexp = cond_expr ();
+  return (make_cond_command (cexp));
+}
+#endif
 
-           if (character == '{' && !embedded_quoted_string)
-             {
-               if (delimiter_depth && delimited_brace_level)
-                 delimited_brace_level++;
+#if defined (ARRAY_VARS)
+/* When this is called, it's guaranteed that we don't care about anything
+   in t beyond i.  We do save and restore the chars, though. */
+static int
+token_is_assignment (t, i)
+     char *t;
+     int i;
+{
+  unsigned char c, c1;
+  int r;
+
+  c = t[i]; c1 = t[i+1];
+  t[i] = '='; t[i+1] = '\0';
+  r = assignment (t, (parser_state & PST_COMPASSIGN) != 0);
+  t[i] = c; t[i+1] = c1;
+  return r;
+}
 
-               if (!delimiter_depth && dollar_brace_level)
-                 dollar_brace_level++;
-             }
+/* XXX - possible changes here for `+=' */
+static int
+token_is_ident (t, i)
+     char *t;
+     int i;
+{
+  unsigned char c;
+  int r;
+
+  c = t[i];
+  t[i] = '\0';
+  r = legal_identifier (t);
+  t[i] = c;
+  return r;
+}
+#endif
 
-           /* This code needs to take into account whether we are inside a
-              case statement pattern list, and whether this paren is supposed
-              to terminate it (hey, it could happen).  It's not as simple
-              as just using in_case_pattern_list, because we're not parsing
-              anything while we're reading a $( ) construct.  Maybe we
-              should move that whole mess into the yacc parser. */
-           if (character == ')' && !embedded_quoted_string)
-             {
-               if (delimiter_depth && delimited_paren_level)
-                 delimited_paren_level--;
+static int
+read_token_word (character)
+     int character;
+{
+  /* The value for YYLVAL when a WORD is read. */
+  WORD_DESC *the_word;
 
-               if (!delimiter_depth && dollar_paren_level)
-                 {
-                   dollar_paren_level--;
-                   goto got_character;
-                 }
-             }
+  /* Index into the token that we are building. */
+  int token_index;
 
-           if (character == ']')
-             {
-               if (!delimiter_depth && dollar_bracket_level)
-                 {
-                   dollar_bracket_level--;
-                   goto got_character;
-                 }
-             }
+  /* ALL_DIGITS becomes zero when we see a non-digit. */
+  int all_digit_token;
 
-           if (character == '}' && !embedded_quoted_string)
-             {
-               if (delimiter_depth && delimited_brace_level)
-                 delimited_brace_level--;
+  /* DOLLAR_PRESENT becomes non-zero if we see a `$'. */
+  int dollar_present;
 
-               if (!delimiter_depth && dollar_brace_level)
-                 {
-                   dollar_brace_level--;
-                   goto got_character;
-                 }
-             }
-         }
-
-       if (!dollar_paren_level && !dollar_bracket_level &&
-           !dollar_brace_level && !delimiter_depth &&
-           member (character, " \t\n;&()|<>"))
-         {
-           shell_ungetc (character);
-           goto got_token;
-         }
-    
-       if (!delimiter_depth)
-         {
-           if (character == '"' || character == '`' || character == '\'')
-             {
-               push_delimiter (character);
+  /* COMPOUND_ASSIGNMENT becomes non-zero if we are parsing a compound
+     assignment. */
+  int compound_assignment;
 
-               quoted = 1;
-               goto got_character;
-             }
-         }
+  /* QUOTED becomes non-zero if we see one of ("), ('), (`), or (\). */
+  int quoted;
 
-       if (all_digits)
-         all_digits = digit (character);
-       if (character == '$')
-         dollar_present = 1;
+  /* Non-zero means to ignore the value of the next character, and just
+     to add it no matter what. */
+ int pass_next_character;
 
-      got_character:
+  /* The current delimiting character. */
+  int cd;
+  int result, peek_char;
+  char *ttok, *ttrans;
+  int ttoklen, ttranslen;
+  intmax_t lvalue;
 
-       if (character == CTLESC || character == CTLNUL)
-         token[token_index++] = CTLESC;
+  if (token_buffer_size < TOKEN_DEFAULT_INITIAL_SIZE)
+    token = (char *)xrealloc (token, token_buffer_size = TOKEN_DEFAULT_INITIAL_SIZE);
 
-       token[token_index++] = character;
+  token_index = 0;
+  all_digit_token = DIGIT (character);
+  dollar_present = quoted = pass_next_character = compound_assignment = 0;
 
-       if (token_index == (token_buffer_size - 1))
-         {
-           token_buffer_size += TOKEN_DEFAULT_GROW_SIZE;
-           token = xrealloc (token, token_buffer_size);
-         }
-       next_character:
-       if (character == '\n' && interactive && bash_input.type != st_string)
-         prompt_again ();
+  for (;;)
+    {
+      if (character == EOF)
+       goto got_token;
 
-       /* We want to remove quoted newlines (that is, a \<newline> pair)
-          unless we are within single quotes or pass_next_character is
-          set (the shell equivalent of literal-next). */
-       character = shell_getc
-         ((current_delimiter () != '\'') && (!pass_next_character));
-      }
+      if (pass_next_character)
+       {
+         pass_next_character = 0;
+         goto got_character;
+       }
 
-  got_token:
+      cd = current_delimiter (dstack);
 
-    token[token_index] = '\0';
-       
-    if ((delimiter_depth || dollar_paren_level || dollar_bracket_level) &&
-       character == EOF)
-      {
-       char reporter = '\0';
+      /* Handle backslashes.  Quote lots of things when not inside of
+        double-quotes, quote some things inside of double-quotes. */
+      if MBTEST(character == '\\')
+       {
+         peek_char = shell_getc (0);
 
-       if (!delimiter_depth)
-         {
-           if (dollar_paren_level)
-             reporter = ')';
-           else if (dollar_bracket_level)
-             reporter = ']';
-         }
+         /* Backslash-newline is ignored in all cases except
+            when quoted with single quotes. */
+         if (peek_char == '\n')
+           {
+             character = '\n';
+             goto next_character;
+           }
+         else
+           {
+             shell_ungetc (peek_char);
 
-       if (!reporter)
-         reporter = current_delimiter ();
+             /* If the next character is to be quoted, note it now. */
+             if (cd == 0 || cd == '`' ||
+                 (cd == '"' && peek_char >= 0 && (sh_syntaxtab[peek_char] & CBSDQUOTE)))
+               pass_next_character++;
 
-       report_error ("unexpected EOF while looking for `%c'", reporter);
-       return (-1);
-      }
+             quoted = 1;
+             goto got_character;
+           }
+       }
 
-    if (all_digits)
-      {
-       /* Check to see what thing we should return.  If the last_read_token
-          is a `<', or a `&', or the character which ended this token is
-          a '>' or '<', then, and ONLY then, is this input token a NUMBER.
-          Otherwise, it is just a word, and should be returned as such. */
-
-       if (character == '<' || character == '>' ||
-           last_read_token == LESS_AND || last_read_token == GREATER_AND)
-         {
-           yylval.number = atoi (token);
-           return (NUMBER);
-         }
-      }
+      /* Parse a matched pair of quote characters. */
+      if MBTEST(shellquote (character))
+       {
+         push_delimiter (dstack, character);
+         ttok = parse_matched_pair (character, character, character, &ttoklen, (character == '`') ? P_COMMAND : 0);
+         pop_delimiter (dstack);
+         if (ttok == &matched_pair_error)
+           return -1;          /* Bail immediately. */
+         RESIZE_MALLOCED_BUFFER (token, token_index, ttoklen + 2,
+                                 token_buffer_size, TOKEN_DEFAULT_GROW_SIZE);
+         token[token_index++] = character;
+         strcpy (token + token_index, ttok);
+         token_index += ttoklen;
+         all_digit_token = 0;
+         quoted = 1;
+         dollar_present |= (character == '"' && strchr (ttok, '$') != 0);
+         FREE (ttok);
+         goto next_character;
+       }
 
-    /* Handle special case.  IN is recognized if the last token
-       was WORD and the token before that was FOR or CASE. */
-    if ((last_read_token == WORD) &&
-#if defined (SELECT_COMMAND)
-       ((token_before_that == FOR) || (token_before_that == CASE) || (token_before_that == SELECT)) &&
+#ifdef EXTENDED_GLOB
+      /* Parse a ksh-style extended pattern matching specification. */
+      if (extended_glob && PATTERN_CHAR (character))
+       {
+         peek_char = shell_getc (1);
+         if MBTEST(peek_char == '(')           /* ) */
+           {
+             push_delimiter (dstack, peek_char);
+             ttok = parse_matched_pair (cd, '(', ')', &ttoklen, 0);
+             pop_delimiter (dstack);
+             if (ttok == &matched_pair_error)
+               return -1;              /* Bail immediately. */
+             RESIZE_MALLOCED_BUFFER (token, token_index, ttoklen + 2,
+                                     token_buffer_size,
+                                     TOKEN_DEFAULT_GROW_SIZE);
+             token[token_index++] = character;
+             token[token_index++] = peek_char;
+             strcpy (token + token_index, ttok);
+             token_index += ttoklen;
+             FREE (ttok);
+             dollar_present = all_digit_token = 0;
+             goto next_character;
+           }
+         else
+           shell_ungetc (peek_char);
+       }
+#endif /* EXTENDED_GLOB */
+
+      /* If the delimiter character is not single quote, parse some of
+        the shell expansions that must be read as a single word. */
+      if (shellexp (character))
+       {
+         peek_char = shell_getc (1);
+         /* $(...), <(...), >(...), $((...)), ${...}, and $[...] constructs */
+         if MBTEST(peek_char == '(' || \
+               ((peek_char == '{' || peek_char == '[') && character == '$'))   /* ) ] } */
+           {
+             if (peek_char == '{')             /* } */
+               ttok = parse_matched_pair (cd, '{', '}', &ttoklen, P_FIRSTCLOSE);
+             else if (peek_char == '(')                /* ) */
+               {
+                 /* XXX - push and pop the `(' as a delimiter for use by
+                    the command-oriented-history code.  This way newlines
+                    appearing in the $(...) string get added to the
+                    history literally rather than causing a possibly-
+                    incorrect `;' to be added. ) */
+                 push_delimiter (dstack, peek_char);
+                 ttok = parse_matched_pair (cd, '(', ')', &ttoklen, P_COMMAND);
+                 pop_delimiter (dstack);
+               }
+             else
+               ttok = parse_matched_pair (cd, '[', ']', &ttoklen, 0);
+             if (ttok == &matched_pair_error)
+               return -1;              /* Bail immediately. */
+             RESIZE_MALLOCED_BUFFER (token, token_index, ttoklen + 2,
+                                     token_buffer_size,
+                                     TOKEN_DEFAULT_GROW_SIZE);
+             token[token_index++] = character;
+             token[token_index++] = peek_char;
+             strcpy (token + token_index, ttok);
+             token_index += ttoklen;
+             FREE (ttok);
+             dollar_present = 1;
+             all_digit_token = 0;
+             goto next_character;
+           }
+         /* This handles $'...' and $"..." new-style quoted strings. */
+         else if MBTEST(character == '$' && (peek_char == '\'' || peek_char == '"'))
+           {
+             int first_line;
+
+             first_line = line_number;
+             push_delimiter (dstack, peek_char);
+             ttok = parse_matched_pair (peek_char, peek_char, peek_char,
+                                        &ttoklen,
+                                        (peek_char == '\'') ? P_ALLOWESC : 0);
+             pop_delimiter (dstack);
+             if (ttok == &matched_pair_error)
+               return -1;
+             if (peek_char == '\'')
+               {
+                 ttrans = ansiexpand (ttok, 0, ttoklen - 1, &ttranslen);
+                 free (ttok);
+
+                 /* Insert the single quotes and correctly quote any
+                    embedded single quotes (allowed because P_ALLOWESC was
+                    passed to parse_matched_pair). */
+                 ttok = sh_single_quote (ttrans);
+                 free (ttrans);
+                 ttranslen = strlen (ttok);
+                 ttrans = ttok;
+               }
+             else
+               {
+                 /* Try to locale)-expand the converted string. */
+                 ttrans = localeexpand (ttok, 0, ttoklen - 1, first_line, &ttranslen);
+                 free (ttok);
+
+                 /* Add the double quotes back */
+                 ttok = sh_mkdoublequoted (ttrans, ttranslen, 0);
+                 free (ttrans);
+                 ttranslen += 2;
+                 ttrans = ttok;
+               }
+
+             RESIZE_MALLOCED_BUFFER (token, token_index, ttranslen + 2,
+                                     token_buffer_size,
+                                     TOKEN_DEFAULT_GROW_SIZE);
+             strcpy (token + token_index, ttrans);
+             token_index += ttranslen;
+             FREE (ttrans);
+             quoted = 1;
+             all_digit_token = 0;
+             goto next_character;
+           }
+         /* This could eventually be extended to recognize all of the
+            shell's single-character parameter expansions, and set flags.*/
+         else if MBTEST(character == '$' && peek_char == '$')
+           {
+             ttok = (char *)xmalloc (3);
+             ttok[0] = ttok[1] = '$';
+             ttok[2] = '\0';
+             RESIZE_MALLOCED_BUFFER (token, token_index, 3,
+                                     token_buffer_size,
+                                     TOKEN_DEFAULT_GROW_SIZE);
+             strcpy (token + token_index, ttok);
+             token_index += 2;
+             dollar_present = 1;
+             all_digit_token = 0;
+             FREE (ttok);
+             goto next_character;
+           }
+         else
+           shell_ungetc (peek_char);
+       }
+
+#if defined (ARRAY_VARS)
+      /* Identify possible array subscript assignment; match [...] */
+      else if MBTEST(character == '[' && token_index > 0 && assignment_acceptable (last_read_token) && token_is_ident (token, token_index))    /* ] */
+        {
+         ttok = parse_matched_pair (cd, '[', ']', &ttoklen, 0);
+         if (ttok == &matched_pair_error)
+           return -1;          /* Bail immediately. */
+         RESIZE_MALLOCED_BUFFER (token, token_index, ttoklen + 2,
+                                 token_buffer_size,
+                                 TOKEN_DEFAULT_GROW_SIZE);
+         token[token_index++] = character;
+         strcpy (token + token_index, ttok);
+         token_index += ttoklen;
+         FREE (ttok);
+         all_digit_token = 0;
+         goto next_character;
+        }
+      /* Identify possible compound array variable assignment. */
+      else if MBTEST(character == '=' && token_index > 0 && (assignment_acceptable (last_read_token) || (parser_state & PST_ASSIGNOK)) && token_is_assignment (token, token_index))
+       {
+         peek_char = shell_getc (1);
+         if MBTEST(peek_char == '(')           /* ) */
+           {
+             ttok = parse_compound_assignment (&ttoklen);
+
+             RESIZE_MALLOCED_BUFFER (token, token_index, ttoklen + 4,
+                                     token_buffer_size,
+                                     TOKEN_DEFAULT_GROW_SIZE);
+
+             token[token_index++] = '=';
+             token[token_index++] = '(';
+             if (ttok)
+               {
+                 strcpy (token + token_index, ttok);
+                 token_index += ttoklen;
+               }
+             token[token_index++] = ')';
+             FREE (ttok);
+             all_digit_token = 0;
+             compound_assignment = 1;
+#if 0
+             goto next_character;
 #else
-       ((token_before_that == FOR) || (token_before_that == CASE)) &&
+             goto got_token;           /* ksh93 seems to do this */
+#endif
+           }
+         else
+           shell_ungetc (peek_char);
+       }
 #endif
-       (token[0] == 'i' && token[1] == 'n' && !token[2]))
-      {
-       if (token_before_that == CASE)
-         {
-           in_case_pattern_list = 1;
-           allow_esac_as_next++;
-         }
-       return (IN);
-      }
 
-    /* Ditto for DO in the FOR case. */
-#if defined (SELECT_COMMAND)
-    if ((last_read_token == WORD) && ((token_before_that == FOR) || (token_before_that == SELECT)) &&
-#else
-    if ((last_read_token == WORD) && (token_before_that == FOR) &&
-#endif
-       (token[0] == 'd' && token[1] == 'o' && !token[2]))
-      return (DO);
-
-    /* Ditto for ESAC in the CASE case. 
-       Specifically, this handles "case word in esac", which is a legal
-       construct, certainly because someone will pass an empty arg to the
-       case construct, and we don't want it to barf.  Of course, we should
-       insist that the case construct has at least one pattern in it, but
-       the designers disagree. */
-    if (allow_esac_as_next)
-      {
-       allow_esac_as_next--;
-       if (STREQ (token, "esac"))
-         {
-           in_case_pattern_list = 0;
-           return (ESAC);
-         }
-      }
+      /* When not parsing a multi-character word construct, shell meta-
+        characters break words. */
+      if MBTEST(shellbreak (character))
+       {
+         shell_ungetc (character);
+         goto got_token;
+       }
 
-    /* Ditto for `{' in the FUNCTION case. */
-    if (allow_open_brace)
-      {
-       allow_open_brace = 0;
-       if (token[0] == '{' && !token[1])
-         {
-           open_brace_awaiting_satisfaction++;
-           return ('{');
-         }
-      }
+    got_character:
 
-    if (posixly_correct)
-      CHECK_FOR_RESERVED_WORD (token);
+      all_digit_token &= DIGIT (character);
+      dollar_present |= character == '$';
 
-#if defined (ALIAS)
-    /* OK, we have a token.  Let's try to alias expand it, if (and only if)
-       it's eligible. 
+      if (character == CTLESC || character == CTLNUL)
+       token[token_index++] = CTLESC;
 
-       It is eligible for expansion if the shell is in interactive mode, and
-       the token is unquoted and the last token read was a command
-       separator (or expand_next_token is set), and we are currently
-       processing an alias (pushed_string_list is non-empty) and this
-       token is not the same as the current or any previously
-       processed alias.
+      token[token_index++] = character;
 
-       Special cases that disqualify:
-        In a pattern list in a case statement (in_case_pattern_list). */
-    if (interactive_shell && !quoted && !in_case_pattern_list &&
-       (expand_next_token || command_token_position (last_read_token)))
-      {
-       char *alias_expand_word (), *expanded;
+      RESIZE_MALLOCED_BUFFER (token, token_index, 1, token_buffer_size,
+                             TOKEN_DEFAULT_GROW_SIZE);
 
-       if (expanded_token_stack && token_has_been_expanded (token))
-         goto no_expansion;
+    next_character:
+      if (character == '\n' && SHOULD_PROMPT ())
+       prompt_again ();
 
-       expanded = alias_expand_word (token);
-       if (expanded)
-         {
-           int len = strlen (expanded), expand_next;
+      /* We want to remove quoted newlines (that is, a \<newline> pair)
+        unless we are within single quotes or pass_next_character is
+        set (the shell equivalent of literal-next). */
+      cd = current_delimiter (dstack);
+      character = shell_getc (cd != '\'' && pass_next_character == 0);
+    }  /* end for (;;) */
 
-           /* Erase the current token. */
-           token_index = 0;
+got_token:
 
-           expand_next = (expanded[len - 1] == ' ') ||
-                         (expanded[len - 1] == '\t');
+  token[token_index] = '\0';
 
-           push_string (expanded, expand_next, token);
-           goto re_read_token;
-         }
-       else
-         /* This is an eligible token that does not have an expansion. */
-no_expansion:
-         expand_next_token = 0;
-      }
-    else
+  /* Check to see what thing we should return.  If the last_read_token
+     is a `<', or a `&', or the character which ended this token is
+     a '>' or '<', then, and ONLY then, is this input token a NUMBER.
+     Otherwise, it is just a word, and should be returned as such. */
+  if MBTEST(all_digit_token && (character == '<' || character == '>' || \
+                   last_read_token == LESS_AND || \
+                   last_read_token == GREATER_AND))
       {
-       expand_next_token = 0;
+       if (legal_number (token, &lvalue) && (int)lvalue == lvalue)
+         yylval.number = lvalue;
+       else
+         yylval.number = -1;
+       return (NUMBER);
       }
-#endif /* ALIAS */
 
-    if (!posixly_correct)
-      CHECK_FOR_RESERVED_WORD (token);
+  /* Check for special case tokens. */
+  result = (last_shell_getc_is_singlebyte) ? special_case_tokens (token) : -1;
+  if (result >= 0)
+    return result;
 
-    /* What if we are attempting to satisfy an open-brace grouper? */
-    if (open_brace_awaiting_satisfaction && token[0] == '}' && !token[1])
-      {
-       open_brace_awaiting_satisfaction--;
-       return ('}');
-      }
+#if defined (ALIAS)
+  /* Posix.2 does not allow reserved words to be aliased, so check for all
+     of them, including special cases, before expanding the current token
+     as an alias. */
+  if MBTEST(posixly_correct)
+    CHECK_FOR_RESERVED_WORD (token);
+
+  /* Aliases are expanded iff EXPAND_ALIASES is non-zero, and quoting
+     inhibits alias expansion. */
+  if (expand_aliases && quoted == 0)
+    {
+      result = alias_expand_token (token);
+      if (result == RE_READ_TOKEN)
+       return (RE_READ_TOKEN);
+      else if (result == NO_EXPANSION)
+       parser_state &= ~PST_ALEXPNEXT;
+    }
+
+  /* If not in Posix.2 mode, check for reserved words after alias
+     expansion. */
+  if MBTEST(posixly_correct == 0)
+#endif
+    CHECK_FOR_RESERVED_WORD (token);
+
+  the_word = (WORD_DESC *)xmalloc (sizeof (WORD_DESC));
+  the_word->word = (char *)xmalloc (1 + token_index);
+  the_word->flags = 0;
+  strcpy (the_word->word, token);
+  if (dollar_present)
+    the_word->flags |= W_HASDOLLAR;
+  if (quoted)
+    the_word->flags |= W_QUOTED;
+  if (compound_assignment)
+    the_word->flags |= W_COMPASSIGN;
+  /* A word is an assignment if it appears at the beginning of a
+     simple command, or after another assignment word.  This is
+     context-dependent, so it cannot be handled in the grammar. */
+  if (assignment (token, (parser_state & PST_COMPASSIGN) != 0))
+    {
+      the_word->flags |= W_ASSIGNMENT;
+      /* Don't perform word splitting on assignment statements. */
+      if (assignment_acceptable (last_read_token) || (parser_state & PST_COMPASSIGN) != 0)
+       the_word->flags |= W_NOSPLIT;
+    }
+
+  if (command_token_position (last_read_token))
+    {
+      struct builtin *b;
+      b = builtin_address_internal (token, 0);
+      if (b && (b->flags & ASSIGNMENT_BUILTIN))
+        parser_state |= PST_ASSIGNOK;
+    }
+
+  yylval.word = the_word;
+
+  result = ((the_word->flags & (W_ASSIGNMENT|W_NOSPLIT)) == (W_ASSIGNMENT|W_NOSPLIT))
+               ? ASSIGNMENT_WORD : WORD;
+
+  switch (last_read_token)
+    {
+    case FUNCTION:
+      parser_state |= PST_ALLOWOPNBRC;
+      function_dstart = line_number;
+      break;
+    case CASE:
+    case SELECT:
+    case FOR:
+      if (word_top < MAX_CASE_NEST)
+       word_top++;
+      word_lineno[word_top] = line_number;
+      break;
+    }
 
-    the_word = (WORD_DESC *)xmalloc (sizeof (WORD_DESC));
-    the_word->word = xmalloc (1 + token_index);
-    strcpy (the_word->word, token);
-    the_word->dollar_present = dollar_present;
-    the_word->quoted = quoted;
-    the_word->assignment = assignment (token);
-
-    yylval.word = the_word;
-    result = WORD;
-
-    /* A word is an assignment if it appears at the beginning of a
-       simple command, or after another assignment word.  This is
-       context-dependent, so it cannot be handled in the grammar. */
-    if (assignment_acceptable (last_read_token) && the_word->assignment)
-      result = ASSIGNMENT_WORD;
-
-    if (last_read_token == FUNCTION)
-      allow_open_brace = 1;
-  }
   return (result);
 }
 
-/* Return 1 if TOKEN is a token that after being read would allow
+/* Return 1 if TOKSYM is a token that after being read would allow
    a reserved word to be seen, else 0. */
 static int
-reserved_word_acceptable (token)
-     int token;
+reserved_word_acceptable (toksym)
+     int toksym;
 {
-#if 0
-  if (member (token, "\n;()|&{") ||
-#else
-  if (token == '\n' || token == ';' || token == '(' || token == ')' ||
-      token == '|' || token == '&' || token == '{' ||
-#endif
-      token == '}' ||                  /* XXX */
-      token == AND_AND ||
-      token == BANG ||
-      token == DO ||
-      token == ELIF ||
-      token == ELSE ||
-      token == FI ||
-      token == IF ||
-      token == OR_OR ||
-      token == SEMI_SEMI ||
-      token == THEN ||
-      token == UNTIL ||
-      token == WHILE ||
-      token == DONE ||         /* XXX these two are experimental */
-      token == ESAC ||
-      token == 0)
-    return (1);
-  else
-    return (0);
+  switch (toksym)
+    {
+    case '\n':
+    case ';':
+    case '(':
+    case ')':
+    case '|':
+    case '&':
+    case '{':
+    case '}':          /* XXX */
+    case AND_AND:
+    case BANG:
+    case DO:
+    case DONE:
+    case ELIF:
+    case ELSE:
+    case ESAC:
+    case FI:
+    case IF:
+    case OR_OR:
+    case SEMI_SEMI:
+    case THEN:
+    case TIME:
+    case TIMEOPT:
+    case UNTIL:
+    case WHILE:
+    case 0:
+      return 1;
+    default:
+      return 0;
+    }
 }
-
+    
 /* Return the index of TOKEN in the alist of reserved words, or -1 if
    TOKEN is not a shell reserved word. */
 int
-find_reserved_word (token)
-     char *token;
+find_reserved_word (tokstr)
+     char *tokstr;
 {
   int i;
-  for (i = 0; word_token_alist[i].word != (char *)NULL; i++)
-    if (STREQ (token, word_token_alist[i].word))
+  for (i = 0; word_token_alist[i].word; i++)
+    if (STREQ (tokstr, word_token_alist[i].word))
       return i;
   return -1;
 }
 
+#if 0
 #if defined (READLINE)
 /* Called after each time readline is called.  This insures that whatever
    the new prompt string is gets propagated to readline's local prompt
@@ -2475,26 +3781,26 @@ find_reserved_word (token)
 static void
 reset_readline_prompt ()
 {
+  char *temp_prompt;
+
   if (prompt_string_pointer)
     {
-      char *temp_prompt;
-
-      temp_prompt = *prompt_string_pointer
+      temp_prompt = (*prompt_string_pointer)
                        ? decode_prompt_string (*prompt_string_pointer)
                        : (char *)NULL;
 
       if (temp_prompt == 0)
        {
-         temp_prompt = xmalloc (1);
+         temp_prompt = (char *)xmalloc (1);
          temp_prompt[0] = '\0';
        }
 
       FREE (current_readline_prompt);
-
       current_readline_prompt = temp_prompt;
     }
 }
 #endif /* READLINE */
+#endif /* 0 */
 
 #if defined (HISTORY)
 /* A list of tokens which can be followed by newlines, but not by
@@ -2502,29 +3808,63 @@ reset_readline_prompt ()
    newline separator for such tokens is replaced with a space. */
 static int no_semi_successors[] = {
   '\n', '{', '(', ')', ';', '&', '|',
-  CASE, DO, ELSE, IF, IN, SEMI_SEMI, THEN, UNTIL, WHILE, AND_AND, OR_OR,
+  CASE, DO, ELSE, IF, SEMI_SEMI, THEN, UNTIL, WHILE, AND_AND, OR_OR, IN,
   0
 };
 
 /* If we are not within a delimited expression, try to be smart
    about which separators can be semi-colons and which must be
-   newlines. */
+   newlines.  Returns the string that should be added into the
+   history entry. */
 char *
 history_delimiting_chars ()
 {
-  if (!delimiter_depth)
+  register int i;
+
+  if (dstack.delimiter_depth != 0)
+    return ("\n");
+    
+  /* First, handle some special cases. */
+  /*(*/
+  /* If we just read `()', assume it's a function definition, and don't
+     add a semicolon.  If the token before the `)' was not `(', and we're
+     not in the midst of parsing a case statement, assume it's a
+     parenthesized command and add the semicolon. */
+  /*)(*/
+  if (token_before_that == ')')
     {
-      register int i;
+      if (two_tokens_ago == '(')       /*)*/   /* function def */
+       return " ";
+      /* This does not work for subshells inside case statement
+        command lists.  It's a suboptimal solution. */
+      else if (parser_state & PST_CASESTMT)    /* case statement pattern */
+       return " ";
+      else     
+       return "; ";                            /* (...) subshell */
+    }
+  else if (token_before_that == WORD && two_tokens_ago == FUNCTION)
+    return " ";                /* function def using `function name' without `()' */
 
-      for (i = 0; no_semi_successors[i]; i++)
-       {
-         if (token_before_that == no_semi_successors[i])
-           return (" ");
-       }
-      return ("; ");
+  else if (token_before_that == WORD && two_tokens_ago == FOR)
+    {
+      /* Tricky.  `for i\nin ...' should not have a semicolon, but
+        `for i\ndo ...' should.  We do what we can. */
+      for (i = shell_input_line_index; whitespace(shell_input_line[i]); i++)
+       ;
+      if (shell_input_line[i] && shell_input_line[i] == 'i' && shell_input_line[i+1] == 'n')
+       return " ";
+      return ";";
     }
-  else
-    return ("\n");
+  else if (two_tokens_ago == CASE && token_before_that == WORD && (parser_state & PST_CASESTMT))
+    return " ";
+
+  for (i = 0; no_semi_successors[i]; i++)
+    {
+      if (token_before_that == no_semi_successors[i])
+       return (" ");
+    }
+
+  return ("; ");
 }
 #endif /* HISTORY */
 
@@ -2535,7 +3875,7 @@ prompt_again ()
 {
   char *temp_prompt;
 
-  if (!interactive)    /* XXX */
+  if (interactive == 0 || expanding_alias())   /* XXX */
     return;
 
   ps1_prompt = get_string_value ("PS1");
@@ -2544,13 +3884,13 @@ prompt_again ()
   if (!prompt_string_pointer)
     prompt_string_pointer = &ps1_prompt;
 
-  temp_prompt = (*prompt_string_pointer)
+  temp_prompt = *prompt_string_pointer
                        ? decode_prompt_string (*prompt_string_pointer)
                        : (char *)NULL;
 
   if (temp_prompt == 0)
     {
-      temp_prompt = xmalloc (1);
+      temp_prompt = (char *)xmalloc (1);
       temp_prompt[0] = '\0';
     }
 
@@ -2571,6 +3911,20 @@ prompt_again ()
     }
 }
 
+int
+get_current_prompt_level ()
+{
+  return ((current_prompt_string && current_prompt_string == ps2_prompt) ? 2 : 1);
+}
+
+void
+set_current_prompt_level (x)
+     int x;
+{
+  prompt_string_pointer = (x == 2) ? &ps2_prompt : &ps1_prompt;
+  current_prompt_string = *prompt_string_pointer;
+}
+      
 static void
 print_prompt ()
 {
@@ -2580,37 +3934,56 @@ print_prompt ()
 
 /* Return a string which will be printed as a prompt.  The string
    may contain special characters which are decoded as follows:
-   
-       \t      the time
-       \d      the date
+
+       \a      bell (ascii 07)
+       \d      the date in Day Mon Date format
+       \e      escape (ascii 033)
+       \h      the hostname up to the first `.'
+       \H      the hostname
+       \j      the number of active jobs
+       \l      the basename of the shell's tty device name
        \n      CRLF
+       \r      CR
        \s      the name of the shell
-       \w      the current working directory
-       \W      the last element of PWD
+       \t      the time in 24-hour hh:mm:ss format
+       \T      the time in 12-hour hh:mm:ss format
+       \@      the time in 12-hour hh:mm am/pm format
+       \A      the time in 24-hour hh:mm format
+       \D{fmt} the result of passing FMT to strftime(3)
        \u      your username
-       \h      the hostname
-       \#      the command number of this command
+       \v      the version of bash (e.g., 2.00)
+       \V      the release of bash, version + patchlevel (e.g., 2.00.0)
+       \w      the current working directory
+       \W      the last element of $PWD
        \!      the history number of this command
+       \#      the command number of this command
        \$      a $ or a # if you are root
-       \<octal> character code in octal
+       \nnn    character code nnn in octal
        \\      a backslash
+       \[      begin a sequence of non-printing chars
+       \]      end a sequence of non-printing chars
 */
-#define PROMPT_GROWTH 50
+#define PROMPT_GROWTH 48
 char *
 decode_prompt_string (string)
      char *string;
 {
-  int result_size = PROMPT_GROWTH;
-  int result_index = 0;
-  char *result;
-  int c;
-  char *temp = (char *)NULL;
   WORD_LIST *list;
-
+  char *result, *t;
+  struct dstack save_dstack;
+  int last_exit_value;
 #if defined (PROMPT_STRING_DECODE)
-
-  result = xmalloc (PROMPT_GROWTH);
-  result[0] = 0;
+  int result_size, result_index;
+  int c, n;
+  char *temp, octal_string[4];
+  struct tm *tm;  
+  time_t the_time;
+  char timebuf[128];
+  char *timefmt;
+
+  result = (char *)xmalloc (result_size = PROMPT_GROWTH);
+  result[result_index = 0] = 0;
+  temp = (char *)NULL;
 
   while (c = *string++)
     {
@@ -2631,7 +4004,7 @@ decode_prompt_string (string)
                string--;       /* add_string increments string again. */
                goto add_string;
            }
-       } 
+       }
       if (c == '\\')
        {
          c = *string;
@@ -2646,171 +4019,275 @@ decode_prompt_string (string)
            case '5':
            case '6':
            case '7':
-             {
-               char octal_string[4];
-               int n;
+             strncpy (octal_string, string, 3);
+             octal_string[3] = '\0';
 
-               strncpy (octal_string, string, 3);
-               octal_string[3] = '\0';
+             n = read_octal (octal_string);
+             temp = (char *)xmalloc (3);
 
-               n = read_octal (octal_string);
-               temp = xmalloc (3);
+             if (n == CTLESC || n == CTLNUL)
+               {
+                 temp[0] = CTLESC;
+                 temp[1] = n;
+                 temp[2] = '\0';
+               }
+             else if (n == -1)
+               {
+                 temp[0] = '\\';
+                 temp[1] = '\0';
+               }
+             else
+               {
+                 temp[0] = n;
+                 temp[1] = '\0';
+               }
 
-               if (n == CTLESC || n == CTLNUL)
-                 {
-                   string += 3;
-                   temp[0] = CTLESC;
-                   temp[1] = n;
-                   temp[2] = '\0';
-                 }
-               else if (n == -1)
-                 {
-                   temp[0] = '\\';
-                   temp[1] = '\0';
-                 }
-               else
-                 {
-                   string += 3;
-                   temp[0] = n;
-                   temp[1] = '\0';
-                 }
+             for (c = 0; n != -1 && c < 3 && ISOCTAL (*string); c++)
+               string++;
+
+             c = 0;            /* tested at add_string: */
+             goto add_string;
 
-               c = 0;
-               goto add_string;
-             }
-         
-           case 't':
            case 'd':
+           case 't':
+           case 'T':
+           case '@':
+           case 'A':
              /* Make the current time/date into a string. */
-             {
-               time_t the_time = time (0);
-               char *ttemp = ctime (&the_time);
-               temp = savestring (ttemp);
+             (void) time (&the_time);
+             tm = localtime (&the_time);
+
+             if (c == 'd')
+               n = strftime (timebuf, sizeof (timebuf), "%a %b %d", tm);
+             else if (c == 't')
+               n = strftime (timebuf, sizeof (timebuf), "%H:%M:%S", tm);
+             else if (c == 'T')
+               n = strftime (timebuf, sizeof (timebuf), "%I:%M:%S", tm);
+             else if (c == '@')
+               n = strftime (timebuf, sizeof (timebuf), "%I:%M %p", tm);
+             else if (c == 'A')
+               n = strftime (timebuf, sizeof (timebuf), "%H:%M", tm);
+
+             if (n == 0)
+               timebuf[0] = '\0';
+             else
+               timebuf[sizeof(timebuf) - 1] = '\0';
 
-               if (c == 't')
-                 {
-                   strcpy (temp, temp + 11);
-                   temp[8] = '\0';
-                 }
-               else
-                 temp[10] = '\0';
+             temp = savestring (timebuf);
+             goto add_string;
+
+           case 'D':           /* strftime format */
+             if (string[1] != '{')             /* } */
+               goto not_escape;
+
+             (void) time (&the_time);
+             tm = localtime (&the_time);
+             string += 2;                      /* skip { */
+             timefmt = xmalloc (strlen (string) + 3);
+             for (t = timefmt; *string && *string != '}'; )
+               *t++ = *string++;
+             *t = '\0';
+             c = *string;      /* tested at add_string */
+             if (timefmt[0] == '\0')
+               {
+                 timefmt[0] = '%';
+                 timefmt[1] = 'X';     /* locale-specific current time */
+                 timefmt[2] = '\0';
+               }
+             n = strftime (timebuf, sizeof (timebuf), timefmt, tm);
+             free (timefmt);
+
+             if (n == 0)
+               timebuf[0] = '\0';
+             else
+               timebuf[sizeof(timebuf) - 1] = '\0';
+
+             if (promptvars || posixly_correct)
+               /* Make sure that expand_prompt_string is called with a
+                  second argument of Q_DOUBLE_QUOTES if we use this
+                  function here. */
+               temp = sh_backslash_quote_for_double_quotes (timebuf);
+             else
+               temp = savestring (timebuf);
+             goto add_string;
+             
+           case 'n':
+             temp = (char *)xmalloc (3);
+             temp[0] = no_line_editing ? '\n' : '\r';
+             temp[1] = no_line_editing ? '\0' : '\n';
+             temp[2] = '\0';
+             goto add_string;
 
-               goto add_string;
-             }
+           case 's':
+             temp = base_pathname (shell_name);
+             temp = savestring (temp);
+             goto add_string;
 
-           case 'n':
-             if (!no_line_editing)
-               temp = savestring ("\r\n");
+           case 'v':
+           case 'V':
+             temp = (char *)xmalloc (16);
+             if (c == 'v')
+               strcpy (temp, dist_version);
              else
-               temp = savestring ("\n");
+               sprintf (temp, "%s.%d", dist_version, patch_level);
              goto add_string;
 
-           case 's':
-             {
-               temp = base_pathname (shell_name);
-               temp = savestring (temp);
-               goto add_string;
-             }
-       
            case 'w':
            case 'W':
              {
-               /* Use the value of PWD because it is much more effecient. */
-#define EFFICIENT
-#ifdef EFFICIENT
-               char *polite_directory_format (), t_string[MAXPATHLEN];
+               /* Use the value of PWD because it is much more efficient. */
+               char t_string[PATH_MAX], *t;
+               int tlen;
 
                temp = get_string_value ("PWD");
 
-               if (!temp)
-                 getwd (t_string);
+               if (temp == 0)
+                 {
+                   if (getcwd (t_string, sizeof(t_string)) == 0)
+                     {
+                       t_string[0] = '.';
+                       tlen = 1;
+                     }
+                   else
+                     tlen = strlen (t_string);
+                 }
                else
-                 strcpy (t_string, temp);
-#else
-               getwd (t_string);
-#endif /* EFFICIENT */
+                 {
+                   tlen = sizeof (t_string) - 1;
+                   strncpy (t_string, temp, tlen);
+                 }
+               t_string[tlen] = '\0';
 
-               if (c == 'W')
+#define ROOT_PATH(x)   ((x)[0] == '/' && (x)[1] == 0)
+#define DOUBLE_SLASH_ROOT(x)   ((x)[0] == '/' && (x)[1] == '/' && (x)[2] == 0)
+               /* Abbreviate \W as ~ if $PWD == $HOME */
+               if (c == 'W' && (((t = get_string_value ("HOME")) == 0) || STREQ (t, t_string) == 0))
                  {
-                   char *dir = (char *)strrchr (t_string, '/');
-                   if (dir && dir != t_string)
-                     strcpy (t_string, dir + 1);
-                   temp = savestring (t_string);
+                   if (ROOT_PATH (t_string) == 0 && DOUBLE_SLASH_ROOT (t_string) == 0)
+                     {
+                       t = strrchr (t_string, '/');
+                       if (t)
+                         strcpy (t_string, t + 1);
+                     }
                  }
+#undef ROOT_PATH
+#undef DOUBLE_SLASH_ROOT
                else
-                 temp = savestring (polite_directory_format (t_string));
+                 /* polite_directory_format is guaranteed to return a string
+                    no longer than PATH_MAX - 1 characters. */
+                 strcpy (t_string, polite_directory_format (t_string));
+
+               /* If we're going to be expanding the prompt string later,
+                  quote the directory name. */
+               if (promptvars || posixly_correct)
+                 /* Make sure that expand_prompt_string is called with a
+                    second argument of Q_DOUBLE_QUOTES if we use this
+                    function here. */
+                 temp = sh_backslash_quote_for_double_quotes (t_string);
+               else
+                 temp = savestring (t_string);
+
                goto add_string;
              }
-      
+
            case 'u':
-             {
-               temp = savestring (current_user.user_name);
-               goto add_string;
-             }
+             if (current_user.user_name == 0)
+               get_current_user_info ();
+             temp = savestring (current_user.user_name);
+             goto add_string;
 
            case 'h':
-             {
-               char *t_string;
-
-               temp = savestring (current_host_name);
-               if (t_string = (char *)strchr (temp, '.'))
-                 *t_string = '\0';
-               goto add_string;
-             }
+           case 'H':
+             temp = savestring (current_host_name);
+             if (c == 'h' && (t = (char *)strchr (temp, '.')))
+               *t = '\0';
+             goto add_string;
 
            case '#':
-             {
-               temp = itos (current_command_number);
-               goto add_string;
-             }
+             temp = itos (current_command_number);
+             goto add_string;
 
            case '!':
-             {
 #if !defined (HISTORY)
-               temp = savestring ("1");
+             temp = savestring ("1");
 #else /* HISTORY */
-               temp = itos (history_number ());
+             temp = itos (history_number ());
 #endif /* HISTORY */
-               goto add_string;
-             }
+             goto add_string;
 
            case '$':
-             temp = savestring (geteuid () == 0 ? "#" : "$");
+             t = temp = (char *)xmalloc (3);
+             if ((promptvars || posixly_correct) && (current_user.euid != 0))
+               *t++ = '\\';
+             *t++ = current_user.euid == 0 ? '#' : '$';
+             *t = '\0';
+             goto add_string;
+
+           case 'j':
+             temp = itos (count_all_jobs ());
+             goto add_string;
+
+           case 'l':
+#if defined (HAVE_TTYNAME)
+             temp = (char *)ttyname (fileno (stdin));
+             t = temp ? base_pathname (temp) : "tty";
+             temp = savestring (t);
+#else
+             temp = savestring ("tty");
+#endif /* !HAVE_TTYNAME */
              goto add_string;
 
 #if defined (READLINE)
            case '[':
            case ']':
-             temp = xmalloc(3);
+             if (no_line_editing)
+               {
+                 string++;
+                 break;
+               }
+             temp = (char *)xmalloc (3);
              temp[0] = '\001';
              temp[1] = (c == '[') ? RL_PROMPT_START_IGNORE : RL_PROMPT_END_IGNORE;
              temp[2] = '\0';
              goto add_string;
-#endif
+#endif /* READLINE */
 
            case '\\':
-             temp = savestring ("\\");
+           case 'a':
+           case 'e':
+           case 'r':
+             temp = (char *)xmalloc (2);
+             if (c == 'a')
+               temp[0] = '\07';
+             else if (c == 'e')
+               temp[0] = '\033';
+             else if (c == 'r')
+               temp[0] = '\r';
+             else                      /* (c == '\\') */
+               temp[0] = c;
+             temp[1] = '\0';
              goto add_string;
 
            default:
-             temp = savestring ("\\ ");
+not_escape:
+             temp = (char *)xmalloc (3);
+             temp[0] = '\\';
              temp[1] = c;
+             temp[2] = '\0';
 
            add_string:
              if (c)
                string++;
              result =
                sub_append_string (temp, result, &result_index, &result_size);
-             temp = (char *)NULL; /* Free ()'ed in sub_append_string (). */
+             temp = (char *)NULL; /* Freed in sub_append_string (). */
              result[result_index] = '\0';
              break;
            }
        }
       else
        {
-         while (3 + result_index > result_size)
-           result = xrealloc (result, result_size += PROMPT_GROWTH);
-
+         RESIZE_MALLOCED_BUFFER (result, result_index, 3, result_size, PROMPT_GROWTH);
          result[result_index++] = c;
          result[result_index] = '\0';
        }
@@ -2819,22 +4296,148 @@ decode_prompt_string (string)
   result = savestring (string);
 #endif /* !PROMPT_STRING_DECODE */
 
+  /* Save the delimiter stack and point `dstack' to temp space so any
+     command substitutions in the prompt string won't result in screwing
+     up the parser's quoting state. */
+  save_dstack = dstack;
+  dstack = temp_dstack;
+  dstack.delimiter_depth = 0;
+
   /* Perform variable and parameter expansion and command substitution on
      the prompt string. */
-  list = expand_string_unsplit (result, 1);
-  free (result);
-  result = string_list (list);
-  dispose_words (list);
+  if (promptvars || posixly_correct)
+    {
+      last_exit_value = last_command_exit_value;
+      list = expand_prompt_string (result, Q_DOUBLE_QUOTES);
+      free (result);
+      result = string_list (list);
+      dispose_words (list);
+      last_command_exit_value = last_exit_value;
+    }
+  else
+    {
+      t = dequote_string (result);
+      free (result);
+      result = t;
+    }
+
+  dstack = save_dstack;
 
   return (result);
 }
 
+/************************************************
+ *                                             *
+ *             ERROR HANDLING                  *
+ *                                             *
+ ************************************************/
+
 /* Report a syntax error, and restart the parser.  Call here for fatal
    errors. */
-yyerror ()
+int
+yyerror (msg)
+     const char *msg;
 {
   report_syntax_error ((char *)NULL);
   reset_parser ();
+  return (0);
+}
+
+static char *
+error_token_from_token (token)
+     int token;
+{
+  char *t;
+
+  if (t = find_token_in_alist (token, word_token_alist, 0))
+    return t;
+
+  if (t = find_token_in_alist (token, other_token_alist, 0))
+    return t;
+
+  t = (char *)NULL;
+  /* This stuff is dicy and needs closer inspection */
+  switch (current_token)
+    {
+    case WORD:
+    case ASSIGNMENT_WORD:
+      if (yylval.word)
+       t = savestring (yylval.word->word);
+      break;
+    case NUMBER:
+      t = itos (yylval.number);
+      break;
+    case ARITH_CMD:
+      if (yylval.word_list)
+        t = string_list (yylval.word_list);
+      break;
+    case ARITH_FOR_EXPRS:
+      if (yylval.word_list)
+       t = string_list_internal (yylval.word_list, " ; ");
+      break;
+    case COND_CMD:
+      t = (char *)NULL;                /* punt */
+      break;
+    }
+
+  return t;
+}
+
+static char *
+error_token_from_text ()
+{
+  char *msg, *t;
+  int token_end, i;
+
+  t = shell_input_line;
+  i = shell_input_line_index;
+  token_end = 0;
+  msg = (char *)NULL;
+
+  if (i && t[i] == '\0')
+    i--;
+
+  while (i && (whitespace (t[i]) || t[i] == '\n'))
+    i--;
+
+  if (i)
+    token_end = i + 1;
+
+  while (i && (member (t[i], " \n\t;|&") == 0))
+    i--;
+
+  while (i != token_end && (whitespace (t[i]) || t[i] == '\n'))
+    i++;
+
+  /* Return our idea of the offending token. */
+  if (token_end || (i == 0 && token_end == 0))
+    {
+      if (token_end)
+       msg = substring (t, i, token_end);
+      else     /* one-character token */
+       {
+         msg = (char *)xmalloc (2);
+         msg[0] = t[i];
+         msg[1] = '\0';
+       }
+    }
+
+  return (msg);
+}
+
+static void
+print_offending_line ()
+{
+  char *msg;
+  int token_end;
+
+  msg = savestring (shell_input_line);
+  token_end = strlen (msg);
+  while (token_end && msg[token_end - 1] == '\n')
+    msg[--token_end] = '\0';
+
+  parser_error (line_number, "`%s'", msg);
+  free (msg);
 }
 
 /* Report a syntax error with line numbers, etc.
@@ -2845,97 +4448,59 @@ static void
 report_syntax_error (message)
      char *message;
 {
+  char *msg;
+
   if (message)
     {
-      if (!interactive)
-       {
-         char *name = bash_input.name ? bash_input.name : "stdin";
-         report_error ("%s: line %d: `%s'", name, line_number, message);
-       }
-      else
-       {
-         if (EOF_Reached)
-           EOF_Reached = 0;
-         report_error ("%s", message);
-       }
-
+      parser_error (line_number, "%s", message);
+      if (interactive && EOF_Reached)
+       EOF_Reached = 0;
       last_command_exit_value = EX_USAGE;
       return;
     }
 
-  if (shell_input_line && *shell_input_line)
+  /* If the line of input we're reading is not null, try to find the
+     objectionable token.  First, try to figure out what token the
+     parser's complaining about by looking at current_token. */
+  if (current_token != 0 && EOF_Reached == 0 && (msg = error_token_from_token (current_token)))
     {
-      char *t = shell_input_line;
-      register int i = shell_input_line_index;
-      int token_end = 0;
-
-      if (!t[i] && i)
-       i--;
+      parser_error (line_number, _("syntax error near unexpected token `%s'"), msg);
+      free (msg);
 
-      while (i && (t[i] == ' ' || t[i] == '\t' || t[i] == '\n'))
-       i--;
+      if (interactive == 0)
+       print_offending_line ();
 
-      if (i)
-       token_end = i + 1;
-
-      while (i && !member (t[i], " \n\t;|&"))
-       i--;
-
-      while (i != token_end && member (t[i], " \t\n"))
-       i++;
-
-      if (token_end)
-       {
-         char *error_token;
-         error_token = xmalloc (1 + (token_end - i));
-         strncpy (error_token, t + i, token_end - i);
-         error_token[token_end - i] = '\0';
+      last_command_exit_value = EX_USAGE;
+      return;
+    }
 
-         report_error ("syntax error near unexpected token `%s'", error_token);
-         free (error_token);
-       }
-      else if ((i == 0) && (token_end == 0))   /* a 1-character token */
+  /* If looking at the current token doesn't prove fruitful, try to find the
+     offending token by analyzing the text of the input line near the current
+     input line index and report what we find. */
+  if (shell_input_line && *shell_input_line)
+    {
+      msg = error_token_from_text ();
+      if (msg)
        {
-         char etoken[2];
-         etoken[0] = t[i];
-         etoken[1] = '\0';
-
-         report_error ("syntax error near unexpected token `%s'", etoken);
+         parser_error (line_number, _("syntax error near `%s'"), msg);
+         free (msg);
        }
 
-      if (!interactive)
-       {
-         char *temp = savestring (shell_input_line);
-         char *name = bash_input.name ? bash_input.name : "stdin";
-         int l = strlen (temp);
-
-         while (l && temp[l - 1] == '\n')
-           temp[--l] = '\0';
-
-         report_error ("%s: line %d: `%s'", name, line_number, temp);
-         free (temp);
-       }
+      /* If not interactive, print the line containing the error. */
+      if (interactive == 0)
+        print_offending_line ();
     }
   else
     {
-      char *name, *msg;
-      if (!interactive)
-       name = bash_input.name ? bash_input.name : "stdin";
-      if (EOF_Reached)
-       msg = "syntax error: unexpected end of file";
-      else
-       msg = "syntax error";
-      if (!interactive)
-       report_error ("%s: line %d: %s", name, line_number, msg);
-      else
-       {
-         /* This file uses EOF_Reached only for error reporting
-            when the shell is interactive.  Other mechanisms are 
-            used to decide whether or not to exit. */
-         EOF_Reached = 0;
-         report_error (msg);
-       }
+      msg = EOF_Reached ? _("syntax error: unexpected end of file") : _("syntax error");
+      parser_error (line_number, "%s", msg);
+      /* When the shell is interactive, this file uses EOF_Reached
+        only for error reporting.  Other mechanisms are used to
+        decide whether or not to exit. */
+      if (interactive && EOF_Reached)
+       EOF_Reached = 0;
     }
+
   last_command_exit_value = EX_USAGE;
 }
 
@@ -2943,12 +4508,19 @@ report_syntax_error (message)
    created during parsing.  In the case of error, we want to return
    allocated objects to the memory pool.  In the case of no error, we want
    to throw away the information about where the allocated objects live.
-   (dispose_command () will actually free the command. */
+   (dispose_command () will actually free the command.) */
+static void
 discard_parser_constructs (error_p)
      int error_p;
 {
 }
-   
+
+/************************************************
+ *                                             *
+ *             EOF HANDLING                    *
+ *                                             *
+ ************************************************/
+
 /* Do that silly `type "bye" to exit' stuff.  You know, "ignoreeof". */
 
 /* A flag denoting whether or not ignoreeof is set. */
@@ -2982,15 +4554,16 @@ handle_eof_input_unit ()
        {
          if (eof_encountered < eof_encountered_limit)
            {
-             fprintf (stderr, "Use \"%s\" to leave the shell.\n",
+             fprintf (stderr, _("Use \"%s\" to leave the shell.\n"),
                       login_shell ? "logout" : "exit");
              eof_encountered++;
+             /* Reset the parsing state. */
+             last_read_token = current_token = '\n';
              /* Reset the prompt string to be $PS1. */
              prompt_string_pointer = (char **)NULL;
              prompt_again ();
-             last_read_token = current_token = '\n';
              return;
-           } 
+           }
        }
 
       /* In this case EOF should exit the shell.  Do it now. */
@@ -3003,3 +4576,342 @@ handle_eof_input_unit ()
       EOF_Reached = 1;
     }
 }
+
+/************************************************
+ *                                             *
+ *     STRING PARSING FUNCTIONS                *
+ *                                             *
+ ************************************************/
+
+/* It's very important that these two functions treat the characters
+   between ( and ) identically. */
+
+static WORD_LIST parse_string_error;
+
+/* Take a string and run it through the shell parser, returning the
+   resultant word list.  Used by compound array assignment. */
+WORD_LIST *
+parse_string_to_word_list (s, flags, whom)
+     char *s;
+     int flags;
+     const char *whom;
+{
+  WORD_LIST *wl;
+  int tok, orig_current_token, orig_line_number, orig_input_terminator;
+  int orig_line_count;
+  int old_echo_input, old_expand_aliases;
+#if defined (HISTORY)
+  int old_remember_on_history, old_history_expansion_inhibited;
+#endif
+
+#if defined (HISTORY)
+  old_remember_on_history = remember_on_history;
+#  if defined (BANG_HISTORY)
+  old_history_expansion_inhibited = history_expansion_inhibited;
+#  endif
+  bash_history_disable ();
+#endif
+
+  orig_line_number = line_number;
+  orig_line_count = current_command_line_count;
+  orig_input_terminator = shell_input_line_terminator;
+  old_echo_input = echo_input_at_read;
+  old_expand_aliases = expand_aliases;
+
+  push_stream (1);
+  last_read_token = WORD;              /* WORD to allow reserved words here */
+  current_command_line_count = 0;
+  echo_input_at_read = expand_aliases = 0;
+
+  with_input_from_string (s, whom);
+  wl = (WORD_LIST *)NULL;
+
+  if (flags & 1)
+    parser_state |= PST_COMPASSIGN;
+
+  while ((tok = read_token (READ)) != yacc_EOF)
+    {
+      if (tok == '\n' && *bash_input.location.string == '\0')
+       break;
+      if (tok == '\n')         /* Allow newlines in compound assignments */
+       continue;
+      if (tok != WORD && tok != ASSIGNMENT_WORD)
+       {
+         line_number = orig_line_number + line_number - 1;
+         orig_current_token = current_token;
+         current_token = tok;
+         yyerror (NULL);       /* does the right thing */
+         current_token = orig_current_token;
+         if (wl)
+           dispose_words (wl);
+         wl = &parse_string_error;
+         break;
+       }
+      wl = make_word_list (yylval.word, wl);
+    }
+  
+  last_read_token = '\n';
+  pop_stream ();
+
+#if defined (HISTORY)
+  remember_on_history = old_remember_on_history;
+#  if defined (BANG_HISTORY)
+  history_expansion_inhibited = old_history_expansion_inhibited;
+#  endif /* BANG_HISTORY */
+#endif /* HISTORY */
+
+  echo_input_at_read = old_echo_input;
+  expand_aliases = old_expand_aliases;
+
+  current_command_line_count = orig_line_count;
+  shell_input_line_terminator = orig_input_terminator;
+
+  if (flags & 1)
+    parser_state &= ~PST_COMPASSIGN;
+
+  if (wl == &parse_string_error)
+    {
+      last_command_exit_value = EXECUTION_FAILURE;
+      if (interactive_shell == 0 && posixly_correct)
+       jump_to_top_level (FORCE_EOF);
+      else
+       jump_to_top_level (DISCARD);
+    }
+
+  return (REVERSE_LIST (wl, WORD_LIST *));
+}
+
+static char *
+parse_compound_assignment (retlenp)
+     int *retlenp;
+{
+  WORD_LIST *wl, *rl;
+  int tok, orig_line_number, orig_token_size;
+  char *saved_token, *ret;
+
+  saved_token = token;
+  orig_token_size = token_buffer_size;
+  orig_line_number = line_number;
+
+  last_read_token = WORD;      /* WORD to allow reserved words here */
+
+  token = (char *)NULL;
+  token_buffer_size = 0;
+
+  wl = (WORD_LIST *)NULL;      /* ( */
+  parser_state |= PST_COMPASSIGN;
+
+  while ((tok = read_token (READ)) != ')')
+    {
+      if (tok == '\n')                 /* Allow newlines in compound assignments */
+       {
+         if (SHOULD_PROMPT ())
+           prompt_again ();
+         continue;
+       }
+      if (tok != WORD && tok != ASSIGNMENT_WORD)
+       {
+         current_token = tok;  /* for error reporting */
+         if (tok == yacc_EOF)  /* ( */
+           parser_error (orig_line_number, _("unexpected EOF while looking for matching `)'"));
+         else
+           yyerror(NULL);      /* does the right thing */
+         if (wl)
+           dispose_words (wl);
+         wl = &parse_string_error;
+         break;
+       }
+      wl = make_word_list (yylval.word, wl);
+    }
+
+  FREE (token);
+  token = saved_token;
+  token_buffer_size = orig_token_size;
+
+  parser_state &= ~PST_COMPASSIGN;
+
+  if (wl == &parse_string_error)
+    {
+      last_command_exit_value = EXECUTION_FAILURE;
+      last_read_token = '\n';  /* XXX */
+      if (interactive_shell == 0 && posixly_correct)
+       jump_to_top_level (FORCE_EOF);
+      else
+       jump_to_top_level (DISCARD);
+    }
+
+  last_read_token = WORD;
+  if (wl)
+    {
+      rl = REVERSE_LIST (wl, WORD_LIST *);
+      ret = string_list (rl);
+      dispose_words (rl);
+    }
+  else
+    ret = (char *)NULL;
+
+  if (retlenp)
+    *retlenp = (ret && *ret) ? strlen (ret) : 0;
+  return ret;
+}
+
+/************************************************
+ *                                             *
+ *   SAVING AND RESTORING PARTIAL PARSE STATE   *
+ *                                             *
+ ************************************************/
+
+sh_parser_state_t *
+save_parser_state (ps)
+     sh_parser_state_t *ps;
+{
+#if defined (ARRAY_VARS)
+  SHELL_VAR *v;
+#endif
+
+  if (ps == 0)
+    ps = (sh_parser_state_t *)xmalloc (sizeof (sh_parser_state_t));
+  if (ps == 0)
+    return ((sh_parser_state_t *)NULL);
+
+  ps->parser_state = parser_state;
+  ps->token_state = save_token_state ();
+
+  ps->input_line_terminator = shell_input_line_terminator;
+  ps->eof_encountered = eof_encountered;
+
+  ps->current_command_line_count = current_command_line_count;
+
+#if defined (HISTORY)
+  ps->remember_on_history = remember_on_history;
+#  if defined (BANG_HISTORY)
+  ps->history_expansion_inhibited = history_expansion_inhibited;
+#  endif
+#endif
+
+  ps->last_command_exit_value = last_command_exit_value;
+#if defined (ARRAY_VARS)
+  v = find_variable ("PIPESTATUS");
+  if (v && array_p (v) && array_cell (v))
+    ps->pipestatus = array_copy (array_cell (v));
+  else
+    ps->pipestatus = (ARRAY *)NULL;
+#endif
+    
+  ps->last_shell_builtin = last_shell_builtin;
+  ps->this_shell_builtin = this_shell_builtin;
+
+  ps->expand_aliases = expand_aliases;
+  ps->echo_input_at_read = echo_input_at_read;
+
+  return (ps);
+}
+
+void
+restore_parser_state (ps)
+     sh_parser_state_t *ps;
+{
+#if defined (ARRAY_VARS)
+  SHELL_VAR *v;
+#endif
+
+  if (ps == 0)
+    return;
+
+  parser_state = ps->parser_state;
+  if (ps->token_state)
+    {
+      restore_token_state (ps->token_state);
+      free (ps->token_state);
+    }
+
+  shell_input_line_terminator = ps->input_line_terminator;
+  eof_encountered = ps->eof_encountered;
+
+  current_command_line_count = ps->current_command_line_count;
+
+#if defined (HISTORY)
+  remember_on_history = ps->remember_on_history;
+#  if defined (BANG_HISTORY)
+  history_expansion_inhibited = ps->history_expansion_inhibited;
+#  endif
+#endif
+
+  last_command_exit_value = ps->last_command_exit_value;
+#if defined (ARRAY_VARS)
+  v = find_variable ("PIPESTATUS");
+  if (v && array_p (v) && array_cell (v))
+    {
+      array_dispose (array_cell (v));
+      var_setarray (v, ps->pipestatus);
+    }
+#endif
+
+  last_shell_builtin = ps->last_shell_builtin;
+  this_shell_builtin = ps->this_shell_builtin;
+
+  expand_aliases = ps->expand_aliases;
+  echo_input_at_read = ps->echo_input_at_read;
+}
+
+/************************************************
+ *                                             *
+ *     MULTIBYTE CHARACTER HANDLING            *
+ *                                             *
+ ************************************************/
+
+#if defined (HANDLE_MULTIBYTE)
+static void
+set_line_mbstate ()
+{
+  int i, previ, len, c;
+  mbstate_t mbs, prevs;
+  size_t mbclen;
+
+  if (shell_input_line == NULL)
+    return;
+  len = strlen (shell_input_line);     /* XXX - shell_input_line_len ? */
+  FREE (shell_input_line_property);
+  shell_input_line_property = (char *)xmalloc (len + 1);
+
+  memset (&prevs, '\0', sizeof (mbstate_t));
+  for (i = previ = 0; i < len; i++)
+    {
+      mbs = prevs;
+
+      c = shell_input_line[i];
+      if (c == EOF)
+       {
+         int j;
+         for (j = i; j < len; j++)
+           shell_input_line_property[j] = 1;
+         break;
+       }
+
+      mbclen = mbrlen (shell_input_line + previ, i - previ + 1, &mbs);
+      if (mbclen == 1 || mbclen == (size_t)-1)
+       {
+         mbclen = 1;
+         previ = i + 1;
+       }
+      else if (mbclen == (size_t)-2)
+        mbclen = 0;
+      else if (mbclen > 1)
+       {
+         mbclen = 0;
+         previ = i + 1;
+         prevs = mbs;
+       }
+      else
+       {
+         /* XXX - what to do if mbrlen returns 0? (null wide character) */
+         int j;
+         for (j = i; j < len; j++)
+           shell_input_line_property[j] = 1;
+         break;
+       }
+
+      shell_input_line_property[i] = mbclen;
+    }
+}
+#endif /* HANDLE_MULTIBYTE */