Bash-4.3 distribution sources and documentation
[platform/upstream/bash.git] / lib / readline / histexpand.c
index 6c81196..4899b9d 100644 (file)
@@ -1,24 +1,23 @@
 /* histexpand.c -- history expansion. */
 
-/* Copyright (C) 1989, 1992 Free Software Foundation, Inc.
+/* Copyright (C) 1989-2012 Free Software Foundation, Inc.
 
-   This file contains the GNU History Library (the Library), a set of
+   This file contains the GNU History Library (History), a set of
    routines for managing the text of previously typed lines.
 
-   The Library is free software; you can redistribute it and/or modify
+   History is free software: you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
-   the Free Software Foundation; either version 2, or (at your option)
-   any later version.
+   the Free Software Foundation, either version 3 of the License, or
+   (at your option) any later version.
 
-   The Library is distributed in the hope that it will be useful, but
-   WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-   General Public License for more details.
+   History is distributed in the hope that it will be useful,
+   but WITHOUT ANY WARRANTY; without even the implied warranty of
+   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+   GNU General Public License for more details.
 
-   The GNU General Public License is often shipped with GNU software, and
-   is generally kept in a file called COPYING or LICENSE.  If you do not
-   have a copy of the license, write to the Free Software Foundation,
-   59 Temple Place, Suite 330, Boston, MA 02111 USA. */
+   You should have received a copy of the GNU General Public License
+   along with History.  If not, see <http://www.gnu.org/licenses/>.
+*/
 
 #define READLINE_LIBRARY
 
@@ -52,9 +51,9 @@
 #define HISTORY_WORD_DELIMITERS                " \t\n;&()|<>"
 #define HISTORY_QUOTE_CHARACTERS       "\"'`"
 
-typedef int _hist_search_func_t PARAMS((const char *, int));
+#define slashify_in_quotes "\\`\"$"
 
-extern int rl_byte_oriented;   /* declared in mbutil.c */
+typedef int _hist_search_func_t PARAMS((const char *, int));
 
 static char error_pointer;
 
@@ -64,6 +63,10 @@ static int subst_lhs_len;
 static int subst_rhs_len;
 
 static char *get_history_word_specifier PARAMS((char *, char *, int *));
+static int history_tokenize_word PARAMS((const char *, int));
+static char **history_tokenize_internal PARAMS((const char *, int, int *));
+static char *history_substring PARAMS((const char *, int, int));
+static void freewords PARAMS((char **, int));
 static char *history_find_word PARAMS((char *, int));
 
 static char *quote_breaks PARAMS((char *));
@@ -202,23 +205,24 @@ get_history_event (string, caller_index, delimiting_quote)
 
   /* Only a closing `?' or a newline delimit a substring search string. */
   for (local_index = i; c = string[i]; i++)
+    {
 #if defined (HANDLE_MULTIBYTE)
-    if (MB_CUR_MAX > 1 && rl_byte_oriented == 0)
-      {
-       int v;
-       mbstate_t ps;
+      if (MB_CUR_MAX > 1 && rl_byte_oriented == 0)
+       {
+         int v;
+         mbstate_t ps;
+
+         memset (&ps, 0, sizeof (mbstate_t));
+         /* These produce warnings because we're passing a const string to a
+            function that takes a non-const string. */
+         _rl_adjust_point ((char *)string, i, &ps);
+         if ((v = _rl_get_char_len ((char *)string + i, &ps)) > 1)
+           {
+             i += v - 1;
+             continue;
+           }
+        }
 
-       memset (&ps, 0, sizeof (mbstate_t));
-       /* These produce warnings because we're passing a const string to a
-          function that takes a non-const string. */
-       _rl_adjust_point (string, i, &ps);
-       if ((v = _rl_get_char_len (string + i, &ps)) > 1)
-         {
-           i += v - 1;
-           continue;
-         }
-      }
-    else
 #endif /* HANDLE_MULTIBYTE */
       if ((!substring_okay && (whitespace (c) || c == ':' ||
          (history_search_delimiter_chars && member (c, history_search_delimiter_chars)) ||
@@ -226,6 +230,7 @@ get_history_event (string, caller_index, delimiting_quote)
          string[i] == '\n' ||
          (substring_okay && string[i] == '?'))
        break;
+    }
 
   which = i - local_index;
   temp = (char *)xmalloc (1 + which);
@@ -240,7 +245,7 @@ get_history_event (string, caller_index, delimiting_quote)
 
 #define FAIL_SEARCH() \
   do { \
-    history_offset = history_length; free (temp) ; return (char *)NULL; \
+    history_offset = history_length; xfree (temp) ; return (char *)NULL; \
   } while (0)
 
   /* If there is no search string, try to use the previous search string,
@@ -249,7 +254,7 @@ get_history_event (string, caller_index, delimiting_quote)
     {
       if (search_string)
         {
-          free (temp);
+          xfree (temp);
           temp = savestring (search_string);
         }
       else
@@ -267,6 +272,8 @@ get_history_event (string, caller_index, delimiting_quote)
       if (local_index == 0 || substring_okay)
        {
          entry = current_history ();
+         if (entry == 0)
+           FAIL_SEARCH ();
          history_offset = history_length;
        
          /* If this was a substring search, then remember the
@@ -280,7 +287,7 @@ get_history_event (string, caller_index, delimiting_quote)
              search_match = history_find_word (entry->line, local_index);
            }
          else
-           free (temp);
+           xfree (temp);
 
          return (entry->line);
        }
@@ -300,16 +307,20 @@ get_history_event (string, caller_index, delimiting_quote)
 /* Extract the contents of STRING as if it is enclosed in single quotes.
    SINDEX, when passed in, is the offset of the character immediately
    following the opening single quote; on exit, SINDEX is left pointing
-   to the closing single quote. */
+   to the closing single quote.  FLAGS currently used to allow backslash
+   to escape a single quote (e.g., for bash $'...'). */
 static void
-hist_string_extract_single_quoted (string, sindex)
+hist_string_extract_single_quoted (string, sindex, flags)
      char *string;
-     int *sindex;
+     int *sindex, flags;
 {
   register int i;
 
   for (i = *sindex; string[i] && string[i] != '\''; i++)
-    ;
+    {
+      if ((flags & 1) && string[i] == '\\' && string[i+1])
+        i++;
+    }
 
   *sindex = i;
 }
@@ -499,7 +510,7 @@ postproc_subst_rhs ()
        }
     }
   new[j] = '\0';
-  free (subst_rhs);
+  xfree (subst_rhs);
   subst_rhs = new;
   subst_rhs_len = j;
 }
@@ -510,14 +521,14 @@ postproc_subst_rhs ()
    the returned string.  Returns the new index into string in
    *END_INDEX_PTR, and the expanded specifier in *RET_STRING. */
 static int
-history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
+history_expand_internal (string, start, qc, end_index_ptr, ret_string, current_line)
      char *string;
-     int start, *end_index_ptr;
+     int start, qc, *end_index_ptr;
      char **ret_string;
      char *current_line;       /* for !# */
 {
   int i, n, starting_index;
-  int substitute_globally, want_quotes, print_only;
+  int substitute_globally, subst_bywords, want_quotes, print_only;
   char *event, *temp, *result, *tstr, *t, c, *word_spec;
   int result_len;
 #if defined (HANDLE_MULTIBYTE)
@@ -548,35 +559,12 @@ history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
       event = current_line;
     }
   else
-    {
-      int quoted_search_delimiter = 0;
-
-      /* If the character before this `!' is a double or single
-        quote, then this expansion takes place inside of the
-        quoted string.  If we have to search for some text ("!foo"),
-        allow the delimiter to end the search string. */
-#if defined (HANDLE_MULTIBYTE)
-      if (MB_CUR_MAX > 1 && rl_byte_oriented == 0)
-       {
-         int c, l;
-         l = _rl_find_prev_mbchar (string, i, MB_FIND_ANY);
-         c = string[l];
-         /* XXX - original patch had i - 1 ???  If i == 0 it would fail. */
-         if (i && (c == '\'' || c == '"'))
-           quoted_search_delimiter = c;
-       }
-      else
-#endif /* HANDLE_MULTIBYTE */    
-       if (i && (string[i - 1] == '\'' || string[i - 1] == '"'))
-         quoted_search_delimiter = string[i - 1];
-
-      event = get_history_event (string, &i, quoted_search_delimiter);
-    }
+    event = get_history_event (string, &i, qc);
          
   if (event == 0)
     {
       *ret_string = hist_error (string, start, i, EVENT_NOT_FOUND);
-      free (result);
+      xfree (result);
       return (-1);
     }
 
@@ -590,7 +578,7 @@ history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
   if (word_spec == (char *)&error_pointer)
     {
       *ret_string = hist_error (string, starting_index, i, BAD_WORD_SPEC);
-      free (result);
+      xfree (result);
       return (-1);
     }
 
@@ -599,26 +587,32 @@ history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
   FREE (word_spec);
 
   /* Perhaps there are other modifiers involved.  Do what they say. */
-  want_quotes = substitute_globally = print_only = 0;
+  want_quotes = substitute_globally = subst_bywords = print_only = 0;
   starting_index = i;
 
   while (string[i] == ':')
     {
       c = string[i + 1];
 
-      if (c == 'g')
+      if (c == 'g' || c == 'a')
        {
          substitute_globally = 1;
          i++;
          c = string[i + 1];
        }
+      else if (c == 'G')
+       {
+         subst_bywords = 1;
+         i++;
+         c = string[i + 1];
+       }
 
       switch (c)
        {
        default:
          *ret_string = hist_error (string, i+1, i+2, BAD_MODIFIER);
-         free (result);
-         free (temp);
+         xfree (result);
+         xfree (temp);
          return -1;
 
        case 'q':
@@ -643,7 +637,7 @@ history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
            {
              tstr++;
              t = savestring (tstr);
-             free (temp);
+             xfree (temp);
              temp = t;
            }
          break;
@@ -668,7 +662,7 @@ history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
          if (tstr)
            {
              t = savestring (tstr);
-             free (temp);
+             xfree (temp);
              temp = t;
            }
          break;
@@ -683,7 +677,7 @@ history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
        case 's':
          {
            char *new_event;
-           int delimiter, failed, si, l_temp;
+           int delimiter, failed, si, l_temp, ws, we;
 
            if (c == 's')
              {
@@ -744,8 +738,8 @@ history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
            if (subst_lhs_len == 0)
              {
                *ret_string = hist_error (string, starting_index, i, NO_PREV_SUBST);
-               free (result);
-               free (temp);
+               xfree (result);
+               xfree (temp);
                return -1;
              }
 
@@ -754,39 +748,73 @@ history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
            if (subst_lhs_len > l_temp)
              {
                *ret_string = hist_error (string, starting_index, i, SUBST_FAILED);
-               free (result);
-               free (temp);
+               xfree (result);
+               xfree (temp);
                return (-1);
              }
 
            /* Find the first occurrence of THIS in TEMP. */
-           si = 0;
+           /* Substitute SUBST_RHS for SUBST_LHS in TEMP.  There are three
+              cases to consider:
+
+                1.  substitute_globally == subst_bywords == 0
+                2.  substitute_globally == 1 && subst_bywords == 0
+                3.  substitute_globally == 0 && subst_bywords == 1
+
+              In the first case, we substitute for the first occurrence only.
+              In the second case, we substitute for every occurrence.
+              In the third case, we tokenize into words and substitute the
+              first occurrence of each word. */
+
+           si = we = 0;
            for (failed = 1; (si + subst_lhs_len) <= l_temp; si++)
-             if (STREQN (temp+si, subst_lhs, subst_lhs_len))
-               {
-                 int len = subst_rhs_len - subst_lhs_len + l_temp;
-                 new_event = (char *)xmalloc (1 + len);
-                 strncpy (new_event, temp, si);
-                 strncpy (new_event + si, subst_rhs, subst_rhs_len);
-                 strncpy (new_event + si + subst_rhs_len,
-                          temp + si + subst_lhs_len,
-                          l_temp - (si + subst_lhs_len));
-                 new_event[len] = '\0';
-                 free (temp);
-                 temp = new_event;
-
-                 failed = 0;
-
-                 if (substitute_globally)
-                   {
-                     si += subst_rhs_len;
-                     l_temp = strlen (temp);
-                     substitute_globally++;
-                     continue;
-                   }
-                 else
-                   break;
-               }
+             {
+               /* First skip whitespace and find word boundaries if
+                  we're past the end of the word boundary we found
+                  the last time. */
+               if (subst_bywords && si > we)
+                 {
+                   for (; temp[si] && whitespace (temp[si]); si++)
+                     ;
+                   ws = si;
+                   we = history_tokenize_word (temp, si);
+                 }
+
+               if (STREQN (temp+si, subst_lhs, subst_lhs_len))
+                 {
+                   int len = subst_rhs_len - subst_lhs_len + l_temp;
+                   new_event = (char *)xmalloc (1 + len);
+                   strncpy (new_event, temp, si);
+                   strncpy (new_event + si, subst_rhs, subst_rhs_len);
+                   strncpy (new_event + si + subst_rhs_len,
+                            temp + si + subst_lhs_len,
+                            l_temp - (si + subst_lhs_len));
+                   new_event[len] = '\0';
+                   xfree (temp);
+                   temp = new_event;
+
+                   failed = 0;
+
+                   if (substitute_globally)
+                     {
+                       /* Reported to fix a bug that causes it to skip every
+                          other match when matching a single character.  Was
+                          si += subst_rhs_len previously. */
+                       si += subst_rhs_len - 1;
+                       l_temp = strlen (temp);
+                       substitute_globally++;
+                       continue;
+                     }
+                   else if (subst_bywords)
+                     {
+                       si = we;
+                       l_temp = strlen (temp);
+                       continue;
+                     }
+                   else
+                     break;
+                 }
+             }
 
            if (substitute_globally > 1)
              {
@@ -798,14 +826,14 @@ history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
              continue;         /* don't want to increment i */
 
            *ret_string = hist_error (string, starting_index, i, SUBST_FAILED);
-           free (result);
-           free (temp);
+           xfree (result);
+           xfree (temp);
            return (-1);
          }
        }
       i += 2;
     }
-  /* Done with modfiers. */
+  /* Done with modifiers. */
   /* Believe it or not, we have to back the pointer up by one. */
   --i;
 
@@ -820,7 +848,7 @@ history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
       else
        x = savestring (temp);
 
-      free (temp);
+      xfree (temp);
       temp = x;
     }
 
@@ -828,7 +856,7 @@ history_expand_internal (string, start, end_index_ptr, ret_string, current_line)
   if (n >= result_len)
     result = (char *)xrealloc (result, n + 2);
   strcpy (result, temp);
-  free (temp);
+  xfree (temp);
 
   *end_index_ptr = i;
   *ret_string = result;
@@ -879,7 +907,7 @@ history_expand (hstring, output)
      char **output;
 {
   register int j;
-  int i, r, l, passc, cc, modified, eindex, only_printing;
+  int i, r, l, passc, cc, modified, eindex, only_printing, dquote, squote, flag;
   char *string;
 
   /* The output string, and its length. */
@@ -942,7 +970,7 @@ history_expand (hstring, output)
 
       /* `!' followed by one of the characters in history_no_expand_chars
         is NOT an expansion. */
-      for (i = 0; string[i]; i++)
+      for (i = dquote = squote = 0; string[i]; i++)
        {
 #if defined (HANDLE_MULTIBYTE)
          if (MB_CUR_MAX > 1 && rl_byte_oriented == 0)
@@ -971,7 +999,14 @@ history_expand (hstring, output)
            }
          else if (string[i] == history_expansion_char)
            {
-             if (!cc || member (cc, history_no_expand_chars))
+             if (cc == 0 || member (cc, history_no_expand_chars))
+               continue;
+             /* DQUOTE won't be set unless history_quotes_inhibit_expansion
+                is set.  The idea here is to treat double-quoted strings the
+                same as the word outside double quotes; in effect making the
+                double quote part of history_no_expand_chars when DQUOTE is
+                set. */
+             else if (dquote && cc == '"')
                continue;
              /* If the calling application has set
                 history_inhibit_expansion_function to a function that checks
@@ -984,13 +1019,24 @@ history_expand (hstring, output)
              else
                break;
            }
-         /* XXX - at some point, might want to extend this to handle
-                  double quotes as well. */
-         else if (history_quotes_inhibit_expansion && string[i] == '\'')
+         /* Shell-like quoting: allow backslashes to quote double quotes
+            inside a double-quoted string. */
+         else if (dquote && string[i] == '\\' && cc == '"')
+           i++;
+         /* More shell-like quoting:  if we're paying attention to single
+            quotes and letting them quote the history expansion character,
+            then we need to pay attention to double quotes, because single
+            quotes are not special inside double-quoted strings. */
+         else if (history_quotes_inhibit_expansion && string[i] == '"')
+           {
+             dquote = 1 - dquote;
+           }
+         else if (dquote == 0 && history_quotes_inhibit_expansion && string[i] == '\'')
            {
              /* If this is bash, single quotes inhibit history expansion. */
+             flag = (i > 0 && string[i - 1] == '$');
              i++;
-             hist_string_extract_single_quoted (string, &i);
+             hist_string_extract_single_quoted (string, &i, flag);
            }
          else if (history_quotes_inhibit_expansion && string[i] == '\\')
            {
@@ -999,20 +1045,21 @@ history_expand (hstring, output)
              if (cc == '\'' || cc == history_expansion_char)
                i++;
            }
+         
        }
          
       if (string[i] != history_expansion_char)
        {
-         free (result);
+         xfree (result);
          *output = savestring (string);
          return (0);
        }
     }
 
   /* Extract and perform the substitution. */
-  for (passc = i = j = 0; i < l; i++)
+  for (passc = dquote = squote = i = j = 0; i < l; i++)
     {
-      int tchar = string[i];
+      int qc, tchar = string[i];
 
       if (passc)
        {
@@ -1040,7 +1087,7 @@ history_expand (hstring, output)
          if (strlen (mb) > 1)
            {
              ADD_STRING (mb);
-             break;
+             continue;
            }
        }
 #endif /* HANDLE_MULTIBYTE */
@@ -1061,23 +1108,40 @@ history_expand (hstring, output)
          ADD_CHAR (tchar);
          break;
 
+       case '"':
+         dquote = 1 - dquote;
+         ADD_CHAR (tchar);
+         break;
+         
        case '\'':
          {
            /* If history_quotes_inhibit_expansion is set, single quotes
-              inhibit history expansion. */
-           if (history_quotes_inhibit_expansion)
+              inhibit history expansion, otherwise they are treated like
+              double quotes. */
+           if (squote)
+             {
+               squote = 0;
+               ADD_CHAR (tchar);
+             }
+           else if (dquote == 0 && history_quotes_inhibit_expansion)
              {
                int quote, slen;
 
+               flag = (i > 0 && string[i - 1] == '$');
                quote = i++;
-               hist_string_extract_single_quoted (string, &i);
+               hist_string_extract_single_quoted (string, &i, flag);
 
                slen = i - quote + 2;
                temp = (char *)xmalloc (slen);
                strncpy (temp, string + quote, slen);
                temp[slen - 1] = '\0';
                ADD_STRING (temp);
-               free (temp);
+               xfree (temp);
+             }
+           else if (dquote == 0 && squote == 0 && history_quotes_inhibit_expansion == 0)
+             {
+               squote = 1;
+               ADD_CHAR (string[i]);
              }
            else
              ADD_CHAR (string[i]);
@@ -1090,7 +1154,7 @@ history_expand (hstring, output)
              temp = (char *)xmalloc (l - i + 1);
              strcpy (temp, string + i);
              ADD_STRING (temp);
-             free (temp);
+             xfree (temp);
              i = l;
            }
          else
@@ -1103,7 +1167,9 @@ history_expand (hstring, output)
          /* If the history_expansion_char is followed by one of the
             characters in history_no_expand_chars, then it is not a
             candidate for expansion of any kind. */
-         if (member (cc, history_no_expand_chars))
+         if (cc == 0 || member (cc, history_no_expand_chars) ||
+                        (dquote && cc == '"') ||
+                        (history_inhibit_expansion_function && (*history_inhibit_expansion_function) (string, i)))
            {
              ADD_CHAR (string[i]);
              break;
@@ -1122,20 +1188,20 @@ history_expand (hstring, output)
                  temp = (char *)xmalloc (1 + strlen (result));
                  strcpy (temp, result);
                  ADD_STRING (temp);
-                 free (temp);
+                 xfree (temp);
                }
              i++;
              break;
            }
 #endif
-
-         r = history_expand_internal (string, i, &eindex, &temp, result);
+         qc = squote ? '\'' : (dquote ? '"' : 0);
+         r = history_expand_internal (string, i, qc, &eindex, &temp, result);
          if (r < 0)
            {
              *output = temp;
-             free (result);
+             xfree (result);
              if (string != hstring)
-               free (string);
+               xfree (string);
              return -1;
            }
          else
@@ -1145,7 +1211,7 @@ history_expand (hstring, output)
                  modified++;
                  if (*temp)
                    ADD_STRING (temp);
-                 free (temp);
+                 xfree (temp);
                }
              only_printing = r == 1;
              i = eindex;
@@ -1156,11 +1222,13 @@ history_expand (hstring, output)
 
   *output = result;
   if (string != hstring)
-    free (string);
+    xfree (string);
 
   if (only_printing)
     {
+#if 0
       add_history (result);
+#endif
       return (2);
     }
 
@@ -1223,7 +1291,10 @@ get_history_word_specifier (spec, from, caller_index)
   if (spec[i] == '-')
     first = 0;
   else if (spec[i] == '^')
-    first = 1;
+    {
+      first = 1;
+      i++;
+    }
   else if (_rl_digit_p (spec[i]) && expecting_word_spec)
     {
       for (first = 0; _rl_digit_p (spec[i]); i++)
@@ -1332,13 +1403,154 @@ history_arg_extract (first, last, string)
     }
 
   for (i = 0; i < len; i++)
-    free (list[i]);
-  free (list);
+    xfree (list[i]);
+  xfree (list);
 
   return (result);
 }
 
-#define slashify_in_quotes "\\`\"$"
+static int
+history_tokenize_word (string, ind)
+     const char *string;
+     int ind;
+{
+  register int i;
+  int delimiter, nestdelim, delimopen;
+
+  i = ind;
+  delimiter = nestdelim = 0;
+
+  if (member (string[i], "()\n"))
+    {
+      i++;
+      return i;
+    }
+
+  if (member (string[i], "<>;&|$"))
+    {
+      int peek = string[i + 1];
+
+      if (peek == string[i] && peek != '$')
+       {
+         if (peek == '<' && string[i + 2] == '-')
+           i++;
+         else if (peek == '<' && string[i + 2] == '<')
+           i++;
+         i += 2;
+         return i;
+       }
+      else if ((peek == '&' && (string[i] == '>' || string[i] == '<')) ||
+               (peek == '>' && string[i] == '&'))
+       {
+         i += 2;
+         return i;
+       }
+      /* XXX - separated out for later -- bash-4.2 */
+      else if ((peek == '(' && (string[i] == '>' || string[i] == '<')) || /* ) */
+              (peek == '(' && string[i] == '$')) /*)*/
+       {
+         i += 2;
+         delimopen = '(';
+         delimiter = ')';
+         nestdelim = 1;
+         goto get_word;
+       }
+#if 0
+      else if (peek == '\'' && string[i] == '$')
+        {
+         i += 2;       /* XXX */
+         return i;
+        }
+#endif
+
+      if (string[i] != '$')
+       {
+         i++;
+         return i;
+       }
+    }
+
+  /* same code also used for $(...)/<(...)/>(...) above */
+  if (member (string[i], "!@?+*"))
+    {
+      int peek = string[i + 1];
+
+      if (peek == '(')         /*)*/
+       {
+         /* Shell extended globbing patterns */
+         i += 2;
+         delimopen = '(';
+         delimiter = ')';      /* XXX - not perfect */
+         nestdelim = 1;
+       }
+    }
+
+get_word:
+  /* Get word from string + i; */
+
+  if (delimiter == 0 && member (string[i], HISTORY_QUOTE_CHARACTERS))
+    delimiter = string[i++];
+
+  for (; string[i]; i++)
+    {
+      if (string[i] == '\\' && string[i + 1] == '\n')
+       {
+         i++;
+         continue;
+       }
+
+      if (string[i] == '\\' && delimiter != '\'' &&
+         (delimiter != '"' || member (string[i], slashify_in_quotes)))
+       {
+         i++;
+         continue;
+       }
+
+      /* delimiter must be set and set to something other than a quote if
+        nestdelim is set, so these tests are safe. */
+      if (nestdelim && string[i] == delimopen)
+       {
+         nestdelim++;
+         continue;
+       }
+      if (nestdelim && string[i] == delimiter)
+       {
+         nestdelim--;
+         if (nestdelim == 0)
+           delimiter = 0;
+         continue;
+       }
+      
+      if (delimiter && string[i] == delimiter)
+       {
+         delimiter = 0;
+         continue;
+       }
+
+      if (delimiter == 0 && (member (string[i], history_word_delimiters)))
+       break;
+
+      if (delimiter == 0 && member (string[i], HISTORY_QUOTE_CHARACTERS))
+       delimiter = string[i];
+    }
+
+  return i;
+}
+
+static char *
+history_substring (string, start, end)
+     const char *string;
+     int start, end;
+{
+  register int len;
+  register char *result;
+
+  len = end - start;
+  result = (char *)xmalloc (len + 1);
+  strncpy (result, string + start, len);
+  result[len] = '\0';
+  return result;
+}
 
 /* Parse STRING into tokens and return an array of strings.  If WIND is
    not -1 and INDP is not null, we also want the word surrounding index
@@ -1351,7 +1563,6 @@ history_tokenize_internal (string, wind, indp)
 {
   char **result;
   register int i, start, result_index, size;
-  int len, delimiter;
 
   /* If we're searching for a string that's not part of a word (e.g., " "),
      make sure we set *INDP to a reasonable value. */
@@ -1362,8 +1573,6 @@ history_tokenize_internal (string, wind, indp)
      exactly where the shell would split them. */
   for (i = result_index = size = 0, result = (char **)NULL; string[i]; )
     {
-      delimiter = 0;
-
       /* Skip leading whitespace. */
       for (; string[i] && whitespace (string[i]); i++)
        ;
@@ -1371,88 +1580,30 @@ history_tokenize_internal (string, wind, indp)
        return (result);
 
       start = i;
-      
-      if (member (string[i], "()\n"))
-       {
-         i++;
-         goto got_token;
-       }
-
-      if (member (string[i], "<>;&|$"))
-       {
-         int peek = string[i + 1];
-
-         if (peek == string[i] && peek != '$')
-           {
-             if (peek == '<' && string[i + 2] == '-')
-               i++;
-             i += 2;
-             goto got_token;
-           }
-         else
-           {
-             if ((peek == '&' && (string[i] == '>' || string[i] == '<')) ||
-                 ((peek == '>') && (string[i] == '&')) ||
-                 ((peek == '(') && (string[i] == '$')))
-               {
-                 i += 2;
-                 goto got_token;
-               }
-           }
-         if (string[i] != '$')
-           {
-             i++;
-             goto got_token;
-           }
-       }
 
-      /* Get word from string + i; */
+      i = history_tokenize_word (string, start);
 
-      if (member (string[i], HISTORY_QUOTE_CHARACTERS))
-       delimiter = string[i++];
-
-      for (; string[i]; i++)
+      /* If we have a non-whitespace delimiter character (which would not be
+        skipped by the loop above), use it and any adjacent delimiters to
+        make a separate field.  Any adjacent white space will be skipped the
+        next time through the loop. */
+      if (i == start && history_word_delimiters)
        {
-         if (string[i] == '\\' && string[i + 1] == '\n')
-           {
-             i++;
-             continue;
-           }
-
-         if (string[i] == '\\' && delimiter != '\'' &&
-             (delimiter != '"' || member (string[i], slashify_in_quotes)))
-           {
-             i++;
-             continue;
-           }
-
-         if (delimiter && string[i] == delimiter)
-           {
-             delimiter = 0;
-             continue;
-           }
-
-         if (!delimiter && (member (string[i], history_word_delimiters)))
-           break;
-
-         if (!delimiter && member (string[i], HISTORY_QUOTE_CHARACTERS))
-           delimiter = string[i];
+         i++;
+         while (string[i] && member (string[i], history_word_delimiters))
+           i++;
        }
 
-    got_token:
-
       /* If we are looking for the word in which the character at a
         particular index falls, remember it. */
       if (indp && wind != -1 && wind >= start && wind < i)
         *indp = result_index;
 
-      len = i - start;
       if (result_index + 2 >= size)
        result = (char **)xrealloc (result, ((size += 10) * sizeof (char *)));
-      result[result_index] = (char *)xmalloc (1 + len);
-      strncpy (result[result_index], string + start, len);
-      result[result_index][len] = '\0';
-      result[++result_index] = (char *)NULL;
+
+      result[result_index++] = history_substring (string, start, i);
+      result[result_index] = (char *)NULL;
     }
 
   return (result);
@@ -1467,6 +1618,18 @@ history_tokenize (string)
   return (history_tokenize_internal (string, -1, (int *)NULL));
 }
 
+/* Free members of WORDS from START to an empty string */
+static void
+freewords (words, start)
+     char **words;
+     int start;
+{
+  register int i;
+
+  for (i = start; words[i]; i++)
+    xfree (words[i]);
+}
+
 /* Find and return the word which contains the character at index IND
    in the history line LINE.  Used to save the word matched by the
    last history !?string? search. */
@@ -1480,12 +1643,16 @@ history_find_word (line, ind)
 
   words = history_tokenize_internal (line, ind, &wind);
   if (wind == -1 || words == 0)
-    return ((char *)NULL);
+    {
+      if (words)
+       freewords (words, 0);
+      FREE (words);
+      return ((char *)NULL);
+    }
   s = words[wind];
   for (i = 0; i < wind; i++)
-    free (words[i]);
-  for (i = wind + 1; words[i]; i++)
-    free (words[i]);
-  free (words);
+    xfree (words[i]);
+  freewords (words, wind + 1);
+  xfree (words);
   return s;
 }