preprocessor: Handle digit separators in #line [PR82359]
authorJoseph Myers <joseph@codesourcery.com>
Thu, 29 Apr 2021 19:50:47 +0000 (19:50 +0000)
committerJoseph Myers <joseph@codesourcery.com>
Thu, 29 Apr 2021 19:50:47 +0000 (19:50 +0000)
commitb24d8acbfffe30f40e280f11f23adac81b1e7f0c
tree4ff4db5fbe13d87dafae9e20e9f59426da278cf3
parentf03973251db33ad8d08c03ac570cd378e46d3a20
preprocessor: Handle digit separators in #line [PR82359]

As reported in bug 82359, the preprocessor does not allow C++ digit
separators in the line number in a #line directive, despite the
standard syntax for that directive using digit-sequence which allows
digit separators.

There is some confusion in that bug about whether C++ is meant to
allow digit separators there or not, but the last comment there
suggests they are meant to be allowed, and the version of digit
separators accepted for C2X at the March meeting explicitly mentions
digit separators in the #line specification to avoid any ambiguity
there.

This patch thus adds code to handle digit separators in the line
number in #line, as part of the preparation for enabling digit
separators in C2X mode.  The code changed does not contain any
conditionals for whether digit separators are supported in the chosen
language version, because that was handled earlier in pp-number lexing
and if they aren't supported they won't appear in the string passed to
that function.  It does however make sure not to allow adjacent digit
separators because those are only handled at a later stage of lexing
at present.  (Problems with how certain source character sequences
involving digit separators that don't actually match the pp-number
syntax get lexed as a pp-number and only diagnosed later, if at all,
are bugs 83873 and 97604, to be addressed separately.)

Making the change in this location will have the effect of allowing
digit separators in the "# <line-number> <file> <flags>" form of
directive as well as #line; I don't think that's a problem.

Bootstrapped with no regressions for x86_64-pc-linux-gnu.

libcpp/
PR preprocessor/82359
* directives.c (strtolinenum): Handle digit separators.

gcc/testsuite/
PR preprocessor/82359
* g++.dg/cpp1y/digit-sep-line.C,
g++.dg/cpp1y/digit-sep-line-neg.C: New tests.
gcc/testsuite/g++.dg/cpp1y/digit-sep-line-neg.C [new file with mode: 0644]
gcc/testsuite/g++.dg/cpp1y/digit-sep-line.C [new file with mode: 0644]
libcpp/directives.c