libcpp: Fix up #__VA_OPT__ handling [PR103415]
authorJakub Jelinek <jakub@redhat.com>
Wed, 1 Dec 2021 09:07:59 +0000 (10:07 +0100)
committerJakub Jelinek <jakub@redhat.com>
Wed, 1 Dec 2021 09:07:59 +0000 (10:07 +0100)
commitac5fd364f0978c62ae759e7b36ce6b912a27546c
treebaa7a720e80a905f73bc3348d70c86a8197fbdd4
parent29df53fe349073a9210df70ae45662cb3f4a0556
libcpp: Fix up #__VA_OPT__ handling [PR103415]

stringify_arg uses pfile->u_buff to create the string literal.
Unfortunately, paste_tokens -> _cpp_lex_direct -> lex_number -> _cpp_unaligned_alloc
can in some cases use pfile->u_buff too, which results in losing everything
prepared for the string literal until the token pasting.

The following patch fixes that by not calling paste_token during the
construction of the string literal, but doing that before.  All the tokens
we are processing have been pushed into a token buffer using
tokens_buff_add_token so it is fine if we paste some of them in that buffer
(successful pasting creates a new token in that buffer), move following
tokens if any to make it contiguous, pop (throw away) the extra tokens at
the end and then do stringify_arg.

Also, paste_tokens now copies over PREV_WHITE and PREV_FALLTHROUGH flags
from the original lhs token to the replacement token.  Copying that way
the PREV_WHITE flag is needed for the #__VA_OPT__ handling and copying
over PREV_FALLTHROUGH fixes the new Wimplicit-fallthrough-38.c test.

2021-12-01  Jakub Jelinek  <jakub@redhat.com>

PR preprocessor/103415
libcpp/
* macro.c (stringify_arg): Remove va_opt argument and va_opt handling.
(paste_tokens): On successful paste or in PREV_WHITE and
PREV_FALLTHROUGH flags from the *plhs token to the new token.
(replace_args): Adjust stringify_arg callers.  For #__VA_OPT__,
perform token pasting in a separate loop before stringify_arg call.
gcc/testsuite/
* c-c++-common/cpp/va-opt-8.c: New test.
* c-c++-common/Wimplicit-fallthrough-38.c: New test.
gcc/testsuite/c-c++-common/Wimplicit-fallthrough-38.c [new file with mode: 0644]
gcc/testsuite/c-c++-common/cpp/va-opt-8.c [new file with mode: 0644]
libcpp/macro.c