gcc/cfgbuild.c

   1 /* Control flow graph building code for GNU compiler.
   2    Copyright (C) 1987-2013 Free Software Foundation, Inc.
   3
   4 This file is part of GCC.
   5
   6 GCC is free software; you can redistribute it and/or modify it under
   7 the terms of the GNU General Public License as published by the Free
   8 Software Foundation; either version 3, or (at your option) any later
   9 version.
  10
  11 GCC is distributed in the hope that it will be useful, but WITHOUT ANY
  12 WARRANTY; without even the implied warranty of MERCHANTABILITY or
  13 FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  14 for more details.
  15
  16 You should have received a copy of the GNU General Public License
  17 along with GCC; see the file COPYING3.  If not see
  18 <http://www.gnu.org/licenses/>.  */
  19
  20 \f
  21 #include "config.h"
  22 #include "system.h"
  23 #include "coretypes.h"
  24 #include "tm.h"
  25 #include "tree.h"
  26 #include "rtl.h"
  27 #include "hard-reg-set.h"
  28 #include "basic-block.h"
  29 #include "regs.h"
  30 #include "flags.h"
  31 #include "function.h"
  32 #include "except.h"
  33 #include "expr.h"
  34 #include "diagnostic-core.h"
  35 #include "timevar.h"
  36 #include "sbitmap.h"
  37
  38 static void make_edges (basic_block, basic_block, int);
  39 static void make_label_edge (sbitmap, basic_block, rtx, int);
  40 static void find_bb_boundaries (basic_block);
  41 static void compute_outgoing_frequencies (basic_block);
  42 \f
  43 /* Return true if insn is something that should be contained inside basic
  44    block.  */
  45
  46 bool
  47 inside_basic_block_p (const_rtx insn)
  48 {
  49   switch (GET_CODE (insn))
  50     {
  51     case CODE_LABEL:
  52       /* Avoid creating of basic block for jumptables.  */
  53       return (NEXT_INSN (insn) == 0
  54               || ! JUMP_TABLE_DATA_P (NEXT_INSN (insn)));
  55
  56     case JUMP_INSN:
  57     case CALL_INSN:
  58     case INSN:
  59     case DEBUG_INSN:
  60       return true;
  61
  62     case JUMP_TABLE_DATA:
  63     case BARRIER:
  64     case NOTE:
  65       return false;
  66
  67     default:
  68       gcc_unreachable ();
  69     }
  70 }
  71
  72 /* Return true if INSN may cause control flow transfer, so it should be last in
  73    the basic block.  */
  74
  75 bool
  76 control_flow_insn_p (const_rtx insn)
  77 {
  78   switch (GET_CODE (insn))
  79     {
  80     case NOTE:
  81     case CODE_LABEL:
  82     case DEBUG_INSN:
  83       return false;
  84
  85     case JUMP_INSN:
  86       return true;
  87
  88     case CALL_INSN:
  89       /* Noreturn and sibling call instructions terminate the basic blocks
  90          (but only if they happen unconditionally).  */
  91       if ((SIBLING_CALL_P (insn)
  92            || find_reg_note (insn, REG_NORETURN, 0))
  93           && GET_CODE (PATTERN (insn)) != COND_EXEC)
  94         return true;
  95
  96       /* Call insn may return to the nonlocal goto handler.  */
  97       if (can_nonlocal_goto (insn))
  98         return true;
  99       break;
 100
 101     case INSN:
 102       /* Treat trap instructions like noreturn calls (same provision).  */
 103       if (GET_CODE (PATTERN (insn)) == TRAP_IF
 104           && XEXP (PATTERN (insn), 0) == const1_rtx)
 105         return true;
 106       if (!cfun->can_throw_non_call_exceptions)
 107         return false;
 108       break;
 109
 110     case JUMP_TABLE_DATA:
 111     case BARRIER:
 112       /* It is nonsense to reach this when looking for the
 113          end of basic block, but before dead code is eliminated
 114          this may happen.  */
 115       return false;
 116
 117     default:
 118       gcc_unreachable ();
 119     }
 120
 121   return can_throw_internal (insn);
 122 }
 123
 124 \f
 125 /* Create an edge between two basic blocks.  FLAGS are auxiliary information
 126    about the edge that is accumulated between calls.  */
 127
 128 /* Create an edge from a basic block to a label.  */
 129
 130 static void
 131 make_label_edge (sbitmap edge_cache, basic_block src, rtx label, int flags)
 132 {
 133   gcc_assert (LABEL_P (label));
 134
 135   /* If the label was never emitted, this insn is junk, but avoid a
 136      crash trying to refer to BLOCK_FOR_INSN (label).  This can happen
 137      as a result of a syntax error and a diagnostic has already been
 138      printed.  */
 139
 140   if (INSN_UID (label) == 0)
 141     return;
 142
 143   cached_make_edge (edge_cache, src, BLOCK_FOR_INSN (label), flags);
 144 }
 145
 146 /* Create the edges generated by INSN in REGION.  */
 147
 148 void
 149 rtl_make_eh_edge (sbitmap edge_cache, basic_block src, rtx insn)
 150 {
 151   eh_landing_pad lp = get_eh_landing_pad_from_rtx (insn);
 152
 153   if (lp)
 154     {
 155       rtx label = lp->landing_pad;
 156
 157       /* During initial rtl generation, use the post_landing_pad.  */
 158       if (label == NULL)
 159         {
 160           gcc_assert (lp->post_landing_pad);
 161           label = label_rtx (lp->post_landing_pad);
 162         }
 163
 164       make_label_edge (edge_cache, src, label,
 165                        EDGE_ABNORMAL | EDGE_EH
 166                        | (CALL_P (insn) ? EDGE_ABNORMAL_CALL : 0));
 167     }
 168 }
 169
 170 /* States of basic block as seen by find_many_sub_basic_blocks.  */
 171 enum state {
 172   /* Basic blocks created via split_block belong to this state.
 173      make_edges will examine these basic blocks to see if we need to
 174      create edges going out of them.  */
 175   BLOCK_NEW = 0,
 176
 177   /* Basic blocks that do not need examining belong to this state.
 178      These blocks will be left intact.  In particular, make_edges will
 179      not create edges going out of these basic blocks.  */
 180   BLOCK_ORIGINAL,
 181
 182   /* Basic blocks that may need splitting (due to a label appearing in
 183      the middle, etc) belong to this state.  After splitting them,
 184      make_edges will create edges going out of them as needed.  */
 185   BLOCK_TO_SPLIT
 186 };
 187
 188 #define STATE(BB) (enum state) ((size_t) (BB)->aux)
 189 #define SET_STATE(BB, STATE) ((BB)->aux = (void *) (size_t) (STATE))
 190
 191 /* Used internally by purge_dead_tablejump_edges, ORed into state.  */
 192 #define BLOCK_USED_BY_TABLEJUMP         32
 193 #define FULL_STATE(BB) ((size_t) (BB)->aux)
 194
 195 /* Identify the edges going out of basic blocks between MIN and MAX,
 196    inclusive, that have their states set to BLOCK_NEW or
 197    BLOCK_TO_SPLIT.
 198
 199    UPDATE_P should be nonzero if we are updating CFG and zero if we
 200    are building CFG from scratch.  */
 201
 202 static void
 203 make_edges (basic_block min, basic_block max, int update_p)
 204 {
 205   basic_block bb;
 206   sbitmap edge_cache = NULL;
 207
 208   /* Heavy use of computed goto in machine-generated code can lead to
 209      nearly fully-connected CFGs.  In that case we spend a significant
 210      amount of time searching the edge lists for duplicates.  */
 211   if (forced_labels || cfun->cfg->max_jumptable_ents > 100)
 212     edge_cache = sbitmap_alloc (last_basic_block);
 213
 214   /* By nature of the way these get numbered, ENTRY_BLOCK_PTR->next_bb block
 215      is always the entry.  */
 216   if (min == ENTRY_BLOCK_PTR->next_bb)
 217     make_edge (ENTRY_BLOCK_PTR, min, EDGE_FALLTHRU);
 218
 219   FOR_BB_BETWEEN (bb, min, max->next_bb, next_bb)
 220     {
 221       rtx insn, x;
 222       enum rtx_code code;
 223       edge e;
 224       edge_iterator ei;
 225
 226       if (STATE (bb) == BLOCK_ORIGINAL)
 227         continue;
 228
 229       /* If we have an edge cache, cache edges going out of BB.  */
 230       if (edge_cache)
 231         {
 232           bitmap_clear (edge_cache);
 233           if (update_p)
 234             {
 235               FOR_EACH_EDGE (e, ei, bb->succs)
 236                 if (e->dest != EXIT_BLOCK_PTR)
 237                   bitmap_set_bit (edge_cache, e->dest->index);
 238             }
 239         }
 240
 241       if (LABEL_P (BB_HEAD (bb))
 242           && LABEL_ALT_ENTRY_P (BB_HEAD (bb)))
 243         cached_make_edge (NULL, ENTRY_BLOCK_PTR, bb, 0);
 244
 245       /* Examine the last instruction of the block, and discover the
 246          ways we can leave the block.  */
 247
 248       insn = BB_END (bb);
 249       code = GET_CODE (insn);
 250
 251       /* A branch.  */
 252       if (code == JUMP_INSN)
 253         {
 254           rtx tmp;
 255
 256           /* Recognize a non-local goto as a branch outside the
 257              current function.  */
 258           if (find_reg_note (insn, REG_NON_LOCAL_GOTO, NULL_RTX))
 259             ;
 260
 261           /* Recognize a tablejump and do the right thing.  */
 262           else if (tablejump_p (insn, NULL, &tmp))
 263             {
 264               rtvec vec;
 265               int j;
 266
 267               if (GET_CODE (PATTERN (tmp)) == ADDR_VEC)
 268                 vec = XVEC (PATTERN (tmp), 0);
 269               else
 270                 vec = XVEC (PATTERN (tmp), 1);
 271
 272               for (j = GET_NUM_ELEM (vec) - 1; j >= 0; --j)
 273                 make_label_edge (edge_cache, bb,
 274                                  XEXP (RTVEC_ELT (vec, j), 0), 0);
 275
 276               /* Some targets (eg, ARM) emit a conditional jump that also
 277                  contains the out-of-range target.  Scan for these and
 278                  add an edge if necessary.  */
 279               if ((tmp = single_set (insn)) != NULL
 280                   && SET_DEST (tmp) == pc_rtx
 281                   && GET_CODE (SET_SRC (tmp)) == IF_THEN_ELSE
 282                   && GET_CODE (XEXP (SET_SRC (tmp), 2)) == LABEL_REF)
 283                 make_label_edge (edge_cache, bb,
 284                                  XEXP (XEXP (SET_SRC (tmp), 2), 0), 0);
 285             }
 286
 287           /* If this is a computed jump, then mark it as reaching
 288              everything on the forced_labels list.  */
 289           else if (computed_jump_p (insn))
 290             {
 291               for (x = forced_labels; x; x = XEXP (x, 1))
 292                 make_label_edge (edge_cache, bb, XEXP (x, 0), EDGE_ABNORMAL);
 293             }
 294
 295           /* Returns create an exit out.  */
 296           else if (returnjump_p (insn))
 297             cached_make_edge (edge_cache, bb, EXIT_BLOCK_PTR, 0);
 298
 299           /* Recognize asm goto and do the right thing.  */
 300           else if ((tmp = extract_asm_operands (PATTERN (insn))) != NULL)
 301             {
 302               int i, n = ASM_OPERANDS_LABEL_LENGTH (tmp);
 303               for (i = 0; i < n; ++i)
 304                 make_label_edge (edge_cache, bb,
 305                                  XEXP (ASM_OPERANDS_LABEL (tmp, i), 0), 0);
 306             }
 307
 308           /* Otherwise, we have a plain conditional or unconditional jump.  */
 309           else
 310             {
 311               gcc_assert (JUMP_LABEL (insn));
 312               make_label_edge (edge_cache, bb, JUMP_LABEL (insn), 0);
 313             }
 314         }
 315
 316       /* If this is a sibling call insn, then this is in effect a combined call
 317          and return, and so we need an edge to the exit block.  No need to
 318          worry about EH edges, since we wouldn't have created the sibling call
 319          in the first place.  */
 320       if (code == CALL_INSN && SIBLING_CALL_P (insn))
 321         cached_make_edge (edge_cache, bb, EXIT_BLOCK_PTR,
 322                           EDGE_SIBCALL | EDGE_ABNORMAL);
 323
 324       /* If this is a CALL_INSN, then mark it as reaching the active EH
 325          handler for this CALL_INSN.  If we're handling non-call
 326          exceptions then any insn can reach any of the active handlers.
 327          Also mark the CALL_INSN as reaching any nonlocal goto handler.  */
 328       else if (code == CALL_INSN || cfun->can_throw_non_call_exceptions)
 329         {
 330           /* Add any appropriate EH edges.  */
 331           rtl_make_eh_edge (edge_cache, bb, insn);
 332
 333           if (code == CALL_INSN)
 334             {
 335               if (can_nonlocal_goto (insn))
 336                 {
 337                   /* ??? This could be made smarter: in some cases it's
 338                      possible to tell that certain calls will not do a
 339                      nonlocal goto.  For example, if the nested functions
 340                      that do the nonlocal gotos do not have their addresses
 341                      taken, then only calls to those functions or to other
 342                      nested functions that use them could possibly do
 343                      nonlocal gotos.  */
 344                   for (x = nonlocal_goto_handler_labels; x; x = XEXP (x, 1))
 345                     make_label_edge (edge_cache, bb, XEXP (x, 0),
 346                                      EDGE_ABNORMAL | EDGE_ABNORMAL_CALL);
 347                 }
 348
 349               if (flag_tm)
 350                 {
 351                   rtx note;
 352                   for (note = REG_NOTES (insn); note; note = XEXP (note, 1))
 353                     if (REG_NOTE_KIND (note) == REG_TM)
 354                       make_label_edge (edge_cache, bb, XEXP (note, 0),
 355                                        EDGE_ABNORMAL | EDGE_ABNORMAL_CALL);
 356                 }
 357             }
 358         }
 359
 360       /* Find out if we can drop through to the next block.  */
 361       insn = NEXT_INSN (insn);
 362       e = find_edge (bb, EXIT_BLOCK_PTR);
 363       if (e && e->flags & EDGE_FALLTHRU)
 364         insn = NULL;
 365
 366       while (insn
 367              && NOTE_P (insn)
 368              && NOTE_KIND (insn) != NOTE_INSN_BASIC_BLOCK)
 369         insn = NEXT_INSN (insn);
 370
 371       if (!insn)
 372         cached_make_edge (edge_cache, bb, EXIT_BLOCK_PTR, EDGE_FALLTHRU);
 373       else if (bb->next_bb != EXIT_BLOCK_PTR)
 374         {
 375           if (insn == BB_HEAD (bb->next_bb))
 376             cached_make_edge (edge_cache, bb, bb->next_bb, EDGE_FALLTHRU);
 377         }
 378     }
 379
 380   if (edge_cache)
 381     sbitmap_free (edge_cache);
 382 }
 383 \f
 384 static void
 385 mark_tablejump_edge (rtx label)
 386 {
 387   basic_block bb;
 388
 389   gcc_assert (LABEL_P (label));
 390   /* See comment in make_label_edge.  */
 391   if (INSN_UID (label) == 0)
 392     return;
 393   bb = BLOCK_FOR_INSN (label);
 394   SET_STATE (bb, FULL_STATE (bb) | BLOCK_USED_BY_TABLEJUMP);
 395 }
 396
 397 static void
 398 purge_dead_tablejump_edges (basic_block bb, rtx table)
 399 {
 400   rtx insn = BB_END (bb), tmp;
 401   rtvec vec;
 402   int j;
 403   edge_iterator ei;
 404   edge e;
 405
 406   if (GET_CODE (PATTERN (table)) == ADDR_VEC)
 407     vec = XVEC (PATTERN (table), 0);
 408   else
 409     vec = XVEC (PATTERN (table), 1);
 410
 411   for (j = GET_NUM_ELEM (vec) - 1; j >= 0; --j)
 412     mark_tablejump_edge (XEXP (RTVEC_ELT (vec, j), 0));
 413
 414   /* Some targets (eg, ARM) emit a conditional jump that also
 415      contains the out-of-range target.  Scan for these and
 416      add an edge if necessary.  */
 417   if ((tmp = single_set (insn)) != NULL
 418        && SET_DEST (tmp) == pc_rtx
 419        && GET_CODE (SET_SRC (tmp)) == IF_THEN_ELSE
 420        && GET_CODE (XEXP (SET_SRC (tmp), 2)) == LABEL_REF)
 421     mark_tablejump_edge (XEXP (XEXP (SET_SRC (tmp), 2), 0));
 422
 423   for (ei = ei_start (bb->succs); (e = ei_safe_edge (ei)); )
 424     {
 425       if (FULL_STATE (e->dest) & BLOCK_USED_BY_TABLEJUMP)
 426         SET_STATE (e->dest, FULL_STATE (e->dest)
 427                             & ~(size_t) BLOCK_USED_BY_TABLEJUMP);
 428       else if (!(e->flags & (EDGE_ABNORMAL | EDGE_EH)))
 429         {
 430           remove_edge (e);
 431           continue;
 432         }
 433       ei_next (&ei);
 434     }
 435 }
 436
 437 /* Scan basic block BB for possible BB boundaries inside the block
 438    and create new basic blocks in the progress.  */
 439
 440 static void
 441 find_bb_boundaries (basic_block bb)
 442 {
 443   basic_block orig_bb = bb;
 444   rtx insn = BB_HEAD (bb);
 445   rtx end = BB_END (bb), x;
 446   rtx table;
 447   rtx flow_transfer_insn = NULL_RTX;
 448   edge fallthru = NULL;
 449
 450   if (insn == BB_END (bb))
 451     return;
 452
 453   if (LABEL_P (insn))
 454     insn = NEXT_INSN (insn);
 455
 456   /* Scan insn chain and try to find new basic block boundaries.  */
 457   while (1)
 458     {
 459       enum rtx_code code = GET_CODE (insn);
 460
 461       /* In case we've previously seen an insn that effects a control
 462          flow transfer, split the block.  */
 463       if ((flow_transfer_insn || code == CODE_LABEL)
 464           && inside_basic_block_p (insn))
 465         {
 466           fallthru = split_block (bb, PREV_INSN (insn));
 467           if (flow_transfer_insn)
 468             {
 469               BB_END (bb) = flow_transfer_insn;
 470
 471               /* Clean up the bb field for the insns between the blocks.  */
 472               for (x = NEXT_INSN (flow_transfer_insn);
 473                    x != BB_HEAD (fallthru->dest);
 474                    x = NEXT_INSN (x))
 475                 if (!BARRIER_P (x))
 476                   set_block_for_insn (x, NULL);
 477             }
 478
 479           bb = fallthru->dest;
 480           remove_edge (fallthru);
 481           flow_transfer_insn = NULL_RTX;
 482           if (code == CODE_LABEL && LABEL_ALT_ENTRY_P (insn))
 483             make_edge (ENTRY_BLOCK_PTR, bb, 0);
 484         }
 485       else if (code == BARRIER)
 486         {
 487           /* __builtin_unreachable () may cause a barrier to be emitted in
 488              the middle of a BB.  We need to split it in the same manner as
 489              if the barrier were preceded by a control_flow_insn_p insn.  */
 490           if (!flow_transfer_insn)
 491             flow_transfer_insn = prev_nonnote_insn_bb (insn);
 492         }
 493
 494       if (control_flow_insn_p (insn))
 495         flow_transfer_insn = insn;
 496       if (insn == end)
 497         break;
 498       insn = NEXT_INSN (insn);
 499     }
 500
 501   /* In case expander replaced normal insn by sequence terminating by
 502      return and barrier, or possibly other sequence not behaving like
 503      ordinary jump, we need to take care and move basic block boundary.  */
 504   if (flow_transfer_insn)
 505     {
 506       BB_END (bb) = flow_transfer_insn;
 507
 508       /* Clean up the bb field for the insns that do not belong to BB.  */
 509       x = flow_transfer_insn;
 510       while (x != end)
 511         {
 512           x = NEXT_INSN (x);
 513           if (!BARRIER_P (x))
 514             set_block_for_insn (x, NULL);
 515         }
 516     }
 517
 518   /* We've possibly replaced the conditional jump by conditional jump
 519      followed by cleanup at fallthru edge, so the outgoing edges may
 520      be dead.  */
 521   purge_dead_edges (bb);
 522
 523   /* purge_dead_edges doesn't handle tablejump's, but if we have split the
 524      basic block, we might need to kill some edges.  */
 525   if (bb != orig_bb && tablejump_p (BB_END (bb), NULL, &table))
 526     purge_dead_tablejump_edges (bb, table);
 527 }
 528
 529 /*  Assume that frequency of basic block B is known.  Compute frequencies
 530     and probabilities of outgoing edges.  */
 531
 532 static void
 533 compute_outgoing_frequencies (basic_block b)
 534 {
 535   edge e, f;
 536   edge_iterator ei;
 537
 538   if (EDGE_COUNT (b->succs) == 2)
 539     {
 540       rtx note = find_reg_note (BB_END (b), REG_BR_PROB, NULL);
 541       int probability;
 542
 543       if (note)
 544         {
 545           probability = INTVAL (XEXP (note, 0));
 546           e = BRANCH_EDGE (b);
 547           e->probability = probability;
 548           e->count = ((b->count * probability + REG_BR_PROB_BASE / 2)
 549                       / REG_BR_PROB_BASE);
 550           f = FALLTHRU_EDGE (b);
 551           f->probability = REG_BR_PROB_BASE - probability;
 552           f->count = b->count - e->count;
 553           return;
 554         }
 555       else
 556         {
 557           guess_outgoing_edge_probabilities (b);
 558         }
 559     }
 560   else if (single_succ_p (b))
 561     {
 562       e = single_succ_edge (b);
 563       e->probability = REG_BR_PROB_BASE;
 564       e->count = b->count;
 565       return;
 566     }
 567   else
 568     {
 569       /* We rely on BBs with more than two successors to have sane probabilities
 570          and do not guess them here. For BBs terminated by switch statements
 571          expanded to jump-table jump, we have done the right thing during
 572          expansion. For EH edges, we still guess the probabilities here.  */
 573       bool complex_edge = false;
 574       FOR_EACH_EDGE (e, ei, b->succs)
 575         if (e->flags & EDGE_COMPLEX)
 576           {
 577             complex_edge = true;
 578             break;
 579           }
 580       if (complex_edge)
 581         guess_outgoing_edge_probabilities (b);
 582     }
 583
 584   if (b->count)
 585     FOR_EACH_EDGE (e, ei, b->succs)
 586       e->count = ((b->count * e->probability + REG_BR_PROB_BASE / 2)
 587                   / REG_BR_PROB_BASE);
 588 }
 589
 590 /* Assume that some pass has inserted labels or control flow
 591    instructions within a basic block.  Split basic blocks as needed
 592    and create edges.  */
 593
 594 void
 595 find_many_sub_basic_blocks (sbitmap blocks)
 596 {
 597   basic_block bb, min, max;
 598
 599   FOR_EACH_BB (bb)
 600     SET_STATE (bb,
 601                bitmap_bit_p (blocks, bb->index) ? BLOCK_TO_SPLIT : BLOCK_ORIGINAL);
 602
 603   FOR_EACH_BB (bb)
 604     if (STATE (bb) == BLOCK_TO_SPLIT)
 605       find_bb_boundaries (bb);
 606
 607   FOR_EACH_BB (bb)
 608     if (STATE (bb) != BLOCK_ORIGINAL)
 609       break;
 610
 611   min = max = bb;
 612   for (; bb != EXIT_BLOCK_PTR; bb = bb->next_bb)
 613     if (STATE (bb) != BLOCK_ORIGINAL)
 614       max = bb;
 615
 616   /* Now re-scan and wire in all edges.  This expect simple (conditional)
 617      jumps at the end of each new basic blocks.  */
 618   make_edges (min, max, 1);
 619
 620   /* Update branch probabilities.  Expect only (un)conditional jumps
 621      to be created with only the forward edges.  */
 622   if (profile_status != PROFILE_ABSENT)
 623     FOR_BB_BETWEEN (bb, min, max->next_bb, next_bb)
 624       {
 625         edge e;
 626         edge_iterator ei;
 627
 628         if (STATE (bb) == BLOCK_ORIGINAL)
 629           continue;
 630         if (STATE (bb) == BLOCK_NEW)
 631           {
 632             bb->count = 0;
 633             bb->frequency = 0;
 634             FOR_EACH_EDGE (e, ei, bb->preds)
 635               {
 636                 bb->count += e->count;
 637                 bb->frequency += EDGE_FREQUENCY (e);
 638               }
 639           }
 640
 641         compute_outgoing_frequencies (bb);
 642       }
 643
 644   FOR_EACH_BB (bb)
 645     SET_STATE (bb, 0);
 646 }