test/tcl/rep044.tcl

   1 # See the file LICENSE for redistribution information.
   2 #
   3 # Copyright (c) 2005, 2012 Oracle and/or its affiliates.  All rights reserved.
   4 #
   5 # $Id$
   6 #
   7 # TEST  rep044
   8 # TEST
   9 # TEST  Test rollbacks with open file ids.
  10 # TEST
  11 # TEST  We have one master with two handles and one client.
  12 # TEST  Each time through the main loop, we open a db, write
  13 # TEST  to the db, and close the db.  Each one of these actions
  14 # TEST  is propagated to the client, or a roll back is forced
  15 # TEST  by swapping masters.
  16
  17 proc rep044 { method { tnum "044" } args } {
  18
  19         source ./include.tcl
  20         global databases_in_memory
  21         global repfiles_in_memory
  22         global env_private
  23
  24         # Valid for all access methods.
  25         if { $checking_valid_methods } {
  26                 return "ALL"
  27         }
  28
  29         set args [convert_args $method $args]
  30         set logsets [create_logsets 2]
  31
  32         # HP-UX can't open two handles on the same env, so it
  33         # can't run this test.
  34         if { $is_hp_test == 1 } {
  35                 puts "Skipping rep$tnum for HP-UX."
  36                 return
  37         }
  38
  39         # Set up for on-disk or in-memory databases.
  40         set msg "using on-disk databases"
  41         if { $databases_in_memory } {
  42                 set msg "using named in-memory databases"
  43                 if { [is_queueext $method] } {
  44                         puts -nonewline "Skipping rep$tnum for method "
  45                         puts "$method with named in-memory databases."
  46                         return
  47                 }
  48         }
  49
  50         set msg2 "and on-disk replication files"
  51         if { $repfiles_in_memory } {
  52                 set msg2 "and in-memory replication files"
  53         }
  54
  55         set msg3 ""
  56         if { $env_private } {
  57                 set msg3 "with private env"
  58         }
  59
  60         foreach l $logsets {
  61                 set logindex [lsearch -exact $l "in-memory"]
  62                 puts "Rep$tnum ($method): Replication with rollbacks\
  63                     and open file ids $msg $msg2 $msg3."
  64                 puts "Rep$tnum: Master logs are [lindex $l 0]"
  65                 puts "Rep$tnum: Client 0 logs are [lindex $l 1]"
  66                 rep044_sub $method $tnum $l $args
  67         }
  68 }
  69
  70 proc rep044_sub { method tnum logset largs } {
  71         source ./include.tcl
  72         set orig_tdir $testdir
  73         global databases_in_memory
  74         global repfiles_in_memory
  75         global env_private
  76         global rep_verbose
  77         global verbose_type
  78
  79         set verbargs ""
  80         if { $rep_verbose == 1 } {
  81                 set verbargs " -verbose {$verbose_type on} "
  82         }
  83
  84         set repmemargs ""
  85         if { $repfiles_in_memory } {
  86                 set repmemargs "-rep_inmem_files "
  87         }
  88
  89         set privargs ""
  90         if { $env_private == 1 } {
  91                 set privargs " -private "
  92         }
  93
  94         set masterdir $testdir/ENV0
  95         set clientdir $testdir/ENV1
  96
  97         set m_logtype [lindex $logset 0]
  98         set c_logtype [lindex $logset 1]
  99
 100         # In-memory logs require a large log buffer, and cannot
 101         # be used with -txn nosync.
 102         set m_logargs [adjust_logargs $m_logtype]
 103         set c_logargs [adjust_logargs $c_logtype]
 104         set m_txnargs [adjust_txnargs $m_logtype]
 105         set c_txnargs [adjust_txnargs $c_logtype]
 106
 107         set niter 20
 108         set omethod [convert_method $method]
 109
 110         # The main loop runs all the permutations of processing/not
 111         # processing the database open to the clients; processing/not
 112         # processing the database writes to the clients; and processing/
 113         # not processing the database close to the clients.  Set up the
 114         # options in advance so the loop is not heavily indented.
 115         #
 116         # Each entry displays { open write close }.
 117         # For example { 1 1 0 } means we process messages after the
 118         # db open and the db writes but not after the db close.
 119
 120         set optionsets {
 121                 {1 1 1}
 122                 {1 1 0}
 123                 {1 0 1}
 124                 {1 0 0}
 125                 {0 1 1}
 126                 {0 1 0}
 127                 {0 0 1}
 128                 {0 0 0}
 129         }
 130
 131         # Main loop.
 132         foreach set $optionsets {
 133
 134                 env_cleanup $testdir
 135                 replsetup $testdir/MSGQUEUEDIR
 136                 file mkdir $masterdir
 137                 file mkdir $clientdir
 138
 139                 set processopens [lindex $set 0]
 140                 set processwrites [lindex $set 1]
 141                 set processcloses [lindex $set 2]
 142
 143                 set notdoing {}
 144                 if { $processopens == 0 } {
 145                         append notdoing " OPENS"
 146                 }
 147                 if { $processwrites == 0 } {
 148                         append notdoing " WRITES"
 149                 }
 150                 if { $processcloses == 0 } {
 151                         append notdoing " CLOSES"
 152                 }
 153                 if { $notdoing != {} } {
 154                         puts "Rep$tnum:\
 155                             Loop with $notdoing not processed to client."
 156                 }
 157
 158                 # Open a master.
 159                 repladd 1
 160                 set envcmd(M0) "berkdb_env_noerr -create $m_txnargs \
 161                     $m_logargs -lock_detect default $repmemargs \
 162                     -errpfx ENV.M0 $verbargs $privargs \
 163                     -home $masterdir -rep_transport \[list 1 replsend\]"
 164                 set menv0 [eval $envcmd(M0) -rep_master]
 165
 166                 # Open second handle on master env.
 167                 set envcmd(M1) "berkdb_env_noerr $m_txnargs \
 168                     $m_logargs -lock_detect default $repmemargs \
 169                     -errpfx ENV.M1 $verbargs $privargs \
 170                     -home $masterdir -rep_transport \[list 1 replsend\]"
 171                 set menv1 [eval $envcmd(M1)]
 172                 error_check_good rep_start [$menv1 rep_start -master] 0
 173
 174                 # Open a client
 175                 repladd 2
 176                 set envcmd(C) "berkdb_env_noerr -create $c_txnargs \
 177                     $c_logargs -errpfx ENV.C $verbargs $repmemargs \
 178                     -lock_detect default $privargs \
 179                     -home $clientdir -rep_transport \[list 2 replsend\]"
 180                 set cenv [eval $envcmd(C) -rep_client]
 181
 182                 # Bring the client online by processing the startup messages.
 183                 set envlist "{$menv0 1} {$cenv 2}"
 184                 process_msgs $envlist
 185
 186                 puts "\tRep$tnum.a: Run rep_test in 1st master env."
 187                 set start 0
 188                 eval rep_test $method $menv0 NULL $niter $start $start 0 $largs
 189                 incr start $niter
 190                 process_msgs $envlist
 191
 192                 puts "\tRep$tnum.b: Open db in 2nd master env."
 193                 # Open the db here; we want it to remain open after rep_test.
 194
 195                 # Set up database as in-memory or on-disk.
 196                 if { $databases_in_memory } {
 197                         set dbname { "" "test.db" }
 198                 } else {
 199                         set dbname "test.db"
 200                 }
 201
 202                 set db1 [eval {berkdb_open_noerr -env $menv1 -auto_commit \
 203                      -mode 0644} $largs $omethod $dbname]
 204                 error_check_good dbopen [is_valid_db $db1] TRUE
 205
 206                 if { $processopens == 1 } {
 207                         puts "\tRep$tnum.b1:\
 208                             Process db open messages to client."
 209                         process_msgs $envlist
 210                 } else {
 211                         set start [do_switch $method $niter $start $menv0 $cenv $largs]
 212                 }
 213
 214                 puts "\tRep$tnum.c: Write to database in 2nd master."
 215                 # We don't use rep_test here, because sometimes we abort.
 216                 for { set i 1 } { $i <= $niter } { incr i } {
 217                         set t [$menv1 txn]
 218                         set key $i
 219                         set str STRING.$i
 220                         if [catch {eval {$db1 put}\
 221                             -txn $t {$key [chop_data $method $str]}} result] {
 222                                 # If handle is dead, abort txn, then
 223                                 # close and reopen db.
 224                                 error_check_good handle_dead \
 225                                     [is_substr $result HANDLE_DEAD] 1
 226                                 error_check_good txn_abort [$t abort] 0
 227                                 error_check_good close_handle [$db1 close] 0
 228                                 set db1 [eval {berkdb_open_noerr \
 229                                     -env $menv1 -auto_commit -mode 0644}\
 230                                     $largs $omethod $dbname]
 231                         } else {
 232                                 error_check_good txn_commit [$t commit] 0
 233                         }
 234                 }
 235
 236                 if { $processwrites == 1 } {
 237                         puts "\tRep$tnum.c1:\
 238                             Process db put messages to client."
 239                         process_msgs $envlist
 240                 } else {
 241                         set start [do_switch $method $niter $start $menv0 $cenv $largs]
 242                 }
 243
 244                 puts "\tRep$tnum.d: Close database using 2nd master env handle."
 245                 error_check_good db_close [$db1 close] 0
 246
 247                 if { $processcloses == 1 } {
 248                         puts "\tRep$tnum.d1:\
 249                             Process db close messages to client."
 250                         process_msgs $envlist
 251                 } else {
 252                         set start [do_switch $method $niter $start $menv0 $cenv $largs]
 253                 }
 254
 255                 # Check that databases are in-memory or on-disk as expected.
 256                 check_db_location $menv0
 257                 check_db_location $menv1
 258                 check_db_location $cenv
 259
 260                 puts "\tRep$tnum.e: Clean up."
 261                 error_check_good menv0_close [$menv0 close] 0
 262                 error_check_good menv1_close [$menv1 close] 0
 263                 error_check_good cenv_close [$cenv close] 0
 264
 265                 replclose $testdir/MSGQUEUEDIR
 266         }
 267         set testdir $orig_tdir
 268         return
 269 }
 270
 271 proc do_switch { method niter start masterenv clientenv largs } {
 272         set envlist "{$masterenv 1} {$clientenv 2}"
 273
 274         # Downgrade master, upgrade client.
 275         error_check_good master_downgrade [$masterenv rep_start -client] 0
 276         error_check_good client_upgrade [$clientenv rep_start -master] 0
 277         process_msgs $envlist
 278
 279         # Run rep_test in the new master.
 280         eval rep_test $method $clientenv NULL $niter $start $start 0 $largs
 281         incr start $niter
 282         process_msgs $envlist
 283
 284         # Downgrade newmaster, upgrade original master.
 285         error_check_good client_downgrade [$clientenv rep_start -client] 0
 286         error_check_good master_upgrade [$masterenv rep_start -master] 0
 287
 288         # Run rep_test in the restored master.
 289         eval rep_test $method $masterenv NULL $niter $start $start 0 $largs
 290         incr start $niter
 291         process_msgs $envlist
 292
 293         return $start
 294 }