lib/progress.c

   1 /***************************************************************************
   2  *                                  _   _ ____  _
   3  *  Project                     ___| | | |  _ \| |
   4  *                             / __| | | | |_) | |
   5  *                            | (__| |_| |  _ <| |___
   6  *                             \___|\___/|_| \_\_____|
   7  *
   8  * Copyright (C) 1998 - 2009, Daniel Stenberg, <daniel@haxx.se>, et al.
   9  *
  10  * This software is licensed as described in the file COPYING, which
  11  * you should have received as part of this distribution. The terms
  12  * are also available at http://curl.haxx.se/docs/copyright.html.
  13  *
  14  * You may opt to use, copy, modify, merge, publish, distribute and/or sell
  15  * copies of the Software, and permit persons to whom the Software is
  16  * furnished to do so, under the terms of the COPYING file.
  17  *
  18  * This software is distributed on an "AS IS" basis, WITHOUT WARRANTY OF ANY
  19  * KIND, either express or implied.
  20  *
  21  ***************************************************************************/
  22
  23 #include "setup.h"
  24
  25 #include "urldata.h"
  26 #include "sendf.h"
  27 #include "progress.h"
  28
  29 #define _MPRINTF_REPLACE /* use our functions only */
  30 #include <curl/mprintf.h>
  31
  32 /* Provide a string that is 2 + 1 + 2 + 1 + 2 = 8 letters long (plus the zero
  33    byte) */
  34 static void time2str(char *r, curl_off_t seconds)
  35 {
  36   curl_off_t d, h, m, s;
  37   if(seconds <= 0) {
  38     strcpy(r, "--:--:--");
  39     return;
  40   }
  41   h = seconds / CURL_OFF_T_C(3600);
  42   if(h <= CURL_OFF_T_C(99)) {
  43     m = (seconds - (h*CURL_OFF_T_C(3600))) / CURL_OFF_T_C(60);
  44     s = (seconds - (h*CURL_OFF_T_C(3600))) - (m*CURL_OFF_T_C(60));
  45     snprintf(r, 9, "%2" FORMAT_OFF_T ":%02" FORMAT_OFF_T ":%02" FORMAT_OFF_T,
  46              h, m, s);
  47   }
  48   else {
  49     /* this equals to more than 99 hours, switch to a more suitable output
  50        format to fit within the limits. */
  51     d = seconds / CURL_OFF_T_C(86400);
  52     h = (seconds - (d*CURL_OFF_T_C(86400))) / CURL_OFF_T_C(3600);
  53     if(d <= CURL_OFF_T_C(999))
  54       snprintf(r, 9, "%3" FORMAT_OFF_T "d %02" FORMAT_OFF_T "h", d, h);
  55     else
  56       snprintf(r, 9, "%7" FORMAT_OFF_T "d", d);
  57   }
  58 }
  59
  60 /* The point of this function would be to return a string of the input data,
  61    but never longer than 5 columns (+ one zero byte).
  62    Add suffix k, M, G when suitable... */
  63 static char *max5data(curl_off_t bytes, char *max5)
  64 {
  65 #define ONE_KILOBYTE  CURL_OFF_T_C(1024)
  66 #define ONE_MEGABYTE (CURL_OFF_T_C(1024) * ONE_KILOBYTE)
  67 #define ONE_GIGABYTE (CURL_OFF_T_C(1024) * ONE_MEGABYTE)
  68 #define ONE_TERABYTE (CURL_OFF_T_C(1024) * ONE_GIGABYTE)
  69 #define ONE_PETABYTE (CURL_OFF_T_C(1024) * ONE_TERABYTE)
  70
  71   if(bytes < CURL_OFF_T_C(100000))
  72     snprintf(max5, 6, "%5" FORMAT_OFF_T, bytes);
  73
  74   else if(bytes < CURL_OFF_T_C(10000) * ONE_KILOBYTE)
  75     snprintf(max5, 6, "%4" FORMAT_OFF_T "k", bytes/ONE_KILOBYTE);
  76
  77   else if(bytes < CURL_OFF_T_C(100) * ONE_MEGABYTE)
  78     /* 'XX.XM' is good as long as we're less than 100 megs */
  79     snprintf(max5, 6, "%2" FORMAT_OFF_T ".%0" FORMAT_OFF_T "M",
  80               bytes/ONE_MEGABYTE,
  81              (bytes%ONE_MEGABYTE) / (ONE_MEGABYTE/CURL_OFF_T_C(10)) );
  82
  83 #if (CURL_SIZEOF_CURL_OFF_T > 4)
  84
  85   else if(bytes < CURL_OFF_T_C(10000) * ONE_MEGABYTE)
  86     /* 'XXXXM' is good until we're at 10000MB or above */
  87     snprintf(max5, 6, "%4" FORMAT_OFF_T "M", bytes/ONE_MEGABYTE);
  88
  89   else if(bytes < CURL_OFF_T_C(100) * ONE_GIGABYTE)
  90     /* 10000 MB - 100 GB, we show it as XX.XG */
  91     snprintf(max5, 6, "%2" FORMAT_OFF_T ".%0" FORMAT_OFF_T "G",
  92               bytes/ONE_GIGABYTE,
  93              (bytes%ONE_GIGABYTE) / (ONE_GIGABYTE/CURL_OFF_T_C(10)) );
  94
  95   else if(bytes < CURL_OFF_T_C(10000) * ONE_GIGABYTE)
  96     /* up to 10000GB, display without decimal: XXXXG */
  97     snprintf(max5, 6, "%4" FORMAT_OFF_T "G", bytes/ONE_GIGABYTE);
  98
  99   else if(bytes < CURL_OFF_T_C(10000) * ONE_TERABYTE)
 100     /* up to 10000TB, display without decimal: XXXXT */
 101     snprintf(max5, 6, "%4" FORMAT_OFF_T "T", bytes/ONE_TERABYTE);
 102
 103   else
 104     /* up to 10000PB, display without decimal: XXXXP */
 105     snprintf(max5, 6, "%4" FORMAT_OFF_T "P", bytes/ONE_PETABYTE);
 106
 107     /* 16384 petabytes (16 exabytes) is the maximum a 64 bit unsigned number
 108        can hold, but our data type is signed so 8192PB will be the maximum. */
 109
 110 #else
 111
 112   else
 113     snprintf(max5, 6, "%4" FORMAT_OFF_T "M", bytes/ONE_MEGABYTE);
 114
 115 #endif
 116
 117   return max5;
 118 }
 119
 120 /*
 121
 122    New proposed interface, 9th of February 2000:
 123
 124    pgrsStartNow() - sets start time
 125    pgrsSetDownloadSize(x) - known expected download size
 126    pgrsSetUploadSize(x) - known expected upload size
 127    pgrsSetDownloadCounter() - amount of data currently downloaded
 128    pgrsSetUploadCounter() - amount of data currently uploaded
 129    pgrsUpdate() - show progress
 130    pgrsDone() - transfer complete
 131
 132 */
 133
 134 void Curl_pgrsDone(struct connectdata *conn)
 135 {
 136   struct SessionHandle *data = conn->data;
 137   data->progress.lastshow=0;
 138   Curl_pgrsUpdate(conn); /* the final (forced) update */
 139
 140   data->progress.speeder_c = 0; /* reset the progress meter display */
 141 }
 142
 143 /* reset all times except redirect */
 144 void Curl_pgrsResetTimes(struct SessionHandle *data)
 145 {
 146   data->progress.t_nslookup = 0.0;
 147   data->progress.t_connect = 0.0;
 148   data->progress.t_pretransfer = 0.0;
 149   data->progress.t_starttransfer = 0.0;
 150 }
 151
 152 void Curl_pgrsTime(struct SessionHandle *data, timerid timer)
 153 {
 154   switch(timer) {
 155   default:
 156   case TIMER_NONE:
 157     /* mistake filter */
 158     break;
 159   case TIMER_STARTSINGLE:
 160     /* This is set at the start of a single fetch */
 161     data->progress.t_startsingle = Curl_tvnow();
 162     break;
 163
 164   case TIMER_NAMELOOKUP:
 165     data->progress.t_nslookup =
 166       Curl_tvdiff_secs(Curl_tvnow(), data->progress.t_startsingle);
 167     break;
 168   case TIMER_CONNECT:
 169     data->progress.t_connect =
 170       Curl_tvdiff_secs(Curl_tvnow(), data->progress.t_startsingle);
 171     break;
 172   case TIMER_APPCONNECT:
 173     data->progress.t_appconnect =
 174       Curl_tvdiff_secs(Curl_tvnow(), data->progress.t_startsingle);
 175     break;
 176   case TIMER_PRETRANSFER:
 177     data->progress.t_pretransfer =
 178       Curl_tvdiff_secs(Curl_tvnow(), data->progress.t_startsingle);
 179     break;
 180   case TIMER_STARTTRANSFER:
 181     data->progress.t_starttransfer =
 182       Curl_tvdiff_secs(Curl_tvnow(), data->progress.t_startsingle);
 183     break;
 184   case TIMER_POSTRANSFER:
 185     /* this is the normal end-of-transfer thing */
 186     break;
 187   case TIMER_REDIRECT:
 188     data->progress.t_redirect =
 189       Curl_tvdiff_secs(Curl_tvnow(), data->progress.start);
 190     break;
 191   }
 192 }
 193
 194 void Curl_pgrsStartNow(struct SessionHandle *data)
 195 {
 196   data->progress.speeder_c = 0; /* reset the progress meter display */
 197   data->progress.start = Curl_tvnow();
 198 }
 199
 200 void Curl_pgrsSetDownloadCounter(struct SessionHandle *data, curl_off_t size)
 201 {
 202   data->progress.downloaded = size;
 203 }
 204
 205 void Curl_pgrsSetUploadCounter(struct SessionHandle *data, curl_off_t size)
 206 {
 207   data->progress.uploaded = size;
 208 }
 209
 210 void Curl_pgrsSetDownloadSize(struct SessionHandle *data, curl_off_t size)
 211 {
 212   data->progress.size_dl = size;
 213   if(size >= 0)
 214     data->progress.flags |= PGRS_DL_SIZE_KNOWN;
 215   else
 216     data->progress.flags &= ~PGRS_DL_SIZE_KNOWN;
 217 }
 218
 219 void Curl_pgrsSetUploadSize(struct SessionHandle *data, curl_off_t size)
 220 {
 221   data->progress.size_ul = size;
 222   if(size >= 0)
 223     data->progress.flags |= PGRS_UL_SIZE_KNOWN;
 224   else
 225     data->progress.flags &= ~PGRS_UL_SIZE_KNOWN;
 226 }
 227
 228 int Curl_pgrsUpdate(struct connectdata *conn)
 229 {
 230   struct timeval now;
 231   int result;
 232   char max5[6][10];
 233   curl_off_t dlpercen=0;
 234   curl_off_t ulpercen=0;
 235   curl_off_t total_percen=0;
 236   curl_off_t total_transfer;
 237   curl_off_t total_expected_transfer;
 238   curl_off_t timespent;
 239   struct SessionHandle *data = conn->data;
 240   int nowindex = data->progress.speeder_c% CURR_TIME;
 241   int checkindex;
 242   int countindex; /* amount of seconds stored in the speeder array */
 243   char time_left[10];
 244   char time_total[10];
 245   char time_spent[10];
 246   curl_off_t ulestimate=0;
 247   curl_off_t dlestimate=0;
 248   curl_off_t total_estimate;
 249   bool shownow=FALSE;
 250
 251   now = Curl_tvnow(); /* what time is it */
 252
 253   /* The time spent so far (from the start) */
 254   data->progress.timespent =
 255     (double)(now.tv_sec - data->progress.start.tv_sec) +
 256     (double)(now.tv_usec - data->progress.start.tv_usec)/1000000.0;
 257   timespent = (curl_off_t)data->progress.timespent;
 258
 259   /* The average download speed this far */
 260   data->progress.dlspeed = (curl_off_t)
 261     ((double)data->progress.downloaded/
 262      (data->progress.timespent>0?data->progress.timespent:1));
 263
 264   /* The average upload speed this far */
 265   data->progress.ulspeed = (curl_off_t)
 266     ((double)data->progress.uploaded/
 267      (data->progress.timespent>0?data->progress.timespent:1));
 268
 269   /* Calculations done at most once a second, unless end is reached */
 270   if(data->progress.lastshow != (long)now.tv_sec) {
 271     shownow = TRUE;
 272
 273     data->progress.lastshow = now.tv_sec;
 274
 275     /* Let's do the "current speed" thing, which should use the fastest
 276        of the dl/ul speeds. Store the faster speed at entry 'nowindex'. */
 277     data->progress.speeder[ nowindex ] =
 278       data->progress.downloaded>data->progress.uploaded?
 279       data->progress.downloaded:data->progress.uploaded;
 280
 281     /* remember the exact time for this moment */
 282     data->progress.speeder_time [ nowindex ] = now;
 283
 284     /* advance our speeder_c counter, which is increased every time we get
 285        here and we expect it to never wrap as 2^32 is a lot of seconds! */
 286     data->progress.speeder_c++;
 287
 288     /* figure out how many index entries of data we have stored in our speeder
 289        array. With N_ENTRIES filled in, we have about N_ENTRIES-1 seconds of
 290        transfer. Imagine, after one second we have filled in two entries,
 291        after two seconds we've filled in three entries etc. */
 292     countindex = ((data->progress.speeder_c>=CURR_TIME)?
 293                   CURR_TIME:data->progress.speeder_c) - 1;
 294
 295     /* first of all, we don't do this if there's no counted seconds yet */
 296     if(countindex) {
 297       long span_ms;
 298
 299       /* Get the index position to compare with the 'nowindex' position.
 300          Get the oldest entry possible. While we have less than CURR_TIME
 301          entries, the first entry will remain the oldest. */
 302       checkindex = (data->progress.speeder_c>=CURR_TIME)?
 303         data->progress.speeder_c%CURR_TIME:0;
 304
 305       /* Figure out the exact time for the time span */
 306       span_ms = Curl_tvdiff(now,
 307                             data->progress.speeder_time[checkindex]);
 308       if(0 == span_ms)
 309         span_ms=1; /* at least one millisecond MUST have passed */
 310
 311       /* Calculate the average speed the last 'span_ms' milliseconds */
 312       {
 313         curl_off_t amount = data->progress.speeder[nowindex]-
 314           data->progress.speeder[checkindex];
 315
 316         if(amount > CURL_OFF_T_C(4294967) /* 0xffffffff/1000 */)
 317           /* the 'amount' value is bigger than would fit in 32 bits if
 318              multiplied with 1000, so we use the double math for this */
 319           data->progress.current_speed = (curl_off_t)
 320             ((double)amount/((double)span_ms/1000.0));
 321         else
 322           /* the 'amount' value is small enough to fit within 32 bits even
 323              when multiplied with 1000 */
 324           data->progress.current_speed = amount*CURL_OFF_T_C(1000)/span_ms;
 325       }
 326     }
 327     else
 328       /* the first second we use the main average */
 329       data->progress.current_speed =
 330         (data->progress.ulspeed>data->progress.dlspeed)?
 331         data->progress.ulspeed:data->progress.dlspeed;
 332
 333   } /* Calculations end */
 334
 335   if(!(data->progress.flags & PGRS_HIDE)) {
 336
 337     /* progress meter has not been shut off */
 338
 339     if(data->set.fprogress) {
 340       /* There's a callback set, so we call that instead of writing
 341          anything ourselves. This really is the way to go. */
 342       result= data->set.fprogress(data->set.progress_client,
 343                                   (double)data->progress.size_dl,
 344                                   (double)data->progress.downloaded,
 345                                   (double)data->progress.size_ul,
 346                                   (double)data->progress.uploaded);
 347       if(result)
 348         failf(data, "Callback aborted");
 349       return result;
 350     }
 351
 352     if(!shownow)
 353       /* only show the internal progress meter once per second */
 354       return 0;
 355
 356     /* If there's no external callback set, use internal code to show
 357        progress */
 358
 359     if(!(data->progress.flags & PGRS_HEADERS_OUT)) {
 360       if(data->state.resume_from) {
 361         fprintf(data->set.err,
 362                 "** Resuming transfer from byte position %" FORMAT_OFF_T "\n",
 363                 data->state.resume_from);
 364       }
 365       fprintf(data->set.err,
 366               "  %% Total    %% Received %% Xferd  Average Speed   Time    Time     Time  Current\n"
 367               "                                 Dload  Upload   Total   Spent    Left  Speed\n");
 368       data->progress.flags |= PGRS_HEADERS_OUT; /* headers are shown */
 369     }
 370
 371     /* Figure out the estimated time of arrival for the upload */
 372     if((data->progress.flags & PGRS_UL_SIZE_KNOWN) &&
 373        (data->progress.ulspeed > CURL_OFF_T_C(0))) {
 374       ulestimate = data->progress.size_ul / data->progress.ulspeed;
 375
 376       if(data->progress.size_ul > CURL_OFF_T_C(10000))
 377         ulpercen = data->progress.uploaded /
 378           (data->progress.size_ul/CURL_OFF_T_C(100));
 379       else if(data->progress.size_ul > CURL_OFF_T_C(0))
 380         ulpercen = (data->progress.uploaded*100) /
 381           data->progress.size_ul;
 382     }
 383
 384     /* ... and the download */
 385     if((data->progress.flags & PGRS_DL_SIZE_KNOWN) &&
 386        (data->progress.dlspeed > CURL_OFF_T_C(0))) {
 387       dlestimate = data->progress.size_dl / data->progress.dlspeed;
 388
 389       if(data->progress.size_dl > CURL_OFF_T_C(10000))
 390         dlpercen = data->progress.downloaded /
 391           (data->progress.size_dl/CURL_OFF_T_C(100));
 392       else if(data->progress.size_dl > CURL_OFF_T_C(0))
 393         dlpercen = (data->progress.downloaded*100) /
 394           data->progress.size_dl;
 395     }
 396
 397     /* Now figure out which of them is slower and use that one for the
 398        total estimate! */
 399     total_estimate = ulestimate>dlestimate?ulestimate:dlestimate;
 400
 401     /* create the three time strings */
 402     time2str(time_left, total_estimate > 0?(total_estimate - timespent):0);
 403     time2str(time_total, total_estimate);
 404     time2str(time_spent, timespent);
 405
 406     /* Get the total amount of data expected to get transfered */
 407     total_expected_transfer =
 408       (data->progress.flags & PGRS_UL_SIZE_KNOWN?
 409        data->progress.size_ul:data->progress.uploaded)+
 410       (data->progress.flags & PGRS_DL_SIZE_KNOWN?
 411        data->progress.size_dl:data->progress.downloaded);
 412
 413     /* We have transfered this much so far */
 414     total_transfer = data->progress.downloaded + data->progress.uploaded;
 415
 416     /* Get the percentage of data transfered so far */
 417     if(total_expected_transfer > CURL_OFF_T_C(10000))
 418       total_percen = total_transfer /
 419         (total_expected_transfer/CURL_OFF_T_C(100));
 420     else if(total_expected_transfer > CURL_OFF_T_C(0))
 421       total_percen = (total_transfer*100) / total_expected_transfer;
 422
 423     fprintf(data->set.err,
 424             "\r"
 425             "%3" FORMAT_OFF_T " %s  "
 426             "%3" FORMAT_OFF_T " %s  "
 427             "%3" FORMAT_OFF_T " %s  %s  %s %s %s %s %s",
 428             total_percen,  /* 3 letters */                /* total % */
 429             max5data(total_expected_transfer, max5[2]),   /* total size */
 430             dlpercen,      /* 3 letters */                /* rcvd % */
 431             max5data(data->progress.downloaded, max5[0]), /* rcvd size */
 432             ulpercen,      /* 3 letters */                /* xfer % */
 433             max5data(data->progress.uploaded, max5[1]),   /* xfer size */
 434             max5data(data->progress.dlspeed, max5[3]),    /* avrg dl speed */
 435             max5data(data->progress.ulspeed, max5[4]),    /* avrg ul speed */
 436             time_total,    /* 8 letters */                /* total time */
 437             time_spent,    /* 8 letters */                /* time spent */
 438             time_left,     /* 8 letters */                /* time left */
 439             max5data(data->progress.current_speed, max5[5]) /* current speed */
 440             );
 441
 442     /* we flush the output stream to make it appear as soon as possible */
 443     fflush(data->set.err);
 444
 445   } /* !(data->progress.flags & PGRS_HIDE) */
 446
 447   return 0;
 448 }