lib/urldata.h

   1 #ifndef __URLDATA_H
   2 #define __URLDATA_H
   3 /*****************************************************************************
   4  *                                  _   _ ____  _
   5  *  Project                     ___| | | |  _ \| |
   6  *                             / __| | | | |_) | |
   7  *                            | (__| |_| |  _ <| |___
   8  *                             \___|\___/|_| \_\_____|
   9  *
  10  * Copyright (C) 2000, Daniel Stenberg, <daniel@haxx.se>, et al.
  11  *
  12  * In order to be useful for every potential user, curl and libcurl are
  13  * dual-licensed under the MPL and the MIT/X-derivate licenses.
  14  *
  15  * You may opt to use, copy, modify, merge, publish, distribute and/or sell
  16  * copies of the Software, and permit persons to whom the Software is
  17  * furnished to do so, under the terms of the MPL or the MIT/X-derivate
  18  * licenses. You may pick one of these licenses.
  19  *
  20  * This software is distributed on an "AS IS" basis, WITHOUT WARRANTY OF ANY
  21  * KIND, either express or implied.
  22  *
  23  * $Id$
  24  *****************************************************************************/
  25
  26 /* This file is for lib internal stuff */
  27
  28 #include "setup.h"
  29
  30 #ifndef MAXHOSTNAMELEN
  31 #define MAXHOSTNAMELEN 256
  32 #endif
  33
  34 #define PORT_FTP 21
  35 #define PORT_TELNET 23
  36 #define PORT_GOPHER 70
  37 #define PORT_HTTP 80
  38 #define PORT_HTTPS 443
  39 #define PORT_DICT 2628
  40 #define PORT_LDAP 389
  41
  42 #define DICT_MATCH "/MATCH:"
  43 #define DICT_MATCH2 "/M:"
  44 #define DICT_MATCH3 "/FIND:"
  45 #define DICT_DEFINE "/DEFINE:"
  46 #define DICT_DEFINE2 "/D:"
  47 #define DICT_DEFINE3 "/LOOKUP:"
  48
  49 #define CURL_DEFAULT_USER "anonymous"
  50 #define CURL_DEFAULT_PASSWORD "curl_by_daniel@haxx.se"
  51
  52 #include "cookie.h"
  53 #include "formdata.h"
  54
  55 #ifdef USE_SSLEAY
  56 /* SSLeay stuff usually in /usr/local/ssl/include */
  57 #ifdef USE_OPENSSL
  58 #include "openssl/rsa.h"
  59 #include "openssl/crypto.h"
  60 #include "openssl/x509.h"
  61 #include "openssl/pem.h"
  62 #include "openssl/ssl.h"
  63 #include "openssl/err.h"
  64 #else
  65 #include "rsa.h"
  66 #include "crypto.h"
  67 #include "x509.h"
  68 #include "pem.h"
  69 #include "ssl.h"
  70 #include "err.h"
  71 #endif
  72 #endif
  73
  74 #ifdef HAVE_NETINET_IN_H
  75 #include <netinet/in.h>
  76 #endif
  77
  78 #include "timeval.h"
  79
  80 #include <curl/curl.h>
  81
  82 #include "http_chunks.h" /* for the structs and enum stuff */
  83
  84 /* Download buffer size, keep it fairly big for speed reasons */
  85 #define BUFSIZE (1024*50)
  86
  87 /* Defaul upload buffer size, keep it smallish to get faster progress meter
  88    updates. This is just default, it is dynamic and adjusts to the upload
  89    speed. */
  90 #define UPLOAD_BUFSIZE (1024*2)
  91
  92 /* Initial size of the buffer to store headers in, it'll be enlarged in case
  93    of need. */
  94 #define HEADERSIZE 256
  95
  96 /* Just a convenience macro to get the larger value out of two given */
  97 #ifndef MAX
  98 #define MAX(x,y) ((x)>(y)?(x):(y))
  99 #endif
 100
 101 #ifdef KRB4
 102 /* Types needed for krb4-ftp connections */
 103 struct krb4buffer {
 104   void *data;
 105   size_t size;
 106   size_t index;
 107   int eof_flag;
 108 };
 109 enum protection_level {
 110     prot_clear,
 111     prot_safe,
 112     prot_confidential,
 113     prot_private
 114 };
 115 #endif
 116
 117 /* struct for data related to SSL and SSL connections */
 118 struct ssl_connect_data {
 119   bool use;              /* use ssl encrypted communications TRUE/FALSE */
 120 #ifdef USE_SSLEAY
 121   /* these ones requires specific SSL-types */
 122   SSL_CTX* ctx;
 123   SSL*     handle;
 124   X509*    server_cert;
 125 #endif /* USE_SSLEAY */
 126 };
 127
 128 struct ssl_config_data {
 129   long version;          /* what version the client wants to use */
 130   long certverifyresult; /* result from the certificate verification */
 131   long verifypeer;       /* set TRUE if this is desired */
 132   char *CApath;          /* DOES NOT WORK ON WINDOWS */
 133   char *CAfile;          /* cerficate to verify peer against */
 134   char *random_file;     /* path to file containing "random" data */
 135   char *egdsocket;       /* path to file containing the EGD daemon socket */
 136 };
 137
 138 /****************************************************************************
 139  * HTTP unique setup
 140  ***************************************************************************/
 141 struct HTTP {
 142   struct FormData *sendit;
 143   int postsize;
 144   char *p_pragma;      /* Pragma: string */
 145   char *p_accept;      /* Accept: string */
 146   long readbytecount;
 147   long writebytecount;
 148
 149   /* For FORM posting */
 150   struct Form form;
 151   curl_read_callback storefread;
 152   FILE *in;
 153
 154   struct Curl_chunker chunk;
 155 };
 156
 157 /****************************************************************************
 158  * FTP unique setup
 159  ***************************************************************************/
 160 struct FTP {
 161   long *bytecountp;
 162   char *user;    /* user name string */
 163   char *passwd;  /* password string */
 164   char *urlpath; /* the originally given path part of the URL */
 165   char *dir;     /* decoded directory */
 166   char *file;    /* decoded file */
 167
 168   char *entrypath; /* the PWD reply when we logged on */
 169 };
 170
 171 /****************************************************************************
 172  * FILE unique setup
 173  ***************************************************************************/
 174 struct FILE {
 175   int fd; /* open file descriptor to read from! */
 176 };
 177
 178 /*
 179  * Boolean values that concerns this connection.
 180  */
 181 struct ConnectBits {
 182   bool close; /* if set, we close the connection after this request */
 183   bool reuse; /* if set, this is a re-used connection */
 184   bool chunk; /* if set, this is a chunked transfer-encoding */
 185   bool httpproxy; /* if set, this transfer is done through a http proxy */
 186   bool user_passwd;       /* do we use user+password for this connection? */
 187   bool proxy_user_passwd; /* user+password for the proxy? */
 188
 189   bool use_range;
 190   bool rangestringalloc; /* the range string is malloc()'ed */
 191
 192   bool resume_done; /* nothing was transfered, resumed transfer already
 193                        complete */
 194 };
 195
 196 /*
 197  * The connectdata struct contains all fields and variables that should be
 198  * unique for an entire connection.
 199  */
 200 struct connectdata {
 201   /**** Fields set when inited and not modified again */
 202   struct UrlData *data; /* link to the root CURL struct */
 203   int connectindex; /* what index in the connects index this particular
 204                        struct has */
 205
 206   long protocol; /* PROT_* flags concerning the protocol set */
 207 #define PROT_MISSING (1<<0)
 208 #define PROT_GOPHER  (1<<1)
 209 #define PROT_HTTP    (1<<2)
 210 #define PROT_HTTPS   (1<<3)
 211 #define PROT_FTP     (1<<4)
 212 #define PROT_TELNET  (1<<5)
 213 #define PROT_DICT    (1<<6)
 214 #define PROT_LDAP    (1<<7)
 215 #define PROT_FILE    (1<<8)
 216 #define PROT_FTPS    (1<<9)
 217
 218 #ifdef ENABLE_IPV6
 219   struct addrinfo *hp; /* host info pointer list */
 220   struct addrinfo *ai; /* the particular host we use */
 221 #else
 222   char *hostent_buf; /* pointer to allocated memory for name info */
 223   struct hostent *hp;
 224   struct sockaddr_in serv_addr;
 225 #endif
 226   char protostr[64];  /* store the protocol string in this buffer */
 227   char gname[257]; /* store the hostname in this buffer */
 228   char *name;      /* host name pointer to fool around with */
 229   char *path;      /* allocated buffer to store the URL's path part in */
 230   char *hostname;  /* hostname to connect, as parsed from url */
 231   long port;       /* which port to use locally */
 232   unsigned short remote_port; /* what remote port to connect to,
 233                                  not the proxy port! */
 234   char *ppath;
 235   long bytecount;
 236
 237   char *range; /* range, if used. See README for detailed specification on
 238                   this syntax. */
 239   int resume_from; /* continue [ftp] transfer from here */
 240
 241   char *proxyhost; /* name of the http proxy host */
 242
 243   struct timeval now;     /* "current" time */
 244   struct timeval created; /* creation time */
 245   int firstsocket;     /* the main socket to use */
 246   int secondarysocket; /* for i.e ftp transfers */
 247
 248   long upload_bufsize; /* adjust as you see fit, never bigger than BUFSIZE
 249                           never smaller than UPLOAD_BUFSIZE */
 250
 251   long maxdownload; /* in bytes, the maximum amount of data to fetch, 0
 252                        means unlimited */
 253
 254   struct ssl_connect_data ssl; /* this is for ssl-stuff */
 255
 256   struct ConnectBits bits;    /* various state-flags for this connection */
 257
 258   /* These two functions MUST be set by the curl_connect() function to be
 259      be protocol dependent */
 260   CURLcode (*curl_do)(struct connectdata *connect);
 261   CURLcode (*curl_done)(struct connectdata *connect);
 262
 263   /* This function *MAY* be set to a protocol-dependent function that is run
 264    * after the connect() and everything is done, as a step in the connection.
 265    */
 266   CURLcode (*curl_connect)(struct connectdata *connect);
 267
 268   /* This function *MAY* be set to a protocol-dependent function that is run
 269    * by the curl_disconnect(), as a step in the disconnection.
 270    */
 271   CURLcode (*curl_disconnect)(struct connectdata *connect);
 272
 273   /* This function *MAY* be set to a protocol-dependent function that is run
 274    * in the curl_close() function if protocol-specific cleanups are required.
 275    */
 276   CURLcode (*curl_close)(struct connectdata *connect);
 277
 278   /**** curl_get() phase fields */
 279
 280   /* READ stuff */
 281   int sockfd;            /* socket to read from or -1 */
 282   int size;              /* -1 if unknown at this point */
 283   bool getheader;        /* TRUE if header parsing is wanted */
 284   long *bytecountp;      /* return number of bytes read or NULL */
 285
 286   /* WRITE stuff */
 287   int writesockfd;       /* socket to write to, it may very well be
 288                             the same we read from. -1 disables */
 289   long *writebytecountp; /* return number of bytes written or NULL */
 290
 291   /** Dynamicly allocated strings, may need to be freed before this **/
 292   /** struct is killed.                                             **/
 293   struct dynamically_allocated_data {
 294     char *proxyuserpwd; /* free later if not NULL! */
 295     char *uagent; /* free later if not NULL! */
 296     char *userpwd; /* free later if not NULL! */
 297     char *rangeline; /* free later if not NULL! */
 298     char *ref; /* free later if not NULL! */
 299     char *cookie; /* free later if not NULL! */
 300     char *host; /* free later if not NULL */
 301   } allocptr;
 302
 303   char *newurl; /* This can only be set if a Location: was in the
 304                    document headers */
 305
 306 #ifdef KRB4
 307   enum protection_level command_prot;
 308   enum protection_level data_prot;
 309   enum protection_level request_data_prot;
 310
 311   size_t buffer_size;
 312
 313   struct krb4buffer in_buffer, out_buffer;
 314   int sec_complete;
 315   void *app_data;
 316
 317 #endif
 318
 319   /*************** Request - specific items ************/
 320   /* previously this was in the urldata struct */
 321   union {
 322     struct HTTP *http;
 323     struct HTTP *gopher; /* alias, just for the sake of being more readable */
 324     struct HTTP *https;  /* alias, just for the sake of being more readable */
 325     struct FTP *ftp;
 326     struct FILE *file;
 327     void *telnet;        /* private for telnet.c-eyes only */
 328 #if 0 /* no need for special ones for these: */
 329     struct LDAP *ldap;
 330     struct DICT *dict;
 331 #endif
 332     void *generic;
 333   } proto;
 334
 335
 336 };
 337
 338 struct Progress {
 339   long lastshow; /* time() of the last displayed progress meter or NULL to
 340                     force redraw at next call */
 341   double size_dl;
 342   double size_ul;
 343   double downloaded;
 344   double uploaded;
 345
 346   double current_speed; /* uses the currently fastest transfer */
 347
 348   bool callback;  /* set when progress callback is used */
 349   int width; /* screen width at download start */
 350   int flags; /* see progress.h */
 351   double timespent;
 352   double dlspeed;
 353   double ulspeed;
 354
 355   struct timeval start;
 356   struct timeval t_startsingle;
 357   /* various data stored for possible later report */
 358   double t_nslookup;
 359   double t_connect;
 360   double t_pretransfer;
 361   int httpcode;
 362   int httpversion;
 363   time_t filetime; /* If requested, this is might get set. It may be 0 if
 364                       the time was unretrievable */
 365
 366 #define CURR_TIME 5
 367
 368   double speeder[ CURR_TIME ];
 369   int speeder_c;
 370 };
 371
 372 typedef enum {
 373   HTTPREQ_NONE, /* first in list */
 374   HTTPREQ_GET,
 375   HTTPREQ_POST,
 376   HTTPREQ_POST_FORM, /* we make a difference internally */
 377   HTTPREQ_PUT,
 378   HTTPREQ_CUSTOM,
 379   HTTPREQ_LAST /* last in list */
 380 } Curl_HttpReq;
 381
 382 /* This struct is for boolean settings that define how to behave during
 383    this session. */
 384 struct Configbits {
 385   /* these four request types mirror the httpreq field */
 386   bool http_formpost;
 387   bool http_post;
 388   bool http_put;
 389   bool http_get;
 390
 391   bool get_filetime;
 392   bool tunnel_thru_httpproxy;
 393   bool ftp_append;
 394   bool ftp_ascii;
 395   bool ftp_list_only;
 396   bool ftp_use_port;
 397   bool hide_progress;
 398   bool http_fail_on_error;
 399   bool http_follow_location;
 400   bool http_include_header;
 401   bool http_set_referer;
 402   bool http_auto_referer; /* set "correct" referer when following location: */
 403   bool httpproxy;
 404   bool no_body;
 405   bool set_port;
 406   bool set_range;
 407   bool upload;
 408   bool use_netrc;
 409   bool verbose;
 410   bool this_is_a_follow; /* this is a followed Location: request */
 411   bool krb4; /* kerberos4 connection requested */
 412   bool proxystringalloc; /* the http proxy string is malloc()'ed */
 413   bool urlstringalloc;   /* the URL string is malloc()'ed */
 414   bool reuse_forbid;     /* if this is forbidden to be reused, close
 415                             after use */
 416   bool reuse_fresh;      /* do not re-use an existing connection for this
 417                             transfer */
 418 };
 419
 420 /*
 421  * As of April 11, 2000 we're now trying to split up the urldata struct in
 422  * three different parts:
 423  *
 424  * (Global)
 425  * 1 - No matter how many hosts and requests that are being performed, this
 426  *     goes for all of them.
 427  *
 428  * (Session)
 429  * 2 - Host and protocol-specific. No matter if we do several transfers to and
 430  *     from this host, these variables stay the same.
 431  *
 432  * (Request)
 433  * 3 - Request-specific. Variables that are of interest for this particular
 434  *     transfer being made right now. THIS IS WRONG STRUCT FOR THOSE.
 435  *
 436  * In Febrary 2001, this is being done stricter. The 'connectdata' struct
 437  * MUST have all the connection oriented stuff as we may now have several
 438  * simultaneous connections and connection structs in memory.
 439  *
 440  * From now on, the 'UrlData' must only contain data that is set once to go
 441  * for many (perhaps) independent connections. Values that are generated or
 442  * calculated internally MUST NOT be a part of this struct.
 443  */
 444
 445 struct UrlData {
 446   /*************** Global - specific items  ************/
 447   FILE *err;    /* the stderr writes goes here */
 448   char *errorbuffer; /* store failure messages in here */
 449
 450   /*************** Session - specific items ************/
 451   char *proxy; /* if proxy, set it here */
 452   char *proxyuserpwd;  /* Proxy <user:password>, if used */
 453   long proxyport; /* If non-zero, use this port number by default. If the
 454                      proxy string features a ":[port]" that one will override
 455                      this. */
 456
 457
 458   long header_size;  /* size of read header(s) in bytes */
 459   long request_size; /* the amount of bytes sent in the request(s) */
 460
 461   void *out;         /* the fetched file goes here */
 462   void *in;          /* the uploaded file is read from here */
 463   void *writeheader; /* write the header to this is non-NULL */
 464
 465   char *url;   /* what to get */
 466   char *freethis; /* if non-NULL, an allocated string for the URL */
 467   long use_port;  /* which port to use (when not using default) */
 468   struct Configbits bits; /* new-style (v7) flag data */
 469   struct ssl_config_data ssl; /* this is for ssl-stuff */
 470
 471   char *userpwd;  /* <user:password>, if used */
 472   char *set_range; /* range, if used. See README for detailed specification on
 473                       this syntax. */
 474
 475   /* stuff related to HTTP */
 476
 477   long followlocation;
 478   long maxredirs; /* maximum no. of http(s) redirects to follow */
 479   char *referer;
 480   bool free_referer; /* set TRUE if 'referer' points to a string we
 481                         allocated */
 482   char *useragent;   /* User-Agent string */
 483   char *postfields; /* if POST, set the fields' values here */
 484   long postfieldsize; /* if POST, this might have a size to use instead of
 485                          strlen(), and then the data *may* be binary (contain
 486                          zero bytes) */
 487
 488   /* stuff related to FTP */
 489   char *ftpport; /* port to send with the PORT command */
 490
 491   /* general things */
 492   char *device;  /* Interface to use */
 493
 494   /* function that stores the output:*/
 495   curl_write_callback fwrite;
 496
 497   /* optional function that stores the header output:*/
 498   curl_write_callback fwrite_header;
 499
 500   /* function that reads the input:*/
 501   curl_read_callback fread;
 502
 503   /* function that wants progress information */
 504   curl_progress_callback fprogress;
 505   void *progress_client; /* pointer to pass to the progress callback */
 506
 507   /* function to call instead of the internal for password */
 508   curl_passwd_callback fpasswd;
 509   void *passwd_client; /* pointer to pass to the passwd callback */
 510
 511   long timeout;        /* in seconds, 0 means no timeout */
 512   long connecttimeout; /* in seconds, 0 means no timeout */
 513   long infilesize;     /* size of file to upload, -1 means unknown */
 514
 515   char buffer[BUFSIZE+1]; /* buffer with size BUFSIZE */
 516
 517   double current_speed;  /* the ProgressShow() funcion sets this */
 518
 519   long low_speed_limit; /* bytes/second */
 520   long low_speed_time;  /* number of seconds */
 521
 522   int set_resume_from;    /* continue [ftp] transfer from here */
 523
 524   char *cookie;       /* HTTP cookie string to send */
 525
 526   struct curl_slist *headers; /* linked list of extra headers */
 527   struct HttpPost *httppost;  /* linked list of POST data */
 528
 529   char *cert; /* PEM-formatted certificate */
 530   char *cert_passwd; /* plain text certificate password */
 531
 532   struct CookieInfo *cookies;
 533
 534   long crlf;
 535   struct curl_slist *quote;     /* before the transfer */
 536   struct curl_slist *postquote; /* after the transfer */
 537
 538   /* Telnet negotiation options */
 539   struct curl_slist *telnet_options; /* linked list of telnet options */
 540
 541   TimeCond timecondition; /* kind of comparison */
 542   time_t timevalue;       /* what time to compare with */
 543
 544   Curl_HttpReq httpreq; /* what kind of HTTP request (if any) is this */
 545
 546   char *customrequest; /* http/ftp request to use */
 547
 548   char *headerbuff; /* allocated buffer to store headers in */
 549   int headersize;   /* size of the allocation */
 550
 551   struct Progress progress; /* for all the progress meter data */
 552
 553 #define MAX_CURL_USER_LENGTH 128
 554 #define MAX_CURL_PASSWORD_LENGTH 128
 555
 556   char *auth_host; /* if set, this is the allocated string to the host name
 557                     * to which to send the authorization data to, and no other
 558                     * host (which location-following otherwise could lead to)
 559                     */
 560
 561   /* buffers to store authentication data in */
 562   char user[MAX_CURL_USER_LENGTH];
 563   char passwd[MAX_CURL_PASSWORD_LENGTH];
 564   char proxyuser[MAX_CURL_USER_LENGTH];
 565   char proxypasswd[MAX_CURL_PASSWORD_LENGTH];
 566
 567   char *krb4_level; /* what security level */
 568   struct timeval keeps_speed; /* this should be request-specific */
 569
 570   /* 'connects' will be an allocated array with pointers. If the pointer is
 571      set, it holds an allocated connection. */
 572   struct connectdata **connects;
 573   size_t numconnects; /* size of the 'connects' array */
 574   curl_closepolicy closepolicy;
 575
 576 };
 577
 578 #define LIBCURL_NAME "libcurl"
 579 #define LIBCURL_ID LIBCURL_NAME " " LIBCURL_VERSION " " SSL_ID
 580
 581 CURLcode Curl_getinfo(CURL *curl, CURLINFO info, ...);
 582
 583 /*
 584  * Here follows function prototypes from what we used to plan to call
 585  * the "low level" interface. It is no longer prioritized and it is not likely
 586  * to ever be supported to external users.
 587  *
 588  * I removed all the comments to them as well, as they were no longer accurate
 589  * and they're not meant for "public use" anymore.
 590  */
 591
 592 CURLcode Curl_open(CURL **curl, char *url);
 593 CURLcode Curl_setopt(CURL *handle, CURLoption option, ...);
 594 CURLcode Curl_close(CURL *curl); /* the opposite of curl_open() */
 595 CURLcode Curl_connect(struct UrlData *,
 596                       struct connectdata **,
 597                       bool allow_port);
 598 CURLcode Curl_do(struct connectdata *);
 599 CURLcode Curl_done(struct connectdata *);
 600 CURLcode Curl_disconnect(struct connectdata *);
 601
 602
 603 #endif