lib/urldata.h

   1 #ifndef __URLDATA_H
   2 #define __URLDATA_H
   3 /*****************************************************************************
   4  *                                  _   _ ____  _
   5  *  Project                     ___| | | |  _ \| |
   6  *                             / __| | | | |_) | |
   7  *                            | (__| |_| |  _ <| |___
   8  *                             \___|\___/|_| \_\_____|
   9  *
  10  * Copyright (C) 2001, Daniel Stenberg, <daniel@haxx.se>, et al.
  11  *
  12  * In order to be useful for every potential user, curl and libcurl are
  13  * dual-licensed under the MPL and the MIT/X-derivate licenses.
  14  *
  15  * You may opt to use, copy, modify, merge, publish, distribute and/or sell
  16  * copies of the Software, and permit persons to whom the Software is
  17  * furnished to do so, under the terms of the MPL or the MIT/X-derivate
  18  * licenses. You may pick one of these licenses.
  19  *
  20  * This software is distributed on an "AS IS" basis, WITHOUT WARRANTY OF ANY
  21  * KIND, either express or implied.
  22  *
  23  * $Id$
  24  *****************************************************************************/
  25
  26 /* This file is for lib internal stuff */
  27
  28 #include "setup.h"
  29 #include "hostip.h"
  30
  31 #define PORT_FTP 21
  32 #define PORT_TELNET 23
  33 #define PORT_GOPHER 70
  34 #define PORT_HTTP 80
  35 #define PORT_HTTPS 443
  36 #define PORT_DICT 2628
  37 #define PORT_LDAP 389
  38
  39 #define DICT_MATCH "/MATCH:"
  40 #define DICT_MATCH2 "/M:"
  41 #define DICT_MATCH3 "/FIND:"
  42 #define DICT_DEFINE "/DEFINE:"
  43 #define DICT_DEFINE2 "/D:"
  44 #define DICT_DEFINE3 "/LOOKUP:"
  45
  46 #define CURL_DEFAULT_USER "anonymous"
  47 #define CURL_DEFAULT_PASSWORD "curl_by_daniel@haxx.se"
  48
  49 #include "cookie.h"
  50 #include "formdata.h"
  51
  52 #ifdef USE_SSLEAY
  53 /* SSLeay stuff usually in /usr/local/ssl/include */
  54 #ifdef USE_OPENSSL
  55 #include "openssl/rsa.h"
  56 #include "openssl/crypto.h"
  57 #include "openssl/x509.h"
  58 #include "openssl/pem.h"
  59 #include "openssl/ssl.h"
  60 #include "openssl/err.h"
  61 #ifdef HAVE_OPENSSL_ENGINE_H
  62 #include <openssl/engine.h>
  63 #endif
  64 #else
  65 #include "rsa.h"
  66 #include "crypto.h"
  67 #include "x509.h"
  68 #include "pem.h"
  69 #include "ssl.h"
  70 #include "err.h"
  71 #endif
  72 #endif
  73
  74 #ifdef HAVE_NETINET_IN_H
  75 #include <netinet/in.h>
  76 #endif
  77
  78 #include "timeval.h"
  79
  80 #include <curl/curl.h>
  81
  82 #include "http_chunks.h" /* for the structs and enum stuff */
  83
  84 /* Download buffer size, keep it fairly big for speed reasons */
  85 #define BUFSIZE (1024*50)
  86
  87 /* Defaul upload buffer size, keep it smallish to get faster progress meter
  88    updates. This is just default, it is dynamic and adjusts to the upload
  89    speed. */
  90 #define UPLOAD_BUFSIZE (1024*2)
  91
  92 /* Initial size of the buffer to store headers in, it'll be enlarged in case
  93    of need. */
  94 #define HEADERSIZE 256
  95
  96 /* Just a convenience macro to get the larger value out of two given */
  97 #ifndef MAX
  98 #define MAX(x,y) ((x)>(y)?(x):(y))
  99 #endif
 100
 101 #ifdef KRB4
 102 /* Types needed for krb4-ftp connections */
 103 struct krb4buffer {
 104   void *data;
 105   size_t size;
 106   size_t index;
 107   int eof_flag;
 108 };
 109 enum protection_level {
 110     prot_clear,
 111     prot_safe,
 112     prot_confidential,
 113     prot_private
 114 };
 115 #endif
 116
 117 #ifndef HAVE_OPENSSL_ENGINE_H
 118 typedef void ENGINE;
 119 #endif
 120 /* struct for data related to SSL and SSL connections */
 121 struct ssl_connect_data {
 122   bool use;              /* use ssl encrypted communications TRUE/FALSE */
 123 #ifdef USE_SSLEAY
 124   /* these ones requires specific SSL-types */
 125   SSL_CTX* ctx;
 126   SSL*     handle;
 127   X509*    server_cert;
 128 #endif /* USE_SSLEAY */
 129 };
 130
 131 /* information about one single SSL session */
 132 struct curl_ssl_session {
 133   char *name;       /* host name for which this ID was used */
 134   void *sessionid;  /* as returned from the SSL layer */
 135   long age;         /* just a number, the higher the more recent */
 136   unsigned short remote_port; /* remote port to connect to */
 137 };
 138
 139 struct ssl_config_data {
 140   long version;          /* what version the client wants to use */
 141   long certverifyresult; /* result from the certificate verification */
 142   long verifypeer;       /* set TRUE if this is desired */
 143   long verifyhost;       /* 0: no verif, 1: check that CN exists, 2: CN must match hostname */
 144   char *CApath;          /* DOES NOT WORK ON WINDOWS */
 145   char *CAfile;          /* cerficate to verify peer against */
 146   char *random_file;     /* path to file containing "random" data */
 147   char *egdsocket;       /* path to file containing the EGD daemon socket */
 148   char *cipher_list;     /* list of ciphers to use */
 149
 150   long numsessions;                 /* SSL session id cache size */
 151 };
 152
 153 /****************************************************************************
 154  * HTTP unique setup
 155  ***************************************************************************/
 156 struct HTTP {
 157   struct FormData *sendit;
 158   int postsize;
 159   const char *p_pragma;      /* Pragma: string */
 160   const char *p_accept;      /* Accept: string */
 161   long readbytecount;
 162   long writebytecount;
 163
 164   /* For FORM posting */
 165   struct Form form;
 166   curl_read_callback storefread;
 167   FILE *in;
 168
 169   struct Curl_chunker chunk;
 170 };
 171
 172 /****************************************************************************
 173  * FTP unique setup
 174  ***************************************************************************/
 175 struct FTP {
 176   long *bytecountp;
 177   char *user;    /* user name string */
 178   char *passwd;  /* password string */
 179   char *urlpath; /* the originally given path part of the URL */
 180   char *dir;     /* decoded directory */
 181   char *file;    /* decoded file */
 182
 183   char *entrypath; /* the PWD reply when we logged on */
 184
 185   char *cache;       /* data cache between getresponse()-calls */
 186   size_t cache_size; /* size of cache in bytes */
 187 };
 188
 189 /****************************************************************************
 190  * FILE unique setup
 191  ***************************************************************************/
 192 struct FILE {
 193   int fd; /* open file descriptor to read from! */
 194 };
 195
 196 /*
 197  * Boolean values that concerns this connection.
 198  */
 199 struct ConnectBits {
 200   bool close; /* if set, we close the connection after this request */
 201   bool reuse; /* if set, this is a re-used connection */
 202   bool chunk; /* if set, this is a chunked transfer-encoding */
 203   bool httpproxy;    /* if set, this transfer is done through a http proxy */
 204   bool user_passwd;    /* do we use user+password for this connection? */
 205   bool proxy_user_passwd; /* user+password for the proxy? */
 206
 207   bool use_range;
 208   bool rangestringalloc; /* the range string is malloc()'ed */
 209
 210   bool resume_done; /* nothing was transfered, resumed transfer already
 211                        complete */
 212 };
 213
 214 /*
 215  * The connectdata struct contains all fields and variables that should be
 216  * unique for an entire connection.
 217  */
 218 struct connectdata {
 219   /**** Fields set when inited and not modified again */
 220   struct SessionHandle *data; /* link to the root CURL struct */
 221   int connectindex; /* what index in the connects index this particular
 222                        struct has */
 223
 224   long protocol; /* PROT_* flags concerning the protocol set */
 225 #define PROT_MISSING (1<<0)
 226 #define PROT_GOPHER  (1<<1)
 227 #define PROT_HTTP    (1<<2)
 228 #define PROT_HTTPS   (1<<3)
 229 #define PROT_FTP     (1<<4)
 230 #define PROT_TELNET  (1<<5)
 231 #define PROT_DICT    (1<<6)
 232 #define PROT_LDAP    (1<<7)
 233 #define PROT_FILE    (1<<8)
 234 #define PROT_FTPS    (1<<9)
 235 #define PROT_SSL     (1<<10) /* protocol requires SSL */
 236
 237   Curl_addrinfo *hostaddr; /* IP-protocol independent host info pointer list */
 238   char *hostent_buf; /* pointer to allocated memory for name info */
 239
 240 #ifdef ENABLE_IPV6
 241   struct addrinfo *serv_addr;   /* the particular host we use */
 242 #else
 243   struct sockaddr_in serv_addr;
 244 #endif
 245   char protostr[64];  /* store the protocol string in this buffer */
 246   char gname[513]; /* store the hostname in this buffer */
 247   char *name;      /* host name pointer to fool around with */
 248   char *path;      /* allocated buffer to store the URL's path part in */
 249   char *hostname;  /* hostname to connect, as parsed from url */
 250   long port;       /* which port to use locally */
 251   unsigned short remote_port; /* what remote port to connect to,
 252                                  not the proxy port! */
 253   char *ppath;
 254   long bytecount;
 255   long headerbytecount;  /* only count received headers */
 256
 257   char *range; /* range, if used. See README for detailed specification on
 258                   this syntax. */
 259   ssize_t resume_from; /* continue [ftp] transfer from here */
 260
 261   char *proxyhost; /* name of the http proxy host */
 262
 263   struct timeval now;     /* "current" time */
 264   struct timeval created; /* creation time */
 265   int firstsocket;     /* the main socket to use */
 266   int secondarysocket; /* for i.e ftp transfers */
 267
 268   long upload_bufsize; /* adjust as you see fit, never bigger than BUFSIZE
 269                           never smaller than UPLOAD_BUFSIZE */
 270
 271   long maxdownload; /* in bytes, the maximum amount of data to fetch, 0
 272                        means unlimited */
 273
 274   struct ssl_connect_data ssl; /* this is for ssl-stuff */
 275
 276   struct ConnectBits bits;    /* various state-flags for this connection */
 277
 278   /* These two functions MUST be set by the curl_connect() function to be
 279      be protocol dependent */
 280   CURLcode (*curl_do)(struct connectdata *connect);
 281   CURLcode (*curl_done)(struct connectdata *connect);
 282
 283   /* This function *MAY* be set to a protocol-dependent function that is run
 284    * after the connect() and everything is done, as a step in the connection.
 285    */
 286   CURLcode (*curl_connect)(struct connectdata *connect);
 287
 288   /* This function *MAY* be set to a protocol-dependent function that is run
 289    * by the curl_disconnect(), as a step in the disconnection.
 290    */
 291   CURLcode (*curl_disconnect)(struct connectdata *connect);
 292
 293   /* This function *MAY* be set to a protocol-dependent function that is run
 294    * in the curl_close() function if protocol-specific cleanups are required.
 295    */
 296   CURLcode (*curl_close)(struct connectdata *connect);
 297
 298   /**** curl_get() phase fields */
 299
 300   /* READ stuff */
 301   int sockfd;            /* socket to read from or -1 */
 302   int size;              /* -1 if unknown at this point */
 303   bool getheader;        /* TRUE if header parsing is wanted */
 304   long *bytecountp;      /* return number of bytes read or NULL */
 305
 306   /* WRITE stuff */
 307   int writesockfd;       /* socket to write to, it may very well be
 308                             the same we read from. -1 disables */
 309   long *writebytecountp; /* return number of bytes written or NULL */
 310
 311   /** Dynamicly allocated strings, may need to be freed before this **/
 312   /** struct is killed.                                             **/
 313   struct dynamically_allocated_data {
 314     char *proxyuserpwd; /* free later if not NULL! */
 315     char *uagent; /* free later if not NULL! */
 316     char *userpwd; /* free later if not NULL! */
 317     char *rangeline; /* free later if not NULL! */
 318     char *ref; /* free later if not NULL! */
 319     char *cookie; /* free later if not NULL! */
 320     char *host; /* free later if not NULL */
 321   } allocptr;
 322
 323   char *newurl; /* This can only be set if a Location: was in the
 324                    document headers */
 325
 326 #ifdef KRB4
 327   enum protection_level command_prot;
 328   enum protection_level data_prot;
 329   enum protection_level request_data_prot;
 330
 331   size_t buffer_size;
 332
 333   struct krb4buffer in_buffer, out_buffer;
 334   int sec_complete;
 335   void *app_data;
 336
 337   struct Curl_sec_client_mech *mech;
 338   struct sockaddr_in local_addr;
 339
 340 #endif
 341
 342   /*************** Request - specific items ************/
 343   /* previously this was in the urldata struct */
 344   union {
 345     struct HTTP *http;
 346     struct HTTP *gopher; /* alias, just for the sake of being more readable */
 347     struct HTTP *https;  /* alias, just for the sake of being more readable */
 348     struct FTP *ftp;
 349     struct FILE *file;
 350     void *telnet;        /* private for telnet.c-eyes only */
 351 #if 0 /* no need for special ones for these: */
 352     struct LDAP *ldap;
 353     struct DICT *dict;
 354 #endif
 355     void *generic;
 356   } proto;
 357
 358 };
 359
 360 /*
 361  * Struct to keep statistical and informational data.
 362  */
 363 struct PureInfo {
 364   int httpcode;
 365   int httpversion;
 366   long filetime; /* If requested, this is might get set. Set to -1 if
 367                     the time was unretrievable */
 368   long header_size;  /* size of read header(s) in bytes */
 369   long request_size; /* the amount of bytes sent in the request(s) */
 370 };
 371
 372
 373 struct Progress {
 374   long lastshow; /* time() of the last displayed progress meter or NULL to
 375                     force redraw at next call */
 376   double size_dl;
 377   double size_ul;
 378   double downloaded;
 379   double uploaded;
 380
 381   double current_speed; /* uses the currently fastest transfer */
 382
 383   bool callback;  /* set when progress callback is used */
 384   int width; /* screen width at download start */
 385   int flags; /* see progress.h */
 386
 387   double timespent;
 388
 389   double dlspeed;
 390   double ulspeed;
 391
 392   double t_nslookup;
 393   double t_connect;
 394   double t_pretransfer;
 395   double t_starttransfer;
 396
 397   struct timeval start;
 398   struct timeval t_startsingle;
 399 #define CURR_TIME (5+1) /* 6 entries for 5 seconds */
 400
 401   double speeder[ CURR_TIME ];
 402   struct timeval speeder_time[ CURR_TIME ];
 403   int speeder_c;
 404 };
 405
 406 typedef enum {
 407   HTTPREQ_NONE, /* first in list */
 408   HTTPREQ_GET,
 409   HTTPREQ_POST,
 410   HTTPREQ_POST_FORM, /* we make a difference internally */
 411   HTTPREQ_PUT,
 412   HTTPREQ_CUSTOM,
 413   HTTPREQ_LAST /* last in list */
 414 } Curl_HttpReq;
 415
 416 /*
 417  * Values that are generated, temporary or calculated internally for a
 418  * "session handle" must be defined within the 'struct urlstate'.  This struct
 419  * will be used within the SessionHandle struct. When the 'SessionHandle'
 420  * struct is cloned, this data MUST NOT be copied.
 421  *
 422  * Remember that any "state" information goes globally for the curl handle.
 423  * Session-data MUST be put in the connectdata struct and here.  */
 424 #define MAX_CURL_USER_LENGTH 256
 425 #define MAX_CURL_PASSWORD_LENGTH 256
 426
 427 struct UrlState {
 428   /* buffers to store authentication data in, as parsed from input options */
 429   char user[MAX_CURL_USER_LENGTH];
 430   char passwd[MAX_CURL_PASSWORD_LENGTH];
 431   char proxyuser[MAX_CURL_USER_LENGTH];
 432   char proxypasswd[MAX_CURL_PASSWORD_LENGTH];
 433
 434   struct timeval keeps_speed; /* for the progress meter really */
 435
 436   /* 'connects' will be an allocated array with pointers. If the pointer is
 437      set, it holds an allocated connection. */
 438   struct connectdata **connects;
 439   long numconnects; /* size of the 'connects' array */
 440
 441   char *headerbuff; /* allocated buffer to store headers in */
 442   int headersize;   /* size of the allocation */
 443
 444   char buffer[BUFSIZE+1]; /* buffer with size BUFSIZE */
 445
 446   double current_speed;  /* the ProgressShow() funcion sets this */
 447
 448   bool this_is_a_follow; /* this is a followed Location: request */
 449
 450   char *auth_host; /* if set, this should be the host name that we will
 451                       sent authorization to, no else. Used to make Location:
 452                       following not keep sending user+password... This is
 453                       strdup() data.
 454                     */
 455
 456   struct curl_ssl_session *session; /* array of 'numsessions' size */
 457   long sessionage;                  /* number of the most recent session */
 458
 459   char scratch[BUFSIZE*2]; /* huge buffer when doing upload CRLF replacing */
 460   bool errorbuf; /* Set to TRUE if the error buffer is already filled in.
 461                     This must be set to FALSE every time _easy_perform() is
 462                     called. */
 463 };
 464
 465
 466 /*
 467  * This 'DynamicStatic' struct defines dynamic states that actually change
 468  * values in the 'UserDefined' area, which MUST be taken into consideration
 469  * if the UserDefined struct is cloned or similar. You can probably just
 470  * copy these, but each one indicate a special action on other data.
 471  */
 472
 473 struct DynamicStatic {
 474   char *url;        /* work URL, copied from UserDefined */
 475   bool url_alloc;   /* URL string is malloc()'ed */
 476   char *proxy;      /* work proxy, copied from UserDefined */
 477   bool proxy_alloc; /* http proxy string is malloc()'ed */
 478   char *referer;    /* referer string */
 479   bool referer_alloc; /* referer sting is malloc()ed */
 480 };
 481
 482 /*
 483  * This 'UserDefined' struct must only contain data that is set once to go
 484  * for many (perhaps) independent connections. Values that are generated or
 485  * calculated internally for the "session handle" MUST be defined within the
 486  * 'struct urlstate' instead. The only exceptions MUST note the changes in
 487  * the 'DynamicStatic' struct.
 488  */
 489
 490 struct UserDefined {
 491   FILE *err;    /* the stderr writes goes here */
 492   char *errorbuffer; /* store failure messages in here */
 493   char *proxyuserpwd;  /* Proxy <user:password>, if used */
 494   long proxyport; /* If non-zero, use this port number by default. If the
 495                      proxy string features a ":[port]" that one will override
 496                      this. */
 497   void *out;         /* the fetched file goes here */
 498   void *in;          /* the uploaded file is read from here */
 499   void *writeheader; /* write the header to this is non-NULL */
 500   char *set_url;     /* what original URL to work on */
 501   char *set_proxy;   /* proxy to use */
 502   long use_port;     /* which port to use (when not using default) */
 503   char *userpwd;     /* <user:password>, if used */
 504   char *set_range;   /* range, if used. See README for detailed specification
 505                         on this syntax. */
 506   long followlocation; /* as in HTTP Location: */
 507   long maxredirs;    /* maximum no. of http(s) redirects to follow */
 508   char *set_referer; /* custom string */
 509   bool free_referer; /* set TRUE if 'referer' points to a string we
 510                         allocated */
 511   char *useragent;   /* User-Agent string */
 512   char *postfields;  /* if POST, set the fields' values here */
 513   size_t postfieldsize; /* if POST, this might have a size to use instead of
 514                            strlen(), and then the data *may* be binary (contain
 515                            zero bytes) */
 516   char *ftpport;     /* port to send with the FTP PORT command */
 517   char *device;      /* network interface to use */
 518   curl_write_callback fwrite;        /* function that stores the output */
 519   curl_write_callback fwrite_header; /* function that stores headers */
 520   curl_read_callback fread;          /* function that reads the input */
 521   curl_progress_callback fprogress;  /* function for progress information */
 522   void *progress_client; /* pointer to pass to the progress callback */
 523   curl_passwd_callback fpasswd;      /* call for password */
 524   void *passwd_client;               /* pass to the passwd callback */
 525   long timeout;         /* in seconds, 0 means no timeout */
 526   long connecttimeout;  /* in seconds, 0 means no timeout */
 527   long infilesize;      /* size of file to upload, -1 means unknown */
 528   long low_speed_limit; /* bytes/second */
 529   long low_speed_time;  /* number of seconds */
 530   int set_resume_from;  /* continue [ftp] transfer from here */
 531   char *cookie;         /* HTTP cookie string to send */
 532   struct curl_slist *headers; /* linked list of extra headers */
 533   struct HttpPost *httppost;  /* linked list of POST data */
 534   char *cert;           /* certificate */
 535   char *cert_type;      /* format for certificate (default: PEM) */
 536   char *key;            /* private key */
 537   char *key_type;       /* format for private key (default: PEM) */
 538   char *key_passwd;     /* plain text private key password */
 539   char *crypto_engine;  /* name of the crypto engine to use */
 540   char *cookiejar;      /* dump all cookies to this file */
 541   bool crlf;            /* convert crlf on ftp upload(?) */
 542   struct curl_slist *quote;     /* before the transfer */
 543   struct curl_slist *postquote; /* after the transfer */
 544   struct curl_slist *telnet_options; /* linked list of telnet options */
 545   curl_TimeCond timecondition; /* kind of time/date comparison */
 546   time_t timevalue;       /* what time to compare with */
 547   curl_closepolicy closepolicy; /* connection cache close concept */
 548   Curl_HttpReq httpreq;   /* what kind of HTTP request (if any) is this */
 549   char *customrequest;    /* HTTP/FTP request to use */
 550   long httpversion; /* when non-zero, a specific HTTP version requested to
 551                        be used in the library's request(s) */
 552   char *auth_host; /* if set, this is the allocated string to the host name
 553                     * to which to send the authorization data to, and no other
 554                     * host (which location-following otherwise could lead to)
 555                     */
 556   char *krb4_level; /* what security level */
 557   struct ssl_config_data ssl;  /* user defined SSL stuff */
 558
 559 /* Here follows boolean settings that define how to behave during
 560    this session. They are STATIC, set by libcurl users or at least initially
 561    and they don't change during operations. */
 562
 563   bool get_filetime;
 564   bool tunnel_thru_httpproxy;
 565   bool ftp_append;
 566   bool ftp_ascii;
 567   bool ftp_list_only;
 568   bool ftp_use_port;
 569   bool hide_progress;
 570   bool http_fail_on_error;
 571   bool http_follow_location;
 572
 573   bool include_header;
 574 #define http_include_header include_header /* former name */
 575
 576   bool http_set_referer;
 577   bool http_auto_referer; /* set "correct" referer when following location: */
 578   bool no_body;
 579   bool set_port;
 580   bool upload;
 581   bool use_netrc;
 582   bool verbose;
 583   bool krb4;             /* kerberos4 connection requested */
 584   bool reuse_forbid;     /* forbidden to be reused, close after use */
 585   bool reuse_fresh;      /* do not re-use an existing connection  */
 586   bool expect100header;  /* TRUE if we added Expect: 100-continue */
 587   bool ftp_use_epsv;     /* if EPSV is to be attempted or not */
 588 };
 589
 590 /*
 591  * In August 2001, this struct was redesigned and is since stricter than
 592  * before. The 'connectdata' struct MUST have all the connection oriented
 593  * stuff as we may now have several simultaneous connections and connection
 594  * structs in memory.
 595  *
 596  * From now on, the 'SessionHandle' must only contain data that is set once to
 597  * go for many (perhaps) independent connections. Values that are generated or
 598  * calculated internally for the "session handle" must be defined within the
 599  * 'struct urlstate' instead.  */
 600
 601 struct SessionHandle {
 602   struct UserDefined set;      /* values set by the libcurl user */
 603   struct DynamicStatic change; /* possibly modified userdefined data */
 604
 605   struct CookieInfo *cookies;  /* the cookies, read from files and servers */
 606   struct Progress progress;    /* for all the progress meter data */
 607   struct UrlState state;       /* struct for fields used for state info and
 608                                   other dynamic purposes */
 609   struct PureInfo info;        /* stats, reports and info data */
 610 #ifdef USE_SSLEAY
 611   ENGINE*  engine;
 612 #endif /* USE_SSLEAY */
 613 };
 614
 615 #define LIBCURL_NAME "libcurl"
 616
 617 #endif