docs/libcurl/opts/CURLOPT_URL.3

   1 .\" **************************************************************************
   2 .\" *                                  _   _ ____  _
   3 .\" *  Project                     ___| | | |  _ \| |
   4 .\" *                             / __| | | | |_) | |
   5 .\" *                            | (__| |_| |  _ <| |___
   6 .\" *                             \___|\___/|_| \_\_____|
   7 .\" *
   8 .\" * Copyright (C) 1998 - 2016, Daniel Stenberg, <daniel@haxx.se>, et al.
   9 .\" *
  10 .\" * This software is licensed as described in the file COPYING, which
  11 .\" * you should have received as part of this distribution. The terms
  12 .\" * are also available at https://curl.haxx.se/docs/copyright.html.
  13 .\" *
  14 .\" * You may opt to use, copy, modify, merge, publish, distribute and/or sell
  15 .\" * copies of the Software, and permit persons to whom the Software is
  16 .\" * furnished to do so, under the terms of the COPYING file.
  17 .\" *
  18 .\" * This software is distributed on an "AS IS" basis, WITHOUT WARRANTY OF ANY
  19 .\" * KIND, either express or implied.
  20 .\" *
  21 .\" **************************************************************************
  22 .\"
  23 .TH CURLOPT_URL 3 "17 Jun 2014" "libcurl 7.37.0" "curl_easy_setopt options"
  24 .SH NAME
  25 CURLOPT_URL \- provide the URL to use in the request
  26 .SH SYNOPSIS
  27 #include <curl/curl.h>
  28
  29 CURLcode curl_easy_setopt(CURL *handle, CURLOPT_URL, char *URL);
  30 .SH DESCRIPTION
  31 Pass in a pointer to the \fIURL\fP to work with. The parameter should be a
  32 char * to a zero terminated string which must be URL-encoded in the following
  33 format:
  34
  35 scheme://host:port/path
  36
  37 For a greater explanation of the format please see RFC3986.
  38
  39 libcurl doesn't validate the syntax or use this variable until the transfer is
  40 issued. Even if you set a crazy value here, \fIcurl_easy_setopt(3)\fP will
  41 still return \fICURLE_OK\fP.
  42
  43 If the given URL is missing a scheme name (such as "http://" or "ftp://" etc)
  44 then libcurl will make a guess based on the host. If the outermost sub-domain
  45 name matches DICT, FTP, IMAP, LDAP, POP3 or SMTP then that protocol will be
  46 used, otherwise HTTP will be used. Since 7.45.0 guessing can be disabled by
  47 setting a default protocol, see \fICURLOPT_DEFAULT_PROTOCOL(3)\fP for details.
  48
  49 Should the protocol, either that specified by the scheme or deduced by libcurl
  50 from the host name, not be supported by libcurl then
  51 \fICURLE_UNSUPPORTED_PROTOCOL\fP will be returned from either the
  52 \fIcurl_easy_perform(3)\fP or \fIcurl_multi_perform(3)\fP functions when you
  53 call them. Use \fIcurl_version_info(3)\fP for detailed information of which
  54 protocols are supported by the build of libcurl you are using.
  55
  56 \fICURLOPT_PROTOCOLS(3)\fP can be used to limit what protocols libcurl will
  57 use for this transfer, independent of what libcurl has been compiled to
  58 support. That may be useful if you accept the URL from an external source and
  59 want to limit the accessibility.
  60
  61 \fICURLOPT_URL(3)\fP is the only option that \fBmust\fP be set before a
  62 transfer is started.
  63
  64 The host part of the URL contains the address of the server that you want to
  65 connect to. This can be the fully qualified domain name of the server, the
  66 local network name of the machine on your network or the IP address of the
  67 server or machine represented by either an IPv4 or IPv6 address. For example:
  68
  69 http://www.example.com/
  70
  71 http://hostname/
  72
  73 http://192.168.0.1/
  74
  75 http://[2001:1890:1112:1::20]/
  76
  77 It is also possible to specify the user name, password and any supported login
  78 options as part of the host, for the following protocols, when connecting to
  79 servers that require authentication:
  80
  81 http://user:password@www.example.com
  82
  83 ftp://user:password@ftp.example.com
  84
  85 smb://domain%2fuser:password@server.example.com
  86
  87 imap://user:password;options@mail.example.com
  88
  89 pop3://user:password;options@mail.example.com
  90
  91 smtp://user:password;options@mail.example.com
  92
  93 At present only IMAP, POP3 and SMTP support login options as part of the host.
  94 For more information about the login options in URL syntax please see RFC2384,
  95 RFC5092 and IETF draft draft-earhart-url-smtp-00.txt (Added in 7.31.0).
  96
  97 The port is optional and when not specified libcurl will use the default port
  98 based on the determined or specified protocol: 80 for HTTP, 21 for FTP and 25
  99 for SMTP, etc. The following examples show how to specify the port:
 100
 101 http://www.example.com:8080/ - This will connect to a web server using port
 102 8080 rather than 80.
 103
 104 smtp://mail.example.com:587/ - This will connect to a SMTP server on the
 105 alternative mail port.
 106
 107 The path part of the URL is protocol specific and whilst some examples are
 108 given below this list is not conclusive:
 109
 110 .IP HTTP
 111 The path part of a HTTP request specifies the file to retrieve and from what
 112 directory. If the directory is not specified then the web server's root
 113 directory is used. If the file is omitted then the default document will be
 114 retrieved for either the directory specified or the root directory. The exact
 115 resource returned for each URL is entirely dependent on the server's
 116 configuration.
 117
 118 http://www.example.com - This gets the main page from the web server.
 119
 120 http://www.example.com/index.html - This returns the main page by explicitly
 121 requesting it.
 122
 123 http://www.example.com/contactus/ - This returns the default document from
 124 the contactus directory.
 125
 126 .IP FTP
 127 The path part of an FTP request specifies the file to retrieve and from what
 128 directory. If the file part is omitted then libcurl downloads the directory
 129 listing for the directory specified. If the directory is omitted then
 130 the directory listing for the root / home directory will be returned.
 131
 132 ftp://ftp.example.com - This retrieves the directory listing for the root
 133 directory.
 134
 135 ftp://ftp.example.com/readme.txt - This downloads the file readme.txt from the
 136 root directory.
 137
 138 ftp://ftp.example.com/libcurl/readme.txt - This downloads readme.txt from the
 139 libcurl directory.
 140
 141 ftp://user:password@ftp.example.com/readme.txt - This retrieves the readme.txt
 142 file from the user's home directory. When a username and password is
 143 specified, everything that is specified in the path part is relative to the
 144 user's home directory. To retrieve files from the root directory or a
 145 directory underneath the root directory then the absolute path must be
 146 specified by prepending an additional forward slash to the beginning of the
 147 path.
 148
 149 ftp://user:password@ftp.example.com//readme.txt - This retrieves the readme.txt
 150 from the root directory when logging in as a specified user.
 151
 152 .IP SMTP
 153 The path part of a SMTP request specifies the host name to present during
 154 communication with the mail server. If the path is omitted then libcurl will
 155 attempt to resolve the local computer's host name. However, this may not
 156 return the fully qualified domain name that is required by some mail servers
 157 and specifying this path allows you to set an alternative name, such as
 158 your machine's fully qualified domain name, which you might have obtained
 159 from an external function such as gethostname or getaddrinfo.
 160
 161 smtp://mail.example.com - This connects to the mail server at example.com and
 162 sends your local computer's host name in the HELO / EHLO command.
 163
 164 smtp://mail.example.com/client.example.com - This will send client.example.com in
 165 the HELO / EHLO command to the mail server at example.com.
 166
 167 .IP POP3
 168 The path part of a POP3 request specifies the message ID to retrieve. If the
 169 ID is not specified then a list of waiting messages is returned instead.
 170
 171 pop3://user:password@mail.example.com - This lists the available messages for
 172 the user
 173
 174 pop3://user:password@mail.example.com/1 - This retrieves the first message for
 175 the user
 176
 177 .IP IMAP
 178 The path part of an IMAP request not only specifies the mailbox to list (Added
 179 in 7.30.0) or select, but can also be used to check the UIDVALIDITY of the
 180 mailbox, to specify the UID, SECTION (Added in 7.30.0) and PARTIAL octets
 181 (Added in 7.37.0) of the message to fetch and to specify what messages to
 182 search for (Added in 7.37.0).
 183
 184 imap://user:password@mail.example.com - Performs a top level folder list
 185
 186 imap://user:password@mail.example.com/INBOX - Performs a folder list on the
 187 user's inbox
 188
 189 imap://user:password@mail.example.com/INBOX/;UID=1 - Selects the user's inbox
 190 and fetches message 1
 191
 192 imap://user:password@mail.example.com/INBOX;UIDVALIDITY=50/;UID=2 - Selects
 193 the user's inbox, checks the UIDVALIDITY of the mailbox is 50 and fetches
 194 message 2 if it is
 195
 196 imap://user:password@mail.example.com/INBOX/;UID=3/;SECTION=TEXT - Selects the
 197 user's inbox and fetches the text portion of message 3
 198
 199 imap://user:password@mail.example.com/INBOX/;UID=4/;PARTIAL=0.1024 - Selects
 200 the user's inbox and fetches the first 1024 octets of message 4
 201
 202 imap://user:password@mail.example.com/INBOX?NEW - Selects the user's inbox and
 203 checks for NEW messages
 204
 205 imap://user:password@mail.example.com/INBOX?SUBJECT%20shadows - Selects the
 206 user's inbox and searches for messages containing "shadows" in the subject
 207 line
 208
 209 For more information about the individual components of an IMAP URL please
 210 see RFC5092.
 211
 212 .IP SCP
 213 The path part of a SCP request specifies the file to retrieve and from what
 214 directory. The file part may not be omitted. The file is taken as an absolute
 215 path from the root directory on the server. To specify a path relative to the
 216 user's home directory on the server, prepend ~/ to the path portion.  If the
 217 user name is not embedded in the URL, it can be set with the
 218 \fICURLOPT_USERPWD(3)\fP or \fICURLOPT_USERNAME(3)\fP option.
 219
 220 scp://user@example.com/etc/issue - This specifies the file /etc/issue
 221
 222 scp://example.com/~/my-file - This specifies the file my-file in the
 223 user's home directory on the server
 224
 225 .IP SFTP
 226 The path part of a SFTP request specifies the file to retrieve and from what
 227 directory. If the file part is omitted then libcurl downloads the directory
 228 listing for the directory specified.  If the path ends in a / then a directory
 229 listing is returned instead of a file.  If the path is omitted entirely then
 230 the directory listing for the root / home directory will be returned.  If the
 231 user name is not embedded in the URL, it can be set with the
 232 \fICURLOPT_USERPWD(3)\fP or \fICURLOPT_USERNAME(3)\fP option.
 233
 234 sftp://user:password@example.com/etc/issue - This specifies the file
 235 /etc/issue
 236
 237 sftp://user@example.com/~/my-file - This specifies the file my-file in the
 238 user's home directory
 239
 240 sftp://ssh.example.com/~/Documents/ - This requests a directory listing
 241 of the Documents directory under the user's home directory
 242
 243 .IP SMB
 244 The path part of a SMB request specifies the file to retrieve and from what
 245 share and directory or the share to upload to and as such, may not be omitted.
 246 If the user name is not embedded in the URL, it can be set with the
 247 \fICURLOPT_USERPWD(3)\fP or \fICURLOPT_USERNAME(3)\fP option. If the user name
 248 is embedded in the URL then it must contain the domain name and as such, the
 249 backslash must be URL encoded as %2f.
 250
 251 smb://server.example.com/files/issue - This specifies the file "issue" located
 252 in the root of the "files" share
 253
 254 smb://server.example.com/files/ -T issue - This specifies the file "issue" will
 255 be uploaded to the root of the "files" share.
 256
 257 .IP LDAP
 258 The path part of a LDAP request can be used to specify the: Distinguished
 259 Name, Attributes, Scope, Filter and Extension for a LDAP search. Each field
 260 is separated by a question mark and when that field is not required an empty
 261 string with the question mark separator should be included.
 262
 263 ldap://ldap.example.com/o=My%20Organisation - This will perform a LDAP search
 264 with the DN as My Organisation.
 265
 266 ldap://ldap.example.com/o=My%20Organisation?postalAddress - This will perform
 267 the same search but will only return postalAddress attributes.
 268
 269 ldap://ldap.example.com/?rootDomainNamingContext - This specifies an empty DN
 270 and requests information about the rootDomainNamingContext attribute for an
 271 Active Directory server.
 272
 273 For more information about the individual components of a LDAP URL please
 274 see RFC4516.
 275 .IP RTMP
 276 There's no official URL spec for RTMP so libcurl uses the URL syntax supported
 277 by the underlying librtmp library. It has a syntax where it wants a
 278 traditional URL, followed by a space and a series of space-separated
 279 name=value pairs.
 280
 281 While space is not typically a "legal" letter, libcurl accepts them. When a
 282 user wants to pass in a '#' (hash) character it will be treated as a fragment
 283 and get cut off by libcurl if provided literally. You will instead have to
 284 escape it by providing it as backslash and its ASCII value in hexadecimal:
 285 "\\23".
 286
 287 The application does not have to keep the string around after setting this
 288 option.
 289 .SH DEFAULT
 290 There is no default URL. If this option isn't set, no transfer can be
 291 performed.
 292 .SH SECURITY CONCERNS
 293 Applications may at times find it convenient to allow users to specify URLs
 294 for various purposes and that string would then end up fed to this option.
 295
 296 Getting a URL from an external untrusted party will bring reasons for several
 297 security concerns:
 298
 299 If you have an application that runs as or in a server application, getting an
 300 unfiltered URL can easily trick your application to access a local resource
 301 instead of a remote. Protecting yourself against localhost accesses is very
 302 hard when accepting user provided URLs.
 303
 304 Such custom URLs can also access other ports than you planned as port numbers
 305 are part of the regular URL format. The combination of a local host and a
 306 custom port number can allow external users to play tricks with your local
 307 services.
 308
 309 Accepting external URLs may also use other protocols than http:// or other
 310 common ones. Restrict what accept with \fICURLOPT_PROTOCOLS(3)\fP.
 311
 312 User provided URLs can also be made to point to sites that redirect further on
 313 (possibly to other protocols too). Consider your
 314 \fICURLOPT_FOLLOWLOCATION(3)\fP and \fICURLOPT_REDIR_PROTOCOLS(3)\fP settings.
 315 .SH PROTOCOLS
 316 All
 317 .SH EXAMPLE
 318 .nf
 319 CURL *curl = curl_easy_init();
 320 if(curl) {
 321   curl_easy_setopt(curl, CURLOPT_URL, "http://example.com");
 322
 323   curl_easy_perform(curl);
 324 }
 325 .fi
 326 .SH AVAILABILITY
 327 POP3 and SMTP were added in 7.31.0
 328 .SH RETURN VALUE
 329 Returns CURLE_OK on success or CURLE_OUT_OF_MEMORY if there was insufficient
 330 heap space.
 331
 332 Note that \fIcurl_easy_setopt(3)\fP won't actually parse the given string so
 333 given a bad URL, it will not be detected until \fIcurl_easy_perform(3)\fP or
 334 similar is called.
 335 .SH "SEE ALSO"
 336 .BR CURLOPT_VERBOSE "(3), " CURLOPT_PROTOCOLS "(3), "
 337 .BR CURLOPT_FORBID_REUSE "(3), " CURLOPT_FRESH_CONNECT "(3), "
 338 .BR curl_easy_perform "(3), "
 339 .BR CURLINFO_REDIRECT_URL "(3), " CURLOPT_PATH_AS_IS "(3), "