08ac32218ac4880b66466166f785e5adc1a400ce
[platform/framework/web/crosswalk.git] / src / chrome / browser / net / predictor.h
1 // Copyright (c) 2012 The Chromium Authors. All rights reserved.
2 // Use of this source code is governed by a BSD-style license that can be
3 // found in the LICENSE file.
4
5 // A Predictor object is instantiated once in the browser process, and manages
6 // both preresolution of hostnames, as well as TCP/IP preconnection to expected
7 // subresources.
8 // Most hostname lists are provided by the renderer processes, and include URLs
9 // that *might* be used in the near future by the browsing user.  One goal of
10 // this class is to cause the underlying DNS structure to lookup a hostname
11 // before it is really needed, and hence reduce latency in the standard lookup
12 // paths.
13 // Subresource relationships are usually acquired from the referrer field in a
14 // navigation.  A subresource URL may be associated with a referrer URL.  Later
15 // navigations may, if the likelihood of needing the subresource is high enough,
16 // cause this module to speculatively create a TCP/IP connection. If there is
17 // only a low likelihood, then a DNS pre-resolution operation may be performed.
18
19 #ifndef CHROME_BROWSER_NET_PREDICTOR_H_
20 #define CHROME_BROWSER_NET_PREDICTOR_H_
21
22 #include <map>
23 #include <queue>
24 #include <set>
25 #include <string>
26 #include <vector>
27
28 #include "base/gtest_prod_util.h"
29 #include "base/memory/scoped_ptr.h"
30 #include "base/memory/weak_ptr.h"
31 #include "chrome/browser/net/prediction_options.h"
32 #include "chrome/browser/net/referrer.h"
33 #include "chrome/browser/net/spdyproxy/proxy_advisor.h"
34 #include "chrome/browser/net/timed_cache.h"
35 #include "chrome/browser/net/url_info.h"
36 #include "chrome/common/net/predictor_common.h"
37 #include "net/base/host_port_pair.h"
38
39 class IOThread;
40 class PrefService;
41 class Profile;
42 class ProfileIOData;
43
44 namespace base {
45 class ListValue;
46 class WaitableEvent;
47 }
48
49 namespace net {
50 class HostResolver;
51 class SSLConfigService;
52 class ProxyService;
53 class TransportSecurityState;
54 class URLRequestContextGetter;
55 }
56
57 namespace user_prefs {
58 class PrefRegistrySyncable;
59 }
60
61 namespace chrome_browser_net {
62
63 typedef chrome_common_net::UrlList UrlList;
64 typedef chrome_common_net::NameList NameList;
65 typedef std::map<GURL, UrlInfo> Results;
66
67 // An observer for testing.
68 class PredictorObserver {
69  public:
70   virtual ~PredictorObserver() {}
71
72   virtual void OnPreconnectUrl(const GURL& original_url,
73                                const GURL& first_party_for_cookies,
74                                UrlInfo::ResolutionMotivation motivation,
75                                int count) = 0;
76 };
77
78 // Predictor is constructed during Profile construction (on the UI thread),
79 // but it is destroyed on the IO thread when ProfileIOData goes away. All of
80 // its core state and functionality happens on the IO thread. The only UI
81 // methods are initialization / shutdown related (including preconnect
82 // initialization), or convenience methods that internally forward calls to
83 // the IO thread.
84 class Predictor {
85  public:
86   // A version number for prefs that are saved. This should be incremented when
87   // we change the format so that we discard old data.
88   static const int kPredictorReferrerVersion;
89
90   // Given that the underlying Chromium resolver defaults to a total maximum of
91   // 8 paralell resolutions, we will avoid any chance of starving navigational
92   // resolutions by limiting the number of paralell speculative resolutions.
93   // This is used in the field trials and testing.
94   // TODO(jar): Move this limitation into the resolver.
95   static const size_t kMaxSpeculativeParallelResolves;
96
97   // To control the congestion avoidance system, we need an estimate of how
98   // many speculative requests may arrive at once.  Since we currently only
99   // keep 8 subresource names for each frame, we'll use that as our basis.
100   // Note that when scanning search results lists, we might actually get 10 at
101   // a time, and wikipedia can often supply (during a page scan) upwards of 50.
102   // In those odd cases, we may discard some of the later speculative requests
103   // mistakenly assuming that the resolutions took too long.
104   static const int kTypicalSpeculativeGroupSize;
105
106   // The next constant specifies an amount of queueing delay that is
107   // "too large," and indicative of problems with resolutions (perhaps due to
108   // an overloaded router, or such).  When we exceed this delay, congestion
109   // avoidance will kick in and all speculations in the queue will be discarded.
110   static const int kMaxSpeculativeResolveQueueDelayMs;
111
112   // We don't bother learning to preconnect via a GET if the original URL
113   // navigation was so long ago, that a preconnection would have been dropped
114   // anyway.  We believe most servers will drop the connection in 10 seconds, so
115   // we currently estimate this time-till-drop at 10 seconds.
116   // TODO(jar): We should do a persistent field trial to validate/optimize this.
117   static const int kMaxUnusedSocketLifetimeSecondsWithoutAGet;
118
119   // |max_concurrent| specifies how many concurrent (parallel) prefetches will
120   // be performed. Host lookups will be issued through |host_resolver|.
121   explicit Predictor(bool preconnect_enabled, bool predictor_enabled);
122
123   virtual ~Predictor();
124
125   // This function is used to create a predictor. For testing, we can create
126   // a version which does a simpler shutdown.
127   static Predictor* CreatePredictor(bool preconnect_enabled,
128                                     bool predictor_enabled,
129                                     bool simple_shutdown);
130
131   static void RegisterProfilePrefs(user_prefs::PrefRegistrySyncable* registry);
132
133   // ------------- Start UI thread methods.
134
135   virtual void InitNetworkPredictor(PrefService* user_prefs,
136                                     PrefService* local_state,
137                                     IOThread* io_thread,
138                                     net::URLRequestContextGetter* getter,
139                                     ProfileIOData* profile_io_data);
140
141   // The Omnibox has proposed a given url to the user, and if it is a search
142   // URL, then it also indicates that this is preconnectable (i.e., we could
143   // preconnect to the search server).
144   void AnticipateOmniboxUrl(const GURL& url, bool preconnectable);
145
146   // Preconnect a URL and all of its subresource domains.
147   void PreconnectUrlAndSubresources(const GURL& url,
148                                     const GURL& first_party_for_cookies);
149
150   static UrlList GetPredictedUrlListAtStartup(PrefService* user_prefs,
151                                               PrefService* local_state);
152
153   static void set_max_queueing_delay(int max_queueing_delay_ms);
154
155   static void set_max_parallel_resolves(size_t max_parallel_resolves);
156
157   virtual void ShutdownOnUIThread();
158
159   // ------------- End UI thread methods.
160
161   // ------------- Start IO thread methods.
162
163   // Cancel pending requests and prevent new ones from being made.
164   void Shutdown();
165
166   // In some circumstances, for privacy reasons, all results should be
167   // discarded.  This method gracefully handles that activity.
168   // Destroy all our internal state, which shows what names we've looked up, and
169   // how long each has taken, etc. etc.  We also destroy records of suggesses
170   // (cache hits etc.).
171   void DiscardAllResults();
172
173   // Add hostname(s) to the queue for processing.
174   void ResolveList(const UrlList& urls,
175                    UrlInfo::ResolutionMotivation motivation);
176
177   void Resolve(const GURL& url, UrlInfo::ResolutionMotivation motivation);
178
179   // Record details of a navigation so that we can preresolve the host name
180   // ahead of time the next time the users navigates to the indicated host.
181   // Should only be called when urls are distinct, and they should already be
182   // canonicalized to not have a path.
183   void LearnFromNavigation(const GURL& referring_url, const GURL& target_url);
184
185   // When displaying info in about:dns, the following API is called.
186   static void PredictorGetHtmlInfo(Predictor* predictor, std::string* output);
187
188   // Dump HTML table containing list of referrers for about:dns.
189   void GetHtmlReferrerLists(std::string* output);
190
191   // Dump the list of currently known referrer domains and related prefetchable
192   // domains for about:dns.
193   void GetHtmlInfo(std::string* output);
194
195   // Discards any referrer for which all the suggested host names are currently
196   // annotated with negligible expected-use.  Scales down (diminishes) the
197   // expected-use of those that remain, so that their use will go down by a
198   // factor each time we trim (moving the referrer closer to being discarded in
199   // a future call).
200   // The task is performed synchronously and completes before returing.
201   void TrimReferrersNow();
202
203   // Construct a ListValue object that contains all the data in the referrers_
204   // so that it can be persisted in a pref.
205   void SerializeReferrers(base::ListValue* referral_list);
206
207   // Process a ListValue that contains all the data from a previous reference
208   // list, as constructed by SerializeReferrers(), and add all the identified
209   // values into the current referrer list.
210   void DeserializeReferrers(const base::ListValue& referral_list);
211
212   void DeserializeReferrersThenDelete(base::ListValue* referral_list);
213
214   void DiscardInitialNavigationHistory();
215
216   void FinalizeInitializationOnIOThread(
217       const std::vector<GURL>& urls_to_prefetch,
218       base::ListValue* referral_list,
219       IOThread* io_thread,
220       ProfileIOData* profile_io_data);
221
222   // During startup, we learn what the first N urls visited are, and then
223   // resolve the associated hosts ASAP during our next startup.
224   void LearnAboutInitialNavigation(const GURL& url);
225
226   // Renderer bundles up list and sends to this browser API via IPC.
227   // TODO(jar): Use UrlList instead to include port and scheme.
228   void DnsPrefetchList(const NameList& hostnames);
229
230   // May be called from either the IO or UI thread and will PostTask
231   // to the IO thread if necessary.
232   void DnsPrefetchMotivatedList(const UrlList& urls,
233                                 UrlInfo::ResolutionMotivation motivation);
234
235   // May be called from either the IO or UI thread and will PostTask
236   // to the IO thread if necessary.
237   void SaveStateForNextStartupAndTrim();
238
239   void SaveDnsPrefetchStateForNextStartupAndTrim(
240       base::ListValue* startup_list,
241       base::ListValue* referral_list,
242       base::WaitableEvent* completion);
243
244   // May be called from either the IO or UI thread and will PostTask
245   // to the IO thread if necessary.
246   void PreconnectUrl(const GURL& url, const GURL& first_party_for_cookies,
247                      UrlInfo::ResolutionMotivation motivation, int count);
248
249   void PreconnectUrlOnIOThread(const GURL& url,
250                                const GURL& first_party_for_cookies,
251                                UrlInfo::ResolutionMotivation motivation,
252                                int count);
253
254   // ------------- End IO thread methods.
255
256   // The following methods may be called on either the IO or UI threads.
257
258   // Instigate pre-connection to any URLs, or pre-resolution of related host,
259   // that we predict will be needed after this navigation (typically
260   // more-embedded resources on a page).  This method will actually post a task
261   // to do the actual work, so as not to jump ahead of the frame navigation that
262   // instigated this activity.
263   void PredictFrameSubresources(const GURL& url,
264                                 const GURL& first_party_for_cookies);
265
266   // Put URL in canonical form, including a scheme, host, and port.
267   // Returns GURL::EmptyGURL() if the scheme is not http/https or if the url
268   // cannot be otherwise canonicalized.
269   static GURL CanonicalizeUrl(const GURL& url);
270
271   // Used for testing.
272   void SetHostResolver(net::HostResolver* host_resolver) {
273     host_resolver_ = host_resolver;
274   }
275   // Used for testing.
276   void SetTransportSecurityState(
277       net::TransportSecurityState* transport_security_state) {
278     transport_security_state_ = transport_security_state;
279   }
280   // Used for testing.
281   void SetProxyAdvisor(ProxyAdvisor* proxy_advisor) {
282     proxy_advisor_.reset(proxy_advisor);
283   }
284   // Used for testing.
285   size_t max_concurrent_dns_lookups() const {
286     return max_concurrent_dns_lookups_;
287   }
288   // Used for testing.
289   void SetShutdown(bool shutdown) {
290     shutdown_ = shutdown;
291   }
292   // Used for testing.
293   void SetObserver(PredictorObserver* observer) {
294     observer_ = observer;
295   }
296
297   ProfileIOData* profile_io_data() const {
298     return profile_io_data_;
299   }
300
301   bool preconnect_enabled() const {
302     return preconnect_enabled_;
303   }
304
305   bool predictor_enabled() const {
306     return predictor_enabled_;
307   }
308
309
310  private:
311   FRIEND_TEST_ALL_PREFIXES(PredictorTest, BenefitLookupTest);
312   FRIEND_TEST_ALL_PREFIXES(PredictorTest, ShutdownWhenResolutionIsPendingTest);
313   FRIEND_TEST_ALL_PREFIXES(PredictorTest, SingleLookupTest);
314   FRIEND_TEST_ALL_PREFIXES(PredictorTest, ConcurrentLookupTest);
315   FRIEND_TEST_ALL_PREFIXES(PredictorTest, MassiveConcurrentLookupTest);
316   FRIEND_TEST_ALL_PREFIXES(PredictorTest, PriorityQueuePushPopTest);
317   FRIEND_TEST_ALL_PREFIXES(PredictorTest, PriorityQueueReorderTest);
318   FRIEND_TEST_ALL_PREFIXES(PredictorTest, ReferrerSerializationTrimTest);
319   FRIEND_TEST_ALL_PREFIXES(PredictorTest, SingleLookupTestWithDisabledAdvisor);
320   FRIEND_TEST_ALL_PREFIXES(PredictorTest, SingleLookupTestWithEnabledAdvisor);
321   FRIEND_TEST_ALL_PREFIXES(PredictorTest, TestSimplePreconnectAdvisor);
322   FRIEND_TEST_ALL_PREFIXES(PredictorTest, NoProxyService);
323   FRIEND_TEST_ALL_PREFIXES(PredictorTest, ProxyDefinitelyEnabled);
324   FRIEND_TEST_ALL_PREFIXES(PredictorTest, ProxyDefinitelyNotEnabled);
325   FRIEND_TEST_ALL_PREFIXES(PredictorTest, ProxyMaybeEnabled);
326   friend class WaitForResolutionHelper;  // For testing.
327
328   class LookupRequest;
329
330   // A simple priority queue for handling host names.
331   // Some names that are queued up have |motivation| that requires very rapid
332   // handling.  For example, a sub-resource name lookup MUST be done before the
333   // actual sub-resource is fetched.  In contrast, a name that was speculatively
334   // noted in a page has to be resolved before the user "gets around to"
335   // clicking on a link.  By tagging (with a motivation) each push we make into
336   // this FIFO queue, the queue can re-order the more important names to service
337   // them sooner (relative to some low priority background resolutions).
338   class HostNameQueue {
339    public:
340     HostNameQueue();
341     ~HostNameQueue();
342     void Push(const GURL& url,
343               UrlInfo::ResolutionMotivation motivation);
344     bool IsEmpty() const;
345     GURL Pop();
346
347    private:
348     // The names in the queue that should be serviced (popped) ASAP.
349     std::queue<GURL> rush_queue_;
350     // The names in the queue that should only be serviced when rush_queue is
351     // empty.
352     std::queue<GURL> background_queue_;
353
354   DISALLOW_COPY_AND_ASSIGN(HostNameQueue);
355   };
356
357   // The InitialObserver monitors navigations made by the network stack. This
358   // is only used to identify startup time resolutions (for re-resolution
359   // during our next process startup).
360   // TODO(jar): Consider preconnecting at startup, which may be faster than
361   // waiting for render process to start and request a connection.
362   class InitialObserver {
363    public:
364     InitialObserver();
365     ~InitialObserver();
366     // Recording of when we observed each navigation.
367     typedef std::map<GURL, base::TimeTicks> FirstNavigations;
368
369     // Potentially add a new URL to our startup list.
370     void Append(const GURL& url, Predictor* predictor);
371
372     // Get an HTML version of our current planned first_navigations_.
373     void GetFirstResolutionsHtml(std::string* output);
374
375     // Persist the current first_navigations_ for storage in a list.
376     void GetInitialDnsResolutionList(base::ListValue* startup_list);
377
378     // Discards all initial loading history.
379     void DiscardInitialNavigationHistory() { first_navigations_.clear(); }
380
381    private:
382     // List of the first N URL resolutions observed in this run.
383     FirstNavigations first_navigations_;
384
385     // The number of URLs we'll save for pre-resolving at next startup.
386     static const size_t kStartupResolutionCount = 10;
387   };
388
389   // A map that is keyed with the host/port that we've learned were the cause
390   // of loading additional URLs.  The list of additional targets is held
391   // in a Referrer instance, which is a value in this map.
392   typedef std::map<GURL, Referrer> Referrers;
393
394   // Depending on the expected_subresource_use_, we may either make a TCP/IP
395   // preconnection, or merely pre-resolve the hostname via DNS (or even do
396   // nothing).  The following are the threasholds for taking those actions.
397   static const double kPreconnectWorthyExpectedValue;
398   static const double kDNSPreresolutionWorthyExpectedValue;
399   // Referred hosts with a subresource_use_rate_ that are less than the
400   // following threshold will be discarded when we Trim() the list.
401   static const double kDiscardableExpectedValue;
402   // During trimming operation to discard hosts for which we don't have likely
403   // subresources, we multiply the expected_subresource_use_ value by the
404   // following ratio until that value is less than kDiscardableExpectedValue.
405   // This number should always be less than 1, an more than 0.
406   static const double kReferrerTrimRatio;
407
408   // Interval between periodic trimming of our whole referrer list.
409   // We only do a major trimming about once an hour, and then only when the user
410   // is actively browsing.
411   static const int64 kDurationBetweenTrimmingsHours;
412   // Interval between incremental trimmings (to avoid inducing Jank).
413   static const int64 kDurationBetweenTrimmingIncrementsSeconds;
414   // Number of referring URLs processed in an incremental trimming.
415   static const size_t kUrlsTrimmedPerIncrement;
416
417   // Only for testing. Returns true if hostname has been successfully resolved
418   // (name found).
419   bool WasFound(const GURL& url) const {
420     Results::const_iterator it(results_.find(url));
421     return (it != results_.end()) &&
422             it->second.was_found();
423   }
424
425   // Only for testing. Return how long was the resolution
426   // or UrlInfo::NullDuration() if it hasn't been resolved yet.
427   base::TimeDelta GetResolutionDuration(const GURL& url) {
428     if (results_.find(url) == results_.end())
429       return UrlInfo::NullDuration();
430     return results_[url].resolve_duration();
431   }
432
433   // Only for testing;
434   size_t peak_pending_lookups() const { return peak_pending_lookups_; }
435
436   // If a proxy advisor is defined, let it know that |url| will be prefetched or
437   // preconnected to. Can be called on either UI or IO threads and will post to
438   // the IO thread if necessary, invoking AdviseProxyOnIOThread().
439   void AdviseProxy(const GURL& url,
440                    UrlInfo::ResolutionMotivation motivation,
441                    bool is_preconnect);
442
443   // These two members call the appropriate global functions in
444   // prediction_options.cc depending on which thread they are called on.
445   virtual bool CanPrefetchAndPrerender() const;
446   virtual bool CanPreresolveAndPreconnect() const;
447
448   // ------------- Start IO thread methods.
449
450   // Perform actual resolution or preconnection to subresources now.  This is
451   // an internal worker method that is reached via a post task from
452   // PredictFrameSubresources().
453   void PrepareFrameSubresources(const GURL& url,
454                                 const GURL& first_party_for_cookies);
455
456   // Access method for use by async lookup request to pass resolution result.
457   void OnLookupFinished(LookupRequest* request, const GURL& url, bool found);
458
459   // Underlying method for both async and synchronous lookup to update state.
460   void LookupFinished(LookupRequest* request,
461                       const GURL& url, bool found);
462
463   // Queue hostname for resolution.  If queueing was done, return the pointer
464   // to the queued instance, otherwise return NULL. If the proxy advisor is
465   // enabled, and |url| is likely to be proxied, the hostname will not be
466   // queued as the browser is not expected to fetch it directly.
467   UrlInfo* AppendToResolutionQueue(const GURL& url,
468                                    UrlInfo::ResolutionMotivation motivation);
469
470   // Check to see if too much queuing delay has been noted for the given info,
471   // which indicates that there is "congestion" or growing delay in handling the
472   // resolution of names.  Rather than letting this congestion potentially grow
473   // without bounds, we abandon our queued efforts at pre-resolutions in such a
474   // case.
475   // To do this, we will recycle |info|, as well as all queued items, back to
476   // the state they had before they were queued up.  We can't do anything about
477   // the resolutions we've already sent off for processing on another thread, so
478   // we just let them complete.  On a slow system, subject to congestion, this
479   // will greatly reduce the number of resolutions done, but it will assure that
480   // any resolutions that are done, are in a timely and hence potentially
481   // helpful manner.
482   bool CongestionControlPerformed(UrlInfo* info);
483
484   // Take lookup requests from work_queue_ and tell HostResolver to look them up
485   // asynchronously, provided we don't exceed concurrent resolution limit.
486   void StartSomeQueuedResolutions();
487
488   // Performs trimming similar to TrimReferrersNow(), except it does it as a
489   // series of short tasks by posting continuations again an again until done.
490   void TrimReferrers();
491
492   // Loads urls_being_trimmed_ from keys of current referrers_.
493   void LoadUrlsForTrimming();
494
495   // Posts a task to do additional incremental trimming of referrers_.
496   void PostIncrementalTrimTask();
497
498   // Calls Trim() on some or all of urls_being_trimmed_.
499   // If it does not process all the URLs in that vector, it posts a task to
500   // continue with them shortly (i.e., it yeilds and continues).
501   void IncrementalTrimReferrers(bool trim_all_now);
502
503   // If a proxy advisor is defined, let it know that |url| will be prefetched or
504   // preconnected to.
505   void AdviseProxyOnIOThread(const GURL& url,
506                              UrlInfo::ResolutionMotivation motivation,
507                              bool is_preconnect);
508
509   // If we can determine immediately (i.e. synchronously) that requests to this
510   // URL would likely go through a proxy, then return true.  Otherwise, return
511   // false. This is used to avoid issuing DNS requests when a fixed proxy
512   // configuration is in place, which improves efficiency, and is also important
513   // if the unproxied DNS may contain incorrect entries.
514   bool WouldLikelyProxyURL(const GURL& url);
515
516   // Applies the HSTS redirect for |url|, if any.
517   GURL GetHSTSRedirectOnIOThread(const GURL& url);
518
519   // ------------- End IO thread methods.
520
521   scoped_ptr<InitialObserver> initial_observer_;
522
523   // Reference to URLRequestContextGetter from the Profile which owns the
524   // predictor. Used by Preconnect.
525   scoped_refptr<net::URLRequestContextGetter> url_request_context_getter_;
526
527   // Status of speculative DNS resolution and speculative TCP/IP connection
528   // feature. This is false if and only if disabled by a command line switch.
529   const bool predictor_enabled_;
530
531   // This is set by InitNetworkPredictor and used for calling
532   // CanPrefetchAndPrerenderUI and CanPreresolveAndPreconnectUI.
533   PrefService* user_prefs_;
534
535   // This is set by InitNetworkPredictor and used for calling
536   // CanPrefetchAndPrerenderIO and CanPreresolveAndPreconnectIO.
537   ProfileIOData* profile_io_data_;
538
539   // work_queue_ holds a list of names we need to look up.
540   HostNameQueue work_queue_;
541
542   // results_ contains information for existing/prior prefetches.
543   Results results_;
544
545   std::set<LookupRequest*> pending_lookups_;
546
547   // For testing, to verify that we don't exceed the limit.
548   size_t peak_pending_lookups_;
549
550   // When true, we don't make new lookup requests.
551   bool shutdown_;
552
553   // The number of concurrent speculative lookups currently allowed to be sent
554   // to the resolver.  Any additional lookups will be queued to avoid exceeding
555   // this value.  The queue is a priority queue that will accelerate
556   // sub-resource speculation, and retard resolutions suggested by page scans.
557   const size_t max_concurrent_dns_lookups_;
558
559   // The maximum queueing delay that is acceptable before we enter congestion
560   // reduction mode, and discard all queued (but not yet assigned) resolutions.
561   const base::TimeDelta max_dns_queue_delay_;
562
563   // The host resolver we warm DNS entries for.
564   net::HostResolver* host_resolver_;
565
566   // The TransportSecurityState instance we query HSTS redirects from.
567   net::TransportSecurityState* transport_security_state_;
568
569   // The SSLConfigService we query SNI support from (used in querying HSTS
570   // redirects).
571   net::SSLConfigService* ssl_config_service_;
572
573   // The ProxyService, used to determine whether preresolve is useful.
574   net::ProxyService* proxy_service_;
575
576   // Are we currently using preconnection, rather than just DNS resolution, for
577   // subresources and omni-box search URLs.
578   // This is false if and only if disabled by a command line switch.
579   const bool preconnect_enabled_;
580
581   // Most recent suggestion from Omnibox provided via AnticipateOmniboxUrl().
582   std::string last_omnibox_host_;
583
584   // The time when the last preresolve was done for last_omnibox_host_.
585   base::TimeTicks last_omnibox_preresolve_;
586
587   // The number of consecutive requests to AnticipateOmniboxUrl() that suggested
588   // preconnecting (because it was to a search service).
589   int consecutive_omnibox_preconnect_count_;
590
591   // The time when the last preconnection was requested to a search service.
592   base::TimeTicks last_omnibox_preconnect_;
593
594   // For each URL that we might navigate to (that we've "learned about")
595   // we have a Referrer list. Each Referrer list has all hostnames we might
596   // need to pre-resolve or pre-connect to when there is a navigation to the
597   // orginial hostname.
598   Referrers referrers_;
599
600   // List of URLs in referrers_ currently being trimmed (scaled down to
601   // eventually be aged out of use).
602   std::vector<GURL> urls_being_trimmed_;
603
604   // A time after which we need to do more trimming of referrers.
605   base::TimeTicks next_trim_time_;
606
607   scoped_ptr<ProxyAdvisor> proxy_advisor_;
608
609   // An observer for testing.
610   PredictorObserver* observer_;
611
612   scoped_ptr<base::WeakPtrFactory<Predictor> > weak_factory_;
613
614   DISALLOW_COPY_AND_ASSIGN(Predictor);
615 };
616
617 // This version of the predictor is used for testing.
618 class SimplePredictor : public Predictor {
619  public:
620   explicit SimplePredictor(bool preconnect_enabled, bool predictor_enabled)
621       : Predictor(preconnect_enabled, predictor_enabled) {}
622   ~SimplePredictor() override {}
623   void InitNetworkPredictor(PrefService* user_prefs,
624                             PrefService* local_state,
625                             IOThread* io_thread,
626                             net::URLRequestContextGetter* getter,
627                             ProfileIOData* profile_io_data) override;
628   void ShutdownOnUIThread() override;
629
630  private:
631   // These member functions return True for unittests.
632   bool CanPrefetchAndPrerender() const override;
633   bool CanPreresolveAndPreconnect() const override;
634 };
635
636 }  // namespace chrome_browser_net
637
638 #endif  // CHROME_BROWSER_NET_PREDICTOR_H_