doc/tutorials/video/meanshift/meanshift.markdown

   1 Meanshift and Camshift {#tutorial_meanshift}
   2 ======================
   3
   4 @prev_tutorial{tutorial_background_subtraction}
   5 @next_tutorial{tutorial_optical_flow}
   6
   7 Goal
   8 ----
   9
  10 In this chapter,
  11
  12 -   We will learn about the Meanshift and Camshift algorithms to track objects in videos.
  13
  14 Meanshift
  15 ---------
  16
  17 The intuition behind the meanshift is simple. Consider you have a set of points. (It can be a pixel
  18 distribution like histogram backprojection). You are given a small window (may be a circle) and you
  19 have to move that window to the area of maximum pixel density (or maximum number of points). It is
  20 illustrated in the simple image given below:
  21
  22 ![image](images/meanshift_basics.jpg)
  23
  24 The initial window is shown in blue circle with the name "C1". Its original center is marked in blue
  25 rectangle, named "C1_o". But if you find the centroid of the points inside that window, you will
  26 get the point "C1_r" (marked in small blue circle) which is the real centroid of the window. Surely
  27 they don't match. So move your window such that the circle of the new window matches with the previous
  28 centroid. Again find the new centroid. Most probably, it won't match. So move it again, and continue
  29 the iterations such that the center of window and its centroid falls on the same location (or within a
  30 small desired error). So finally what you obtain is a window with maximum pixel distribution. It is
  31 marked with a green circle, named "C2". As you can see in the image, it has maximum number of points. The
  32 whole process is demonstrated on a static image below:
  33
  34 ![image](images/meanshift_face.gif)
  35
  36 So we normally pass the histogram backprojected image and initial target location. When the object
  37 moves, obviously the movement is reflected in the histogram backprojected image. As a result, the meanshift
  38 algorithm moves our window to the new location with maximum density.
  39
  40 ### Meanshift in OpenCV
  41
  42 To use meanshift in OpenCV, first we need to setup the target, find its histogram so that we can
  43 backproject the target on each frame for calculation of meanshift. We also need to provide an initial
  44 location of window. For histogram, only Hue is considered here. Also, to avoid false values due to
  45 low light, low light values are discarded using **cv.inRange()** function.
  46
  47 @add_toggle_cpp
  48 -   **Downloadable code**: Click
  49     [here](https://github.com/opencv/opencv/tree/3.4/samples/cpp/tutorial_code/video/meanshift/meanshift.cpp)
  50
  51 -   **Code at glance:**
  52     @include samples/cpp/tutorial_code/video/meanshift/meanshift.cpp
  53 @end_toggle
  54
  55 @add_toggle_python
  56 -   **Downloadable code**: Click
  57     [here](https://github.com/opencv/opencv/tree/3.4/samples/python/tutorial_code/video/meanshift/meanshift.py)
  58
  59 -   **Code at glance:**
  60     @include samples/python/tutorial_code/video/meanshift/meanshift.py
  61 @end_toggle
  62
  63 @add_toggle_java
  64 -   **Downloadable code**: Click
  65     [here](https://github.com/opencv/opencv/tree/3.4/samples/java/tutorial_code/video/meanshift/MeanshiftDemo.java)
  66
  67 -   **Code at glance:**
  68     @include  samples/java/tutorial_code/video/meanshift/MeanshiftDemo.java
  69 @end_toggle
  70
  71 Three frames in a video I used is given below:
  72
  73 ![image](images/meanshift_result.jpg)
  74
  75 Camshift
  76 --------
  77
  78 Did you closely watch the last result? There is a problem. Our window always has the same size whether
  79 the car is very far or very close to the camera. That is not good. We need to adapt the window
  80 size with size and rotation of the target. Once again, the solution came from "OpenCV Labs" and it
  81 is called CAMshift (Continuously Adaptive Meanshift) published by Gary Bradsky in his paper
  82 "Computer Vision Face Tracking for Use in a Perceptual User Interface" in 1998 @cite Bradski98 .
  83
  84 It applies meanshift first. Once meanshift converges, it updates the size of the window as,
  85 \f$s = 2 \times \sqrt{\frac{M_{00}}{256}}\f$. It also calculates the orientation of the best fitting ellipse
  86 to it. Again it applies the meanshift with new scaled search window and previous window location.
  87 The process continues until the required accuracy is met.
  88
  89 ![image](images/camshift_face.gif)
  90
  91 ### Camshift in OpenCV
  92
  93 It is similar to meanshift, but returns a rotated rectangle (that is our result) and box
  94 parameters (used to be passed as search window in next iteration). See the code below:
  95
  96 @add_toggle_cpp
  97 -   **Downloadable code**: Click
  98     [here](https://github.com/opencv/opencv/tree/3.4/samples/cpp/tutorial_code/video/meanshift/camshift.cpp)
  99
 100 -   **Code at glance:**
 101     @include samples/cpp/tutorial_code/video/meanshift/camshift.cpp
 102 @end_toggle
 103
 104 @add_toggle_python
 105 -   **Downloadable code**: Click
 106     [here](https://github.com/opencv/opencv/tree/3.4/samples/python/tutorial_code/video/meanshift/camshift.py)
 107
 108 -   **Code at glance:**
 109     @include samples/python/tutorial_code/video/meanshift/camshift.py
 110 @end_toggle
 111
 112 @add_toggle_java
 113 -   **Downloadable code**: Click
 114     [here](https://github.com/opencv/opencv/tree/3.4/samples/java/tutorial_code/video/meanshift/CamshiftDemo.java)
 115
 116 -   **Code at glance:**
 117     @include  samples/java/tutorial_code/video/meanshift/CamshiftDemo.java
 118 @end_toggle
 119
 120 Three frames of the result is shown below:
 121
 122 ![image](images/camshift_result.jpg)
 123
 124 Additional Resources
 125 --------------------
 126
 127 -#  French Wikipedia page on [Camshift](http://fr.wikipedia.org/wiki/Camshift). (The two animations
 128     are taken from there)
 129 2.  Bradski, G.R., "Real time face and object tracking as a component of a perceptual user
 130     interface," Applications of Computer Vision, 1998. WACV '98. Proceedings., Fourth IEEE Workshop
 131     on , vol., no., pp.214,219, 19-21 Oct 1998
 132
 133 Exercises
 134 ---------
 135
 136 -#  OpenCV comes with a Python [sample](https://github.com/opencv/opencv/blob/3.4/samples/python/camshift.py) for an interactive demo of camshift. Use it, hack it, understand
 137     it.