modules/features2d/doc/feature_detection_and_description.rst

   1 Feature Detection and Description
   2 =================================
   3
   4 .. highlight:: cpp
   5
   6 .. note::
   7
   8    * An example explaining keypoint detection and description can be found at opencv_source_code/samples/cpp/descriptor_extractor_matcher.cpp
   9
  10 FAST
  11 ----
  12 Detects corners using the FAST algorithm
  13
  14 .. ocv:function:: void FAST( InputArray image, vector<KeyPoint>& keypoints, int threshold, bool nonmaxSuppression=true )
  15 .. ocv:function:: void FAST( InputArray image, vector<KeyPoint>& keypoints, int threshold, bool nonmaxSuppression, int type )
  16
  17 .. ocv:pyfunction:: cv2.FastFeatureDetector([, threshold[, nonmaxSuppression]]) -> <FastFeatureDetector object>
  18 .. ocv:pyfunction:: cv2.FastFeatureDetector(threshold, nonmaxSuppression, type) -> <FastFeatureDetector object>
  19 .. ocv:pyfunction:: cv2.FastFeatureDetector.detect(image[, mask]) -> keypoints
  20
  21
  22     :param image: grayscale image where keypoints (corners) are detected.
  23
  24     :param keypoints: keypoints detected on the image.
  25
  26     :param threshold: threshold on difference between intensity of the central pixel and pixels of a circle around this pixel.
  27
  28     :param nonmaxSuppression: if true, non-maximum suppression is applied to detected corners (keypoints).
  29
  30     :param type: one of the three neighborhoods as defined in the paper: ``FastFeatureDetector::TYPE_9_16``, ``FastFeatureDetector::TYPE_7_12``, ``FastFeatureDetector::TYPE_5_8``
  31
  32 Detects corners using the FAST algorithm by [Rosten06]_.
  33
  34 .. note:: In Python API, types are given as ``cv2.FAST_FEATURE_DETECTOR_TYPE_5_8``, ``cv2.FAST_FEATURE_DETECTOR_TYPE_7_12`` and  ``cv2.FAST_FEATURE_DETECTOR_TYPE_9_16``. For corner detection, use ``cv2.FAST.detect()`` method.
  35
  36
  37 .. [Rosten06] E. Rosten. Machine Learning for High-speed Corner Detection, 2006.
  38
  39 MSER
  40 ----
  41 .. ocv:class:: MSER : public FeatureDetector
  42
  43 Maximally stable extremal region extractor. ::
  44
  45     class MSER : public CvMSERParams
  46     {
  47     public:
  48         // default constructor
  49         MSER();
  50         // constructor that initializes all the algorithm parameters
  51         MSER( int _delta, int _min_area, int _max_area,
  52               float _max_variation, float _min_diversity,
  53               int _max_evolution, double _area_threshold,
  54               double _min_margin, int _edge_blur_size );
  55         // runs the extractor on the specified image; returns the MSERs,
  56         // each encoded as a contour (vector<Point>, see findContours)
  57         // the optional mask marks the area where MSERs are searched for
  58         void operator()( const Mat& image, vector<vector<Point> >& msers, const Mat& mask ) const;
  59     };
  60
  61 The class encapsulates all the parameters of the MSER extraction algorithm (see
  62 http://en.wikipedia.org/wiki/Maximally_stable_extremal_regions). Also see http://code.opencv.org/projects/opencv/wiki/MSER for useful comments and parameters description.
  63
  64 .. note::
  65
  66    * (Python) A complete example showing the use of the MSER detector can be found at opencv_source_code/samples/python2/mser.py
  67
  68
  69 ORB
  70 ---
  71 .. ocv:class:: ORB : public Feature2D
  72
  73 Class implementing the ORB (*oriented BRIEF*) keypoint detector and descriptor extractor, described in [RRKB11]_. The algorithm uses FAST in pyramids to detect stable keypoints, selects the strongest features using FAST or Harris response, finds their orientation using first-order moments and computes the descriptors using BRIEF (where the coordinates of random point pairs (or k-tuples) are rotated according to the measured orientation).
  74
  75 .. [RRKB11] Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski: ORB: An efficient alternative to SIFT or SURF. ICCV 2011: 2564-2571.
  76
  77 ORB::ORB
  78 --------
  79 The ORB constructor
  80
  81 .. ocv:function:: ORB::ORB(int nfeatures = 500, float scaleFactor = 1.2f, int nlevels = 8, int edgeThreshold = 31, int firstLevel = 0, int WTA_K=2, int scoreType=ORB::HARRIS_SCORE, int patchSize=31)
  82
  83 .. ocv:pyfunction:: cv2.ORB([, nfeatures[, scaleFactor[, nlevels[, edgeThreshold[, firstLevel[, WTA_K[, scoreType[, patchSize]]]]]]]]) -> <ORB object>
  84
  85
  86     :param nfeatures: The maximum number of features to retain.
  87
  88     :param scaleFactor: Pyramid decimation ratio, greater than 1. ``scaleFactor==2`` means the classical pyramid, where each next level has 4x less pixels than the previous, but such a big scale factor will degrade feature matching scores dramatically. On the other hand, too close to 1 scale factor will mean that to cover certain scale range you will need more pyramid levels and so the speed will suffer.
  89
  90     :param nlevels: The number of pyramid levels. The smallest level will have linear size equal to ``input_image_linear_size/pow(scaleFactor, nlevels)``.
  91
  92     :param edgeThreshold: This is size of the border where the features are not detected. It should roughly match the ``patchSize`` parameter.
  93
  94     :param firstLevel: It should be 0 in the current implementation.
  95
  96     :param WTA_K: The number of points that produce each element of the oriented BRIEF descriptor. The default value 2 means the BRIEF where we take a random point pair and compare their brightnesses, so we get 0/1 response. Other possible values are 3 and 4. For example, 3 means that we take 3 random points (of course, those point coordinates are random, but they are generated from the pre-defined seed, so each element of BRIEF descriptor is computed deterministically from the pixel rectangle), find point of maximum brightness and output index of the winner (0, 1 or 2). Such output will occupy 2 bits, and therefore it will need a special variant of Hamming distance, denoted as ``NORM_HAMMING2`` (2 bits per bin).  When ``WTA_K=4``, we take 4 random points to compute each bin (that will also occupy 2 bits with possible values 0, 1, 2 or 3).
  97
  98     :param scoreType: The default HARRIS_SCORE means that Harris algorithm is used to rank features (the score is written to ``KeyPoint::score`` and is used to retain best ``nfeatures`` features); FAST_SCORE is alternative value of the parameter that produces slightly less stable keypoints, but it is a little faster to compute.
  99
 100     :param patchSize: size of the patch used by the oriented BRIEF descriptor. Of course, on smaller pyramid layers the perceived image area covered by a feature will be larger.
 101
 102 ORB::operator()
 103 ---------------
 104 Finds keypoints in an image and computes their descriptors
 105
 106 .. ocv:function:: void ORB::operator()(InputArray image, InputArray mask, vector<KeyPoint>& keypoints, OutputArray descriptors, bool useProvidedKeypoints=false ) const
 107
 108 .. ocv:pyfunction:: cv2.ORB.detect(image[, mask]) -> keypoints
 109 .. ocv:pyfunction:: cv2.ORB.compute(image, keypoints[, descriptors]) -> keypoints, descriptors
 110 .. ocv:pyfunction:: cv2.ORB.detectAndCompute(image, mask[, descriptors[, useProvidedKeypoints]]) -> keypoints, descriptors
 111
 112
 113     :param image: The input 8-bit grayscale image.
 114
 115     :param mask: The operation mask.
 116
 117     :param keypoints: The output vector of keypoints.
 118
 119     :param descriptors: The output descriptors. Pass ``cv::noArray()`` if you do not need it.
 120
 121     :param useProvidedKeypoints: If it is true, then the method will use the provided vector of keypoints instead of detecting them.
 122
 123
 124 BRISK
 125 -----
 126 .. ocv:class:: BRISK : public Feature2D
 127
 128 Class implementing the BRISK keypoint detector and descriptor extractor, described in [LCS11]_.
 129
 130 .. [LCS11] Stefan Leutenegger, Margarita Chli and Roland Siegwart: BRISK: Binary Robust Invariant Scalable Keypoints. ICCV 2011: 2548-2555.
 131
 132 BRISK::BRISK
 133 ------------
 134 The BRISK constructor
 135
 136 .. ocv:function:: BRISK::BRISK(int thresh=30, int octaves=3, float patternScale=1.0f)
 137
 138 .. ocv:pyfunction:: cv2.BRISK([, thresh[, octaves[, patternScale]]]) -> <BRISK object>
 139
 140     :param thresh: FAST/AGAST detection threshold score.
 141
 142     :param octaves: detection octaves. Use 0 to do single scale.
 143
 144     :param patternScale: apply this scale to the pattern used for sampling the neighbourhood of a keypoint.
 145
 146 BRISK::BRISK
 147 ------------
 148 The BRISK constructor for a custom pattern
 149
 150 .. ocv:function:: BRISK::BRISK(std::vector<float> &radiusList, std::vector<int> &numberList, float dMax=5.85f, float dMin=8.2f, std::vector<int> indexChange=std::vector<int>())
 151
 152 .. ocv:pyfunction:: cv2.BRISK(radiusList, numberList[, dMax[, dMin[, indexChange]]]) -> <BRISK object>
 153
 154     :param radiusList: defines the radii (in pixels) where the samples around a keypoint are taken (for keypoint scale 1).
 155
 156     :param numberList: defines the number of sampling points on the sampling circle. Must be the same size as radiusList..
 157
 158     :param dMax: threshold for the short pairings used for descriptor formation (in pixels for keypoint scale 1).
 159
 160     :param dMin: threshold for the long pairings used for orientation determination (in pixels for keypoint scale 1).
 161
 162     :param indexChanges: index remapping of the bits.
 163
 164 BRISK::operator()
 165 -----------------
 166 Finds keypoints in an image and computes their descriptors
 167
 168 .. ocv:function:: void BRISK::operator()(InputArray image, InputArray mask, vector<KeyPoint>& keypoints, OutputArray descriptors, bool useProvidedKeypoints=false ) const
 169
 170 .. ocv:pyfunction:: cv2.BRISK.detect(image[, mask]) -> keypoints
 171 .. ocv:pyfunction:: cv2.BRISK.compute(image, keypoints[, descriptors]) -> keypoints, descriptors
 172 .. ocv:pyfunction:: cv2.BRISK.detectAndCompute(image, mask[, descriptors[, useProvidedKeypoints]]) -> keypoints, descriptors
 173
 174     :param image: The input 8-bit grayscale image.
 175
 176     :param mask: The operation mask.
 177
 178     :param keypoints: The output vector of keypoints.
 179
 180     :param descriptors: The output descriptors. Pass ``cv::noArray()`` if you do not need it.
 181
 182     :param useProvidedKeypoints: If it is true, then the method will use the provided vector of keypoints instead of detecting them.
 183
 184 KAZE
 185 ----
 186 .. ocv:class:: KAZE : public Feature2D
 187
 188 Class implementing the KAZE keypoint detector and descriptor extractor, described in [ABD12]_. ::
 189
 190     class CV_EXPORTS_W KAZE : public Feature2D
 191     {
 192     public:
 193         CV_WRAP KAZE();
 194         CV_WRAP explicit KAZE(bool extended, bool upright, float threshold = 0.001f,
 195                               int octaves = 4, int sublevels = 4, int diffusivity = DIFF_PM_G2);
 196     };
 197
 198 .. note:: AKAZE descriptor can only be used with KAZE or AKAZE keypoints
 199
 200 .. [ABD12] KAZE Features. Pablo F. Alcantarilla, Adrien Bartoli and Andrew J. Davison. In European Conference on Computer Vision (ECCV), Fiorenze, Italy, October 2012.
 201
 202 KAZE::KAZE
 203 ----------
 204 The KAZE constructor
 205
 206 .. ocv:function:: KAZE::KAZE(bool extended, bool upright, float threshold, int octaves, int sublevels, int diffusivity)
 207
 208     :param extended: Set to enable extraction of extended (128-byte) descriptor.
 209     :param upright: Set to enable use of upright descriptors (non rotation-invariant).
 210     :param threshold: Detector response threshold to accept point
 211     :param octaves: Maximum octave evolution of the image
 212     :param sublevels: Default number of sublevels per scale level
 213     :param diffusivity: Diffusivity type. DIFF_PM_G1, DIFF_PM_G2, DIFF_WEICKERT or DIFF_CHARBONNIER
 214
 215 AKAZE
 216 -----
 217 .. ocv:class:: AKAZE : public Feature2D
 218
 219 Class implementing the AKAZE keypoint detector and descriptor extractor, described in [ANB13]_. ::
 220
 221     class CV_EXPORTS_W AKAZE : public Feature2D
 222     {
 223     public:
 224         CV_WRAP AKAZE();
 225         CV_WRAP explicit AKAZE(int descriptor_type, int descriptor_size = 0, int descriptor_channels = 3,
 226                                float threshold = 0.001f, int octaves = 4, int sublevels = 4, int diffusivity = DIFF_PM_G2);
 227     };
 228
 229 .. note:: AKAZE descriptors can only be used with KAZE or AKAZE keypoints. Try to avoid using *extract* and *detect* instead of *operator()* due to performance reasons.
 230
 231 .. [ANB13] Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces. Pablo F. Alcantarilla, Jesús Nuevo and Adrien Bartoli. In British Machine Vision Conference (BMVC), Bristol, UK, September 2013.
 232
 233 AKAZE::AKAZE
 234 ------------
 235 The AKAZE constructor
 236
 237 .. ocv:function:: AKAZE::AKAZE(int descriptor_type, int descriptor_size, int descriptor_channels, float threshold, int octaves, int sublevels, int diffusivity)
 238
 239     :param descriptor_type: Type of the extracted descriptor: DESCRIPTOR_KAZE, DESCRIPTOR_KAZE_UPRIGHT, DESCRIPTOR_MLDB or DESCRIPTOR_MLDB_UPRIGHT.
 240     :param descriptor_size: Size of the descriptor in bits. 0 -> Full size
 241     :param descriptor_channels: Number of channels in the descriptor (1, 2, 3)
 242     :param threshold: Detector response threshold to accept point
 243     :param octaves: Maximum octave evolution of the image
 244     :param sublevels: Default number of sublevels per scale level
 245     :param diffusivity: Diffusivity type. DIFF_PM_G1, DIFF_PM_G2, DIFF_WEICKERT or DIFF_CHARBONNIER
 246
 247 SIFT
 248 ----
 249
 250 .. ocv:class:: SIFT : public Feature2D
 251
 252 The SIFT algorithm has been moved to opencv_contrib/xfeatures2d module.