modules/features2d/doc/common_interfaces_of_descriptor_matchers.rst

   1 Common Interfaces of Descriptor Matchers
   2 ========================================
   3
   4 .. highlight:: cpp
   5
   6 Matchers of keypoint descriptors in OpenCV have wrappers with a common interface that enables you to easily switch
   7 between different algorithms solving the same problem. This section is devoted to matching descriptors
   8 that are represented as vectors in a multidimensional space. All objects that implement ``vector``
   9 descriptor matchers inherit the
  10 :ocv:class:`DescriptorMatcher` interface.
  11
  12 .. note::
  13
  14    * An example explaining keypoint matching can be found at opencv_source_code/samples/cpp/descriptor_extractor_matcher.cpp
  15    * An example on descriptor matching evaluation can be found at opencv_source_code/samples/cpp/detector_descriptor_matcher_evaluation.cpp
  16    * An example on one to many image matching can be found at opencv_source_code/samples/cpp/matching_to_many_images.cpp
  17
  18 DescriptorMatcher
  19 -----------------
  20 .. ocv:class:: DescriptorMatcher : public Algorithm
  21
  22 Abstract base class for matching keypoint descriptors. It has two groups
  23 of match methods: for matching descriptors of an image with another image or
  24 with an image set. ::
  25
  26     class DescriptorMatcher
  27     {
  28     public:
  29         virtual ~DescriptorMatcher();
  30
  31         virtual void add( const vector<Mat>& descriptors );
  32
  33         const vector<Mat>& getTrainDescriptors() const;
  34         virtual void clear();
  35         bool empty() const;
  36         virtual bool isMaskSupported() const = 0;
  37
  38         virtual void train();
  39
  40         /*
  41          * Group of methods to match descriptors from an image pair.
  42          */
  43         void match( const Mat& queryDescriptors, const Mat& trainDescriptors,
  44                     vector<DMatch>& matches, const Mat& mask=Mat() ) const;
  45         void knnMatch( const Mat& queryDescriptors, const Mat& trainDescriptors,
  46                        vector<vector<DMatch> >& matches, int k,
  47                        const Mat& mask=Mat(), bool compactResult=false ) const;
  48         void radiusMatch( const Mat& queryDescriptors, const Mat& trainDescriptors,
  49                           vector<vector<DMatch> >& matches, float maxDistance,
  50                           const Mat& mask=Mat(), bool compactResult=false ) const;
  51         /*
  52          * Group of methods to match descriptors from one image to an image set.
  53          */
  54         void match( const Mat& queryDescriptors, vector<DMatch>& matches,
  55                     const vector<Mat>& masks=vector<Mat>() );
  56         void knnMatch( const Mat& queryDescriptors, vector<vector<DMatch> >& matches,
  57                        int k, const vector<Mat>& masks=vector<Mat>(),
  58                        bool compactResult=false );
  59         void radiusMatch( const Mat& queryDescriptors, vector<vector<DMatch> >& matches,
  60                           float maxDistance, const vector<Mat>& masks=vector<Mat>(),
  61                           bool compactResult=false );
  62
  63         virtual void read( const FileNode& );
  64         virtual void write( FileStorage& ) const;
  65
  66         virtual Ptr<DescriptorMatcher> clone( bool emptyTrainData=false ) const = 0;
  67
  68         static Ptr<DescriptorMatcher> create( const String& descriptorMatcherType );
  69
  70     protected:
  71         vector<Mat> trainDescCollection;
  72         ...
  73     };
  74
  75
  76 DescriptorMatcher::add
  77 --------------------------
  78 Adds descriptors to train a descriptor collection. If the collection ``trainDescCollectionis`` is not empty, the new descriptors are added to existing train descriptors.
  79
  80 .. ocv:function:: void DescriptorMatcher::add( const vector<Mat>& descriptors )
  81
  82     :param descriptors: Descriptors to add. Each  ``descriptors[i]``  is a set of descriptors from the same train image.
  83
  84
  85 DescriptorMatcher::getTrainDescriptors
  86 ------------------------------------------
  87 Returns a constant link to the train descriptor collection ``trainDescCollection`` .
  88
  89 .. ocv:function:: const vector<Mat>& DescriptorMatcher::getTrainDescriptors() const
  90
  91
  92
  93
  94
  95 DescriptorMatcher::clear
  96 ----------------------------
  97 Clears the train descriptor collection.
  98
  99 .. ocv:function:: void DescriptorMatcher::clear()
 100
 101
 102
 103 DescriptorMatcher::empty
 104 ----------------------------
 105 Returns true if there are no train descriptors in the collection.
 106
 107 .. ocv:function:: bool DescriptorMatcher::empty() const
 108
 109
 110
 111 DescriptorMatcher::isMaskSupported
 112 --------------------------------------
 113 Returns true if the descriptor matcher supports masking permissible matches.
 114
 115 .. ocv:function:: bool DescriptorMatcher::isMaskSupported()
 116
 117
 118
 119 DescriptorMatcher::train
 120 ----------------------------
 121 Trains a descriptor matcher
 122
 123 .. ocv:function:: void DescriptorMatcher::train()
 124
 125 Trains a descriptor matcher (for example, the flann index). In all methods to match, the method ``train()`` is run every time before matching. Some descriptor matchers (for example, ``BruteForceMatcher``) have an empty implementation of this method. Other matchers really train their inner structures (for example, ``FlannBasedMatcher`` trains ``flann::Index`` ).
 126
 127
 128
 129 DescriptorMatcher::match
 130 ----------------------------
 131 Finds the best match for each descriptor from a query set.
 132
 133 .. ocv:function:: void DescriptorMatcher::match( const Mat& queryDescriptors, const Mat& trainDescriptors, vector<DMatch>& matches, const Mat& mask=Mat() ) const
 134
 135 .. ocv:function:: void DescriptorMatcher::match( const Mat& queryDescriptors, vector<DMatch>& matches, const vector<Mat>& masks=vector<Mat>() )
 136
 137     :param queryDescriptors: Query set of descriptors.
 138
 139     :param trainDescriptors: Train set of descriptors. This set is not added to the train descriptors collection stored in the class object.
 140
 141     :param matches: Matches. If a query descriptor is masked out in  ``mask`` , no match is added for this descriptor. So, ``matches``  size may be smaller than the query descriptors count.
 142
 143     :param mask: Mask specifying permissible matches between an input query and train matrices of descriptors.
 144
 145     :param masks: Set of masks. Each  ``masks[i]``  specifies permissible matches between the input query descriptors and stored train descriptors from the i-th image ``trainDescCollection[i]``.
 146
 147 In the first variant of this method, the train descriptors are passed as an input argument. In the second variant of the method, train descriptors collection that was set by ``DescriptorMatcher::add`` is used. Optional mask (or masks) can be passed to specify which query and training descriptors can be matched. Namely, ``queryDescriptors[i]`` can be matched with ``trainDescriptors[j]`` only if ``mask.at<uchar>(i,j)`` is non-zero.
 148
 149
 150
 151 DescriptorMatcher::knnMatch
 152 -------------------------------
 153 Finds the k best matches for each descriptor from a query set.
 154
 155 .. ocv:function:: void DescriptorMatcher::knnMatch( const Mat& queryDescriptors,       const Mat& trainDescriptors,       vector<vector<DMatch> >& matches,       int k, const Mat& mask=Mat(),       bool compactResult=false ) const
 156
 157 .. ocv:function:: void DescriptorMatcher::knnMatch( const Mat& queryDescriptors,           vector<vector<DMatch> >& matches, int k,      const vector<Mat>& masks=vector<Mat>(),       bool compactResult=false )
 158
 159     :param queryDescriptors: Query set of descriptors.
 160
 161     :param trainDescriptors: Train set of descriptors. This set is not added to the train descriptors collection stored in the class object.
 162
 163     :param mask: Mask specifying permissible matches between an input query and train matrices of descriptors.
 164
 165     :param masks: Set of masks. Each  ``masks[i]``  specifies permissible matches between the input query descriptors and stored train descriptors from the i-th image ``trainDescCollection[i]``.
 166
 167     :param matches: Matches. Each  ``matches[i]``  is k or less matches for the same query descriptor.
 168
 169     :param k: Count of best matches found per each query descriptor or less if a query descriptor has less than k possible matches in total.
 170
 171     :param compactResult: Parameter used when the mask (or masks) is not empty. If  ``compactResult``  is false, the  ``matches``  vector has the same size as  ``queryDescriptors``  rows. If  ``compactResult``  is true, the  ``matches``  vector does not contain matches for fully masked-out query descriptors.
 172
 173 These extended variants of :ocv:func:`DescriptorMatcher::match` methods find several best matches for each query descriptor. The matches are returned in the distance increasing order. See :ocv:func:`DescriptorMatcher::match` for the details about query and train descriptors.
 174
 175
 176
 177 DescriptorMatcher::radiusMatch
 178 ----------------------------------
 179 For each query descriptor, finds the training descriptors not farther than the specified distance.
 180
 181 .. ocv:function:: void DescriptorMatcher::radiusMatch( const Mat& queryDescriptors,           const Mat& trainDescriptors,           vector<vector<DMatch> >& matches,           float maxDistance, const Mat& mask=Mat(),           bool compactResult=false ) const
 182
 183 .. ocv:function:: void DescriptorMatcher::radiusMatch( const Mat& queryDescriptors,           vector<vector<DMatch> >& matches,           float maxDistance,      const vector<Mat>& masks=vector<Mat>(),       bool compactResult=false )
 184
 185     :param queryDescriptors: Query set of descriptors.
 186
 187     :param trainDescriptors: Train set of descriptors. This set is not added to the train descriptors collection stored in the class object.
 188
 189     :param mask: Mask specifying permissible matches between an input query and train matrices of descriptors.
 190
 191     :param masks: Set of masks. Each  ``masks[i]``  specifies permissible matches between the input query descriptors and stored train descriptors from the i-th image ``trainDescCollection[i]``.
 192
 193     :param matches: Found matches.
 194
 195     :param compactResult: Parameter used when the mask (or masks) is not empty. If  ``compactResult``  is false, the  ``matches``  vector has the same size as  ``queryDescriptors``  rows. If  ``compactResult``  is true, the  ``matches``  vector does not contain matches for fully masked-out query descriptors.
 196
 197     :param maxDistance: Threshold for the distance between matched descriptors. Distance means here metric distance (e.g. Hamming distance), not the distance between coordinates (which is measured in Pixels)!
 198
 199 For each query descriptor, the methods find such training descriptors that the distance between the query descriptor and the training descriptor is equal or smaller than ``maxDistance``. Found matches are returned in the distance increasing order.
 200
 201
 202
 203 DescriptorMatcher::clone
 204 ----------------------------
 205 Clones the matcher.
 206
 207 .. ocv:function:: Ptr<DescriptorMatcher> DescriptorMatcher::clone( bool emptyTrainData=false )
 208
 209     :param emptyTrainData: If ``emptyTrainData`` is false, the method creates a deep copy of the object, that is, copies both parameters and train data. If ``emptyTrainData`` is true, the method creates an object copy with the current parameters but with empty train data.
 210
 211
 212
 213 DescriptorMatcher::create
 214 -----------------------------
 215 Creates a descriptor matcher of a given type with the default parameters (using default constructor).
 216
 217 .. ocv:function:: Ptr<DescriptorMatcher> DescriptorMatcher::create( const String& descriptorMatcherType )
 218
 219     :param descriptorMatcherType: Descriptor matcher type. Now the following matcher types are supported:
 220
 221         *
 222             ``BruteForce`` (it uses ``L2`` )
 223         *
 224             ``BruteForce-L1``
 225         *
 226             ``BruteForce-Hamming``
 227         *
 228             ``BruteForce-Hamming(2)``
 229         *
 230             ``FlannBased``
 231
 232
 233
 234
 235
 236 BFMatcher
 237 -----------------
 238 .. ocv:class:: BFMatcher : public DescriptorMatcher
 239
 240 Brute-force descriptor matcher. For each descriptor in the first set, this matcher finds the closest descriptor in the second set by trying each one. This descriptor matcher supports masking permissible matches of descriptor sets.
 241
 242
 243 BFMatcher::BFMatcher
 244 --------------------
 245 Brute-force matcher constructor.
 246
 247 .. ocv:function:: BFMatcher::BFMatcher( int normType=NORM_L2, bool crossCheck=false )
 248
 249     :param normType: One of ``NORM_L1``, ``NORM_L2``, ``NORM_HAMMING``, ``NORM_HAMMING2``. ``L1`` and ``L2`` norms are preferable choices for SIFT and SURF descriptors, ``NORM_HAMMING`` should be used with ORB, BRISK and BRIEF, ``NORM_HAMMING2`` should be used with ORB when ``WTA_K==3`` or ``4`` (see ORB::ORB constructor description).
 250
 251     :param crossCheck: If it is false, this is will be default BFMatcher behaviour when it finds the k nearest neighbors for each query descriptor. If ``crossCheck==true``, then the ``knnMatch()`` method with ``k=1`` will only return pairs ``(i,j)`` such that for ``i-th`` query descriptor the ``j-th`` descriptor in the matcher's collection is the nearest and vice versa, i.e. the ``BFMathcher`` will only return consistent pairs. Such technique usually produces best results with minimal number of outliers when there are enough matches. This is alternative to the ratio test, used by D. Lowe in SIFT paper.
 252
 253
 254 FlannBasedMatcher
 255 -----------------
 256 .. ocv:class:: FlannBasedMatcher : public DescriptorMatcher
 257
 258 Flann-based descriptor matcher. This matcher trains :ocv:class:`flann::Index_` on a train descriptor collection and calls its nearest search methods to find the best matches. So, this matcher may be faster when matching a large train collection than the brute force matcher. ``FlannBasedMatcher`` does not support masking permissible matches of descriptor sets because ``flann::Index`` does not support this. ::
 259
 260     class FlannBasedMatcher : public DescriptorMatcher
 261     {
 262     public:
 263         FlannBasedMatcher(
 264           const Ptr<flann::IndexParams>& indexParams=new flann::KDTreeIndexParams(),
 265           const Ptr<flann::SearchParams>& searchParams=new flann::SearchParams() );
 266
 267         virtual void add( const vector<Mat>& descriptors );
 268         virtual void clear();
 269
 270         virtual void train();
 271         virtual bool isMaskSupported() const;
 272
 273         virtual Ptr<DescriptorMatcher> clone( bool emptyTrainData=false ) const;
 274     protected:
 275         ...
 276     };
 277
 278 ..