docs/source/version_history.rst

   1 .. _chapter-version-history:
   2
   3 ===============
   4 Version History
   5 ===============
   6
   7 1.13.0
   8 ======
   9
  10 New Features
  11 ------------
  12 #. ``LineSearchMinimizer`` and ``GradientProblemSolver`` are up to 2x
  13    faster due to fewer function evaluations. (Sameer Agarwal)
  14 #. ``SPARSE_NORMAL_CHOLESKY`` is significantly faster because Ceres
  15    now computes the normal equations exploiting the static block
  16    sparsity structure. (Cheng Wang & Sameer Agarwal)
  17 #. Add compound with scalar operators for Jets. (Alex Stewart)
  18 #. Enable support for AVX instructions for Jets. (Alex Stewart)
  19
  20 Backward Incompatible API Changes
  21 ---------------------------------
  22 The enum ``CovarianceAlgorithmType`` which controls the linear algebra
  23 algorithm used to compute the covariance used to combine the choice of
  24 the algorithm and the choice of the sparse linear algebra library into
  25 the enum name. So we had ``SUITE_SPARSE_QR`` and
  26 ``EIGEN_SPARSE_QR``. ``Covariance::Options`` now has a separate member
  27 allowing the user to choose the sparse linear algebra library, just
  28 like the solver and ``CovarianceAlgorithmType`` now takes values
  29 ``DENSE_SVD`` and ``SPARSE_QR``. This is a forward looking change that
  30 will allow us to develop more flexible covariance estimation
  31 algorithms with multiple linear algebra backends.
  32
  33 Bug Fixes & Minor Changes
  34 -------------------------
  35 #. Fix ``InvertPSDMatrix`` as it was triggering an Eigen assert in
  36    Debug mode. (Philipp Hubner)
  37 #. Fix cmake error from CeresConfig.cmake when Ceres not found (Taylor
  38    Braun-Jones)
  39 #. Completely refactored ``SparseNormalCholeskySolver``. (Sameer
  40    Agarwal)
  41 #. Fixed time reporting in ``Summary::FullReport`` when
  42    ``LineSearchMinimizer`` is used. (Sameer Agarwal)
  43 #. Remove unused file: collections_port.cc. (Sameer Agarwal)
  44 #. ``SPARSE_SCHUR`` + ``CX_SPARSE`` = Faster (Sameer Agarwal)
  45 #. Refactored a number of linear solver tests to be more thorough and
  46    informative. (Sameer Agarwal)
  47 #. Pass user-specified search hints as HINTS not PATHS. (Alex Stewart)
  48 #. Prefer Eigen installs over exported build directories. (Alex
  49    Stewart)
  50 #. Add OpenMP flags when compiling for C if enabled. (Alex Stewart)
  51 #. Add a missing ``CERES_EXPORT`` to GradientChecker (Sameer Agarwal)
  52 #. Use target_compile_features() to specify C++11 requirement if
  53    available. (Alex Stewart)
  54 #. Update docs: .netrc --> .gitcookies (Keir Mierle)
  55 #. Fix implicit precission loss warning on 64-bit archs (Ricardo
  56    Sanchez-Saez)
  57 #. Optionally use exported Eigen CMake configuration if
  58    available. (Alex Stewart)
  59 #. Use ``Ceres_[SOURCE/BINARY]_DIR`` not ``CMAKE_XXX_DIR`` to support
  60    nesting. (Alex Stewart)
  61 #. Update ``Problem::EvaluateOptions`` documentation. (Sameer Agarwal)
  62 #. Add public headers to CMake target for IDEs. (Devin Lane)
  63 #. Add an article on interfacing with automatic
  64    differentiation. (Sameer Agarwal)
  65 #. Add default Fedora/Debian locations for CXSparse to search
  66    paths. (Alex Stewart)
  67 #. Add a test for ``LineSearchMinimizer`` (Sameer Agarwal)
  68 #. Flatten the table of contents. (Sameer Agarwal)
  69 #. Fix when ``LineSearchMinimizer`` adds the ``IterationSummary``` to
  70    ``Solver::Summary`` (Sameer Agarwal)
  71 #. Fix search path for miniglog headers when Ceres is exported. (Alex
  72    Stewart)
  73 #. Fix ambiguous reference to ``WARNING`` when using miniglog. (Alex
  74    Stewart)
  75 #. Fix Jet/Eigen compatibility for Eigen > 3.3 (Julien Pilet)
  76 #. Add max severity option when ``MINIGLOG`` is enabled (Taylor
  77    Braun-Jones)
  78 #. Improvements to Schur template specializations (Sameer Agarwal)
  79 #. Added an article on derivatives (Sameer Agarwal)
  80 #. Require Eigen >= 3.3 to define ScalarBinaryOpTraits in Jet. (Alex
  81    Stewart)
  82 #. A hacky fix for the Eigen::FullPivLU changes. (Sameer Agarwal)
  83 #. Specify ``ScalarBinaryOpTraits`` for Jet types. (Chris Sweeney)
  84 #. Remove spurious conversion from doubles to Jets. (Sameer Agarwal)
  85 #. Fix an error in the tutorial code for ``NumericDiffCostFunction``
  86    (Sameer Agarwal)
  87 #. ``CERES_EXPORT`` fix to compile Ceres as DLL (Je Hyeong Hong)
  88 #. Fix detection of deprecated Bessel function names on MSVC. (Alex
  89    Stewart)
  90 #. Ensure that partial evaluation of residuals triggers an error
  91    (Sameer Agarwal)
  92 #. Fix detection of CMake-built glog on Windows. (Alex Stewart)
  93 #. Add additional search paths for glog & Eigen on Windows. (Alex
  94    Stewart)
  95 #. Various minor grammar and bug fixes to the documentation (Sameer
  96    Agarwal, Alex Stewart, William Rucklidge)
  97
  98
  99 1.12.0
 100 ======
 101
 102 New Features
 103 ------------
 104 #. Aligned ``Jet`` matrices for improved automatic differentiation
 105    performance. (Andrew Hunter)
 106 #. Auto-differentiable implementations of Bessel functions, ``floor``,
 107    and ``ceil`` (Alessandro Gentilini & Michael Vitus)
 108 #. New 2D and 3D SLAM examples. (Michael Vitus)
 109 #. Added ``EigenQuaternionParameterization``. (Michael Vitus)
 110 #. Added ``Problem::IsParameterBlockConstant`` (Thomas Schneider)
 111 #. A complete refactoring of ``TrustRegionMinimizer``. (Sameer Agarwal)
 112 #. Gradient checking cleanup and local parameterization bugfix (David
 113    Gossow)
 114
 115
 116 Backward Incompatible API Changes
 117 ---------------------------------
 118 #. ``Solver::Options::numeric_derivative_relative_step_size`` has been
 119    renamed to
 120    ``Solver::Options::gradient_check_numeric_derivative_relative_step_size``. (Sameer
 121    Agarwal)
 122
 123 Bug Fixes & Minor Changes
 124 -------------------------
 125 #. Clear XXX_FOUND in Find<XXX>.cmake prior to searching. (Alex
 126    Stewart)
 127 #. Fix versioning in the documentation (Sameer Agarwal)
 128 #. Fix missing gflags imported target definition in
 129    CeresConfig.cmake. (Alex Stewart)
 130 #. Make gflags a public dependency of Ceres if it and glog are
 131    found. (Alex Stewart)
 132 #. Add support for glog exported CMake target. (Alex Stewart)
 133 #. Use ``google::GLOG_WARNING`` instead of ``WARNING`` in tests to
 134    support MSVC. (Alex Stewart)
 135 #. Update gtest and gmock to
 136    ``a2b8a8e07628e5fd60644b6dd99c1b5e7d7f1f47`` (Sameer Agarwal)
 137 #. Add MSVC-specific ``#define`` to expose math constants in
 138    ``<cmath>``. (Alex Stewart)
 139 #. Fix typo. indepdendent -> independent (Hung Lun)
 140 #. Fix potential invalid reset of CMAKE_FIND_LIBRARY_PREFIXES on MSVC
 141    (Alex Stewart)
 142 #. Fix use of alignas(0) which is not ignored on GCC (Alex Stewart)
 143 #. Use default alignment if alignof(std::max_align_t) < 16 with C++11
 144    (Alex Stewart)
 145 #. Introduce a common base class for DynamicAutoDiffCostFunction and
 146    DynamicNumericDiffCostFunction. (Sameer Agarwal)
 147 #. Fix an exact equality test causing breakage in
 148    gradient_checker_test. (Sameer Agarwal)
 149 #. Add GradientProblemSolver::Options::parameter_tolerance. (Sameer
 150    Agarwal)
 151 #. Add missing T() wrappers for constants. (Rob Carroll)
 152 #. Remove two checks from rotation.h (Sameer Agarwal)
 153 #. Relax the tolerance in QuaternionParameterizationTestHelper. (Je
 154    Hyeong Hong)
 155 #. Occured -> Occurred. (Sameer Agarwal)
 156 #. Fix a test error in autodiff_test.cc. (Je Hyeong Hong)
 157 #. Fix documentation source for templated function in ``rotation.h``.
 158 #. Add ``package.xml`` to enable Catkin builds. (Damon Kohler)
 159 #. Relaxing Jacobian matching in Gradient Checker test. (David Gossow)
 160 #. Allow SubsetParameterization to hold all parameters constant
 161    (Sameer Agarwal)
 162 #. Fix an Intel compiler error in covariance_impl.cc (Je Hyeong Hong)
 163 #. Removing duplicate include directive. (David Gossow)
 164 #. Remove two DCHECKs from CubicHermiteSpline. (Sameer Agarwal)
 165 #. Fix some compiler warnings. (Richard Trieu)
 166 #. Update ExpectArraysClose to use ExpectClose instead of
 167    EXPECT_NEAR. (Phillip Hubner)
 168 #. FindWithDefault returns by value rather than reference. (@aradval)
 169 #. Fix compiler errors on some systems. (David Gossow)
 170 #. Note that Problem::Evaluate cannot be called from an
 171    IterationCallback. (Sameer Agarwal)
 172 #. Use ProductParameterization in bundle_adjuster.cc (Sameer Agarwal)
 173 #. Enable support for OpenMP in Clang if detected. (Alex Stewart)
 174 #. Remove duplicate entry for the NIST example in the docs. (Michael
 175    Vitus)
 176 #. Add additional logging for analyzing orderings (Sameer Agarwal)
 177 #. Add readme for the sampled_function example. (Michael Vitus)
 178 #. Use _j[0,1,n]() Bessel functions on MSVC to avoid deprecation
 179    errors. (Alex Stewart & Kichang Kim)
 180 #. Fix: Copy minimizer option ``is_silent`` to
 181    ``LineSearchDirection::Options`` (Nicolai Wojke)
 182 #. Fix typos in ``users.rst`` (Sameer Agarwal)
 183 #. Make some Jet comparisons exact. (Sameer Agarwal)
 184 #. Add colmap to users.rst (Sameer Agarwal)
 185 #. Fix step norm evaluation in LineSearchMinimizer (Sameer Agarwal)
 186 #. Remove use of -Werror when compiling Ceres. (Alex Stewart)
 187 #. Report Ceres compile options as components in find_package(). (Alex
 188    Stewart)
 189 #. Fix a spelling error in nnls_modeling.rst (Timer)
 190 #. Only use collapse() directive with OpenMP 3.0 or higher. (Keir
 191    Mierle)
 192 #. Fix install path for CeresConfig.cmake to be architecture-aware.
 193 #. Fix double conversion to degrees in rotation_test (Keir Mierle)
 194 #. Make Jet string output more readable (Keir Mierle)
 195 #. Fix rotation_test IsClose() and related tests (Keir Mierle)
 196 #. Loosen an exact equality in local_parameterization_test (Sameer
 197    Agarwal)
 198 #. make_docs: Pass the file encoding to open() (Niels Ole Salscheider)
 199 #. Fix error message returned when using SUITE_SPARSE_QR in covariance
 200    estimation on a ceres built without SuiteSparse support. (Simon
 201    Rutishauser)
 202 #. Fix CXX11 option to be available on MinGW & CygWin, but not
 203    MSVC. (Alex Stewart)
 204 #. Fix missing early return() in xxx_not_found() dependency
 205    macros. (Alex Stewart)
 206 #. Initialize ``inner_iterations_were_useful_`` correctly. (Sameer
 207    Agarwal)
 208 #. Add an implementation for GradientProblemSolver::Options::IsValid
 209    (Sameer Agarwal)
 210 #. Fix use of va_copy() if compiling with explicit C++ version <
 211    C++11. (Alex Stewart)
 212 #. Install CMake files to lib/cmake/Ceres (Niels Ole Salscheider)
 213 #. Allow users to override the documentation install directory. (Niels
 214    Ole Salscheider)
 215 #. Add covariance matrix for a vector of parameters (Wannes Van Loock)
 216 #. Saner tolerances & stricter LRE test. (Sameer Agarwal)
 217 #. Fix a malformed sentence in the tutorial. (Sameer Agarwal)
 218 #. Add logging for sparse Cholesky factorization using Eigen. (Sameer
 219    Agarwal)
 220 #. Use std::adjacent_find instead of std::unique. (Sameer Agarwal)
 221 #. Improve logging in CompressedRowJacobianWriter on crash. (Sameer
 222    Agarwal)
 223 #. Fix free parameter block handling in covariance computation (Wannes
 224    Van Loock)
 225 #. Report the number of line search steps in FullReport. (Sameer
 226    Agarwal)
 227 #. Make CMake read Ceres version directly from
 228    include/ceres/version.h. (Alex Stewart)
 229 #. Lots of code style/lint changes. (William Rucklidge)
 230 #. Fix covariance computation for constant blocks (Wannes Van Loock)
 231 #. Add IOS_DEPLOYMENT_TARGET variable to iOS.cmake (Eduard Feicho)
 232 #. Make miniglog threadsafe on non-windows system by using
 233    localtime_r() instead of localtime() for time formatting (Simon
 234    Rutishauser)
 235
 236 1.11.0
 237 ======
 238
 239 New Features
 240 ------------
 241 #. Adaptive numeric differentiation using Ridders' method. (Tal
 242    Ben-Nun)
 243 #. Add ``CubicInterpolator`` and ``BiCubicInterpolator`` to allow
 244    smooth interpolation of sampled functions and integration with
 245    automatic differentiation.
 246 #. Add method to return covariance in tangent space. (Michael Vitus &
 247    Steve Hsu)
 248 #. Add Homogeneous vector parameterization. (Michael Vitus)
 249 #. Add a ``ProductParameterization``, a local parameterization that
 250    can be constructed as a cartesian product of other local
 251    parameterization.
 252 #. Add DynamicCostFunctionToFunctor. (David Gossow)
 253 #. Optionally export Ceres build directory into local CMake package
 254    registry.
 255 #. Faster ``SPARSE_NORMAL_CHOLESKY`` in the presence of dynamic
 256    sparsity.
 257
 258 Bug Fixes & Minor Changes
 259 -------------------------
 260 #. Remove use of link-time optimisation (LTO) for all compilers due to
 261    portability issues with gtest / type_info::operator== & Eigen with
 262    Clang on OS X vs GCC 4.9+ on Linux requiring contradictory 'fixes'.
 263 #. Use link-time optimisation (LTO) only when compiling Ceres itself,
 264    not tests or examples, to bypass gtest / type_info::operator==
 265    issue.
 266 #. Use old minimum iOS version flags on Xcode < 7.0.
 267 #. Add gtest-specific flags when building/using as a shared library.
 268 #. Clean up iOS.cmake to use xcrun/xcodebuild & libtool.
 269 #. Import the latest version of ``googletest``.
 270 #. Refactored ``system_test`` into ``bundle_adjustment_test`` and
 271    ``system_test``, where each test case is its own test.
 272 #. Fix invalid memory access bug in
 273    ``CompressedRowSparseMatrix::AppendRows`` when it was called with a
 274    matrix of size zero.
 275 #. Build position independent code when compiling Ceres statically
 276    (Alexander Alekhin).
 277 #. Fix a bug in DetectStructure (Johannes Schonberger).
 278 #. Reduce memory footprint of SubsetParameterization (Johannes
 279    Schonberger).
 280 #. Fix for reorder program unit test when built without suitesparse
 281    (Sergey Sharybin).
 282 #. Fix a bug in the Schur eliminator (Werner Trobin).
 283 #. Fix a bug in the reordering code (Bernhard Zeisl).
 284 #. Add missing CERES_EXPORT to ComposedLoss (Simon Rutishauser).
 285 #. Add the option to use numeric differentiation to ``nist`` and
 286    ``more_garbow_hillstrom``.
 287 #. Fix EIGENSPARSE option help s/t it displays in CMake ncurses GUI.
 288 #. Fix SparseNormalCholeskySolver with dynamic sparsity (Richie
 289    Stebbing).
 290 #. Remove legacy dependency detection macros.
 291 #. Fix failed if() condition expansion if gflags is not found.
 292 #. Update all CMake to lowercase function name style.
 293 #. Update minimum iOS version to 7.0 for shared_ptr/unordered_map.
 294 #. Fix bug in gflags' <= 2.1.2 exported CMake configuration.
 295 #. Remove the spec file needed for generating RPMs.
 296 #. Fix a typo in small_blas.h (Werber Trobin).
 297 #. Cleanup FindGflags & use installed gflags CMake config if present.
 298 #. Add default glog install location on Windows to search paths
 299    (bvanevery).
 300 #. Add default Eigen install location on Windows to search paths
 301    (bvanevery).
 302 #. Fix explanation of config.h generation in bare config.h.
 303 #. Fix unused parameter compiler warnings in numeric_diff.h.
 304 #. Increase tolerance for a test in polynomial_test (Taylor Braun
 305    Jones).
 306 #. Fix addition of Gerrit commit hook when Ceres is a git submodule
 307    (Chris Cooper).
 308 #. Fix missing EIGEN_VERSION expansion typo.
 309 #. Fix links to SuiteSparse & CXSparse (Henrique Mendonça).
 310 #. Ensure Eigen is at least 3.1.0 for Eigen/SparseCore.
 311 #. Add option to use C++11 (not TR1) shared_ptr & unordered_map
 312    (Norman Goldstein).
 313 #. Fix an incorrect usage message in bundle_adjuster.cc
 314 #. Gracefully disable docs if Sphinx is not found.
 315 #. Explicitly use (new) default OS X rpath policy if present.
 316 #. Add support of EIGEN_SPARSE type in
 317    IsSparseLinearAlgebraLibraryTypeAvailable function (Pierre Moulon).
 318 #. Allow the LossFunction contained in a LossFunctionWrapper to be
 319    NULL. This is consistent with how NULL LossFunctions are treated
 320    everywhere else. (Simon Rutishauser).
 321 #. Improve numeric differentation near zero.
 322 #. Refactored DynamicNumericDiffCostFunction to use NumericDiff (Tal
 323    Ben-Nun).
 324 #. Remove use of :caption tag in Sphinx.
 325 #. Add a small test to make sure GradientProblemSolver works correctly
 326    (Petter Strandmark).
 327 #. Add simple unit tests for GradientProblem (Petter Strandmark).
 328 #. Make the robust curve fitting example robust.
 329 #. Homogenize convergence operators in docs and code (Johannes
 330    Schonberger).
 331 #. Add parameter_tolerance convergence to line search minimizer
 332    (Johannes Schonberger).
 333 #. Fix bug where pow(JetA,JetB) returned wrong result for JetA==0
 334    (Russell Smith).
 335 #. Remove duplicate step norm computation (Johannes Schonberger).
 336 #. Enhance usability when encountering Eigen version mismatches
 337    (Andrew Hundt).
 338 #. Add PLY file logger before and after BA in order to ease visual
 339    comparison (Pierre Moulon).
 340 #. Fix CMake config file docs to include 2.8.x & 3.x styles.
 341 #. Python3 fixes (Markus Moll).
 342 #. Remove confusing code from DenseJacobianWriter (Michael Vitus).
 343 #. Add documentation on CMake package installation process.
 344 #. Revert a call to SolveUpperTriangularUsingCholesky.
 345 #. Make CERES_EIGEN_VERSION macro independent of CMake.
 346 #. Add versions of dependencies used to FullReport().
 347 #. Ensure local config.h is used if Ceres is already installed.
 348 #. Small messaging and comment updates in CMake
 349 #. Handle possible presence of library prefixes in MSVC (Sylvain
 350    Duchêne).
 351 #. Use -O2 not -O3 on MinGW to workaround issue with Eigen
 352    (s1m3mu3@gmail.com).
 353 #. Increase tolerance in small_blas test for Cygwin
 354    (s1m3mu3@gmail.com).
 355 #. Fix iOS cmake file for cmake 3.0 (Jack Feng)
 356 #. Fix missing gflags shlwapi dependency on MinGW (s1m3mu3@gmail.com).
 357 #. Add thread dependency & fix namespace detection on Windows for
 358    gflags (arrigo.benedetti@gmail.com).
 359 #. Rename macros in the public API to have a ``CERES_`` prefix.
 360 #. Fix ``OrderedGroup::Reverse()`` when it is empty (Chris Sweeney).
 361 #. Update the code to point to ceres-solver.org.
 362 #. Update documentation to point to the GitHub issue tracker.
 363 #. Disable ``LAPACK`` for iOS builds. (Greg Coombe)
 364 #. Force use of single-thread in ``Problem::Evaluate()`` without
 365    OpenMP.
 366 #. Less strict check for multithreading. (Chris Sweeney)
 367 #. Update tolerances in small_blas_test.cc (Philipp Hubner)
 368 #. Documentation corrections (Steve Hsu)
 369 #. Fixed ``sampled_function.cc`` (Pablo Speciale)
 370 #. Fix example code in the documentation. (Rodney Hoskinson)
 371 #. Improve the error handling in Conjugate Gradients.
 372 #. Improve preconditioner documentation.
 373 #. Remove dead code from fpclassify.h.
 374 #. Make Android.mk threads sensitive.
 375 #. Changed the ``CURRENT_CONFIG_INSTALL_DIR`` to be a variable local
 376    to Ceres. (Chris Sweeney)
 377 #. Fix typo in the comments in ``Jet.h``. (Julius Ziegler)
 378 #. Add the ASL at ETH Zurich, Theia & OpenPTrack to the list of users.
 379 #. Fixed a typo in the documentation. (Richard Stebbing)
 380 #. Fixed a boundary handling bug in the BiCubic interpolation
 381    code. (Bernhard Zeisl)
 382 #. Fixed a ``MSVC`` compilation bug in the cubic interpolation code
 383    (Johannes Schönberger)
 384 #. Add covariance related files to the Android build.
 385 #. Update Ubuntu 14.04 installation instructions. (Filippo Basso)
 386 #. Improved logging for linear solver failures.
 387 #. Improved crash messages in ``Problem``.
 388 #. Hide Homebrew related variables in CMake GUI.
 389 #. Add SuiteSparse link dependency for
 390    compressed_col_sparse_matrix_utils_test.
 391 #. Autodetect Homebrew install prefix on OSX.
 392 #. Lint changes from William Rucklidge and Jim Roseborough.
 393 #. Remove ``using namespace std:`` from ``port.h``
 394 #. Add note about glog not currently compiling against gflags 2.1.
 395 #. Add explicit no sparse linear algebra library available option.
 396 #. Improve some wording in the FAQ. (Vasily Vylkov)
 397 #. Delete Incomplete LQ Factorization.
 398 #. Add a pointer to MacPorts. (Markus Moll)
 399
 400
 401 1.10.0
 402 ======
 403
 404 New Features
 405 ------------
 406 #. Ceres Solver can now be used to solve general unconstrained
 407    optimization problems. See the documentation for
 408    ``GradientProblem`` and ``GradientProblemSolver``.
 409 #. ``Eigen`` can now be as a sparse linear algebra backend. This can
 410    be done by setting
 411    ``Solver::Options::sparse_linear_algebra_library_type`` to
 412    ``EIGEN_SPARSE``. Performance should be comparable to
 413    ``CX_SPARSE``.
 414
 415    .. NOTE::
 416
 417       Because ``Eigen`` is a header only library, and some of the code
 418       related to sparse Cholesky factorization is LGPL, building Ceres
 419       with support for Eigen's sparse linear algebra is disabled by
 420       default and should be enabled explicitly.
 421
 422    .. NOTE::
 423
 424       For good performance, use Eigen version 3.2.2 or later.
 425
 426 #. Added ``EIGEN_SPARSE_QR`` algorithm for covariance estimation using
 427    ``Eigen``'s sparse QR factorization. (Michael Vitus)
 428 #. Faster inner iterations when using multiple threads.
 429 #. Faster ``ITERATIVE_SCHUR`` + ``SCHUR_JACOBI`` for small to medium
 430    sized problems (see documentation for
 431    ``Solver::Options::use_explicit_schur_complement``).
 432 #. Faster automatic Schur ordering.
 433 #. Reduced memory usage when solving problems with dynamic sparsity.
 434 #. ``CostFunctionToFunctor`` now supports dynamic number of residuals.
 435 #. A complete re-write of the problem preprocessing phase.
 436 #. ``Solver::Summary::FullReport`` now reports the build configuration
 437    for Ceres.
 438 #. When building on Android, the ``NDK`` version detection logic has
 439    been improved.
 440 #. The ``CERES_VERSION`` macro has been improved and replaced with the
 441    ``CERES_VERSION_STRING`` macro.
 442 #. Added ``Solver::Options::IsValid`` which allows users to validate
 443    their solver configuration before calling ``Solve``.
 444 #. Added ``Problem::GetCostFunctionForResidualBlock`` and
 445    ``Problem::GetLossFunctionForResidualBlock``.
 446 #. Added Tukey's loss function. (Michael Vitus)
 447 #. Added RotationMatrixToQuaternion
 448 #. Compute & report timing information for line searches.
 449 #. Autodetect gflags namespace.
 450 #. Expanded ``more_garbow_hillstrom.cc``.
 451 #. Added a pointer to Tal Ben-Nun's MSVC wrapper to the docs.
 452 #. Added the ``<2,3,6>`` Schur template specialization. (Alessandro
 453    Dal Grande)
 454
 455 Backward Incompatible API Changes
 456 ---------------------------------
 457 #. ``NumericDiffFunctor`` has been removed. It's API was broken, and
 458    the implementation was an unnecessary layer of abstraction over
 459    ``CostFunctionToFunctor``.
 460 #. ``POLAK_RIBIRERE`` conjugate gradients direction type has been
 461    renamed to ``POLAK_RIBIERE``.
 462 #. ``Solver::Options::solver_log`` has been removed. If needed this
 463    iteration callback can easily be implemented in user code.
 464 #. The ``SPARSE_CHOLESKY`` algorithm for covariance estimation has
 465    been removed. It is not rank revealing and numerically poorly
 466    behaved. Sparse QR factorization is a much better way to do this.
 467 #. The ``SPARSE_QR`` algorithm for covariance estimation has been
 468    renamed to ``SUITE_SPARSE_QR`` to be consistent with
 469    ``EIGEN_SPARSE_QR``.
 470 #. ``Solver::Summary::preconditioner_type`` has been replaced with
 471    ``Solver::Summary::preconditioner_type_given`` and
 472    ``Solver::Summary::preconditioner_type_used`` to be more consistent
 473    with how information about the linear solver is communicated.
 474 #. ``CERES_VERSION`` and ``CERES_ABI_VERSION`` macros were not
 475    terribly useful. They have been replaced with
 476    ``CERES_VERSION_MAJOR``, ``CERES_VERSION_MINOR`` ,
 477    ``CERES_VERSION_REVISION`` and ``CERES_VERSION_ABI`` macros. In
 478    particular the functionality of ``CERES_VERSION`` is provided by
 479    ``CERES_VERSION_STRING`` macro.
 480
 481 Bug Fixes
 482 ---------
 483 #. Do not try the gradient step if TR step line search fails.
 484 #. Fix missing include in libmv_bundle_adjuster on OSX.
 485 #. Conditionally log evaluation failure warnings.
 486 #. Runtime uses four digits after the decimal in Summary:FullReport.
 487 #. Better options checking for TrustRegionMinimizer.
 488 #. Fix RotationMatrixToAngleAxis when the angle of rotation is near
 489    PI. (Tobias Strauss)
 490 #. Sometimes gradient norm based convergence would miss a step with a
 491    substantial solution quality improvement. (Rodney Hoskinson)
 492 #. Ignore warnings from within Eigen/SparseQR (3.2.2).
 493 #. Fix empty Cache HELPSTRING parsing error on OS X 10.10 Yosemite.
 494 #. Fix a formatting error TrustRegionMinimizer logging.
 495 #. Add an explicit include for local_parameterization.h (cooordz)
 496 #. Fix a number of typos in the documentation (Martin Baeuml)
 497 #. Made the logging in TrustRegionMinimizer consistent with
 498    LineSearchMinimizer.
 499 #. Fix some obsolete documentation in CostFunction::Evaluate.
 500 #. Fix CG solver options for ITERATIVE_SCHUR, which did not copy
 501    min_num_iterations (Johannes Schönberger)
 502 #. Remove obsolete include of numeric_diff_functor.h. (Martin Baeuml)
 503 #. Fix max. linear solver iterations in ConjugateGradientsSolver
 504    (Johannes Schönberger)
 505 #. Expand check for lack of a sparse linear algebra library. (Michael
 506    Samples and Domink Reitzle)
 507 #. Fix Eigen Row/ColMajor bug in NumericDiffCostFunction. (Dominik
 508    Reitzle)
 509 #. Fix crash in Covariance if # threads > 1 requested without OpenMP.
 510 #. Fixed Malformed regex. (Björn Piltz)
 511 #. Fixed MSVC error C2124: divide or mod by zero. (Björn Piltz)
 512 #. Add missing #include of <limits> for loss functions.
 513 #. Make canned loss functions more robust.
 514 #. Fix type of suppressed compiler warning for Eigen 3.2.0.
 515 #. Suppress unused variable warning from Eigen 3.2.0.
 516 #. Add "make install" to the install instructions.
 517 #. Correct formula in documentation of
 518    Solver::Options::function_tolerance. (Alessandro Gentilini)
 519 #. Add release flags to iOS toolchain.
 520 #. Fix a broken hyperlink in the documentation. (Henrique Mendonca)
 521 #. Add fixes for multiple definitions of ERROR on Windows to docs.
 522 #. Compile miniglog into Ceres if enabled on all platforms.
 523 #. Add two missing files to Android.mk (Greg Coombe)
 524 #. Fix Cmake error when using miniglog. (Greg Coombe)
 525 #. Don't build miniglog unconditionally as a static library (Björn
 526    Piltz)
 527 #. Added a missing include. (Björn Piltz)
 528 #. Conditionally disable SparseNormalCholesky.
 529 #. Fix a memory leak in program_test.cc.
 530
 531
 532 1.9.0
 533 =====
 534
 535 New Features
 536 ------------
 537 #. Bounds constraints: Support for upper and/or lower bounds on
 538    parameters when using the trust region minimizer.
 539 #. Dynamic Sparsity: Problems in which the sparsity structure of the
 540    Jacobian changes over the course of the optimization can now be
 541    solved much more efficiently. (Richard Stebbing)
 542 #. Improved support for Microsoft Visual C++ including the ability to
 543    build and ship DLLs. (Björn Piltz, Alex Stewart and Sergey
 544    Sharybin)
 545 #. Support for building on iOS 6.0 or higher (Jack Feng).
 546 #. Autogeneration of config.h that captures all the defines used to
 547    build and use Ceres Solver.
 548 #. Simpler and more informative solver termination type
 549    reporting. (See below for more details)
 550 #. New `website <http://www.ceres-solver.org>`_ based entirely on
 551    Sphinx.
 552 #. ``AutoDiffLocalParameterization`` allows the use of automatic
 553    differentiation for defining ``LocalParameterization`` objects
 554    (Alex Stewart)
 555 #. LBFGS is faster due to fewer memory copies.
 556 #. Parameter blocks are not restricted to be less than 32k in size,
 557    they can be up to 2G in size.
 558 #. Faster ``SPARSE_NORMAL_CHOLESKY`` solver when using ``CX_SPARSE``
 559    as the sparse linear algebra library.
 560 #. Added ``Problem::IsParameterBlockPresent`` and
 561    ``Problem::GetParameterization``.
 562 #. Added the (2,4,9) and (2,4,8) template specializations.
 563 #. An example demonstrating the use of
 564    DynamicAutoDiffCostFunction. (Joydeep Biswas)
 565 #. Homography estimation example from Blender demonstrating the use of
 566    a custom ``IterationCallback``. (Sergey Sharybin)
 567 #. Support user passing a custom CMAKE_MODULE_PATH (for BLAS /
 568    LAPACK).
 569
 570 Backward Incompatible API Changes
 571 ---------------------------------
 572 #. ``Solver::Options::linear_solver_ordering`` used to be a naked
 573    pointer that Ceres took ownership of. This is error prone behaviour
 574    which leads to problems when copying the ``Solver::Options`` struct
 575    around. This has been replaced with a ``shared_ptr`` to handle
 576    ownership correctly across copies.
 577
 578 #. The enum used for reporting the termination/convergence status of
 579    the solver has been renamed from ``SolverTerminationType`` to
 580    ``TerminationType``.
 581
 582    The enum values have also changed. ``FUNCTION_TOLERANCE``,
 583    ``GRADIENT_TOLERANCE`` and ``PARAMETER_TOLERANCE`` have all been
 584    replaced by ``CONVERGENCE``.
 585
 586    ``NUMERICAL_FAILURE`` has been replaed by ``FAILURE``.
 587
 588    ``USER_ABORT`` has been renamed to ``USER_FAILURE``.
 589
 590    Further ``Solver::Summary::error`` has been renamed to
 591    ``Solver::Summary::message``. It contains a more detailed
 592    explanation for why the solver terminated.
 593
 594 #. ``Solver::Options::gradient_tolerance`` used to be a relative
 595    gradient tolerance. i.e., The solver converged when
 596
 597    .. math:: \|g(x)\|_\infty < \text{gradient_tolerance} *
 598       \|g(x_0)\|_\infty
 599
 600    where :math:`g(x)` is the gradient of the objective function at
 601    :math:`x` and :math:`x_0` is the parmeter vector at the start of
 602    the optimization.
 603
 604    This has changed to an absolute tolerance, i.e. the solver
 605    converges when
 606
 607    .. math:: \|g(x)\|_\infty < \text{gradient_tolerance}
 608
 609 #. Ceres cannot be built without the line search minimizer
 610    anymore. Thus the preprocessor define
 611    ``CERES_NO_LINE_SEARCH_MINIMIZER`` has been removed.
 612
 613 Bug Fixes
 614 ---------
 615 #. Disabled warning C4251. (Björn Piltz)
 616 #. Do not propagate 3d party libs through
 617    `IMPORTED_LINK_INTERFACE_LIBRARIES_[DEBUG/RELEASE]` mechanism when
 618    building shared libraries. (Björn Piltz)
 619 #. Fixed errant verbose levels (Björn Piltz)
 620 #. Variety of code cleanups, optimizations and bug fixes to the line
 621    search minimizer code (Alex Stewart)
 622 #. Fixed ``BlockSparseMatrix::Transpose`` when the matrix has row and
 623    column blocks. (Richard Bowen)
 624 #. Better error checking when ``Problem::RemoveResidualBlock`` is
 625    called. (Alex Stewart)
 626 #. Fixed a memory leak in ``SchurComplementSolver``.
 627 #. Added ``epsilon()`` method to ``NumTraits<ceres::Jet<T, N>
 628    >``. (Filippo Basso)
 629 #. Fixed a bug in `CompressedRowSparseMatrix::AppendRows`` and
 630    ``DeleteRows``.q
 631 #. Handle empty problems consistently.
 632 #. Restore the state of the ``Problem`` after a call to
 633    ``Problem::Evaluate``. (Stefan Leutenegger)
 634 #. Better error checking and reporting for linear solvers.
 635 #. Use explicit formula to solve quadratic polynomials instead of the
 636    eigenvalue solver.
 637 #. Fix constant parameter handling in inner iterations (Mikael
 638    Persson).
 639 #. SuiteSparse errors do not cause a fatal crash anymore.
 640 #. Fix ``corrector_test.cc``.
 641 #. Relax the requirements on loss function derivatives.
 642 #. Minor bugfix to logging.h (Scott Ettinger)
 643 #. Updated ``gmock`` and ``gtest`` to the latest upstream version.
 644 #. Fix build breakage on old versions of SuiteSparse.
 645 #. Fixed build issues related to Clang / LLVM 3.4 (Johannes
 646    Schönberger)
 647 #. METIS_FOUND is never set. Changed the commit to fit the setting of
 648    the other #._FOUND definitions. (Andreas Franek)
 649 #. Variety of bug fixes and cleanups to the ``CMake`` build system
 650    (Alex Stewart)
 651 #. Removed fictious shared library target from the NDK build.
 652 #. Solver::Options now uses ``shared_ptr`` to handle ownership of
 653    ``Solver::Options::linear_solver_ordering`` and
 654    ``Solver::Options::inner_iteration_ordering``. As a consequence the
 655    ``NDK`` build now depends on ``libc++`` from the ``LLVM`` project.
 656 #. Variety of lint cleanups (William Rucklidge & Jim Roseborough)
 657 #. Various internal cleanups including dead code removal.
 658
 659
 660 1.8.0
 661 =====
 662
 663 New Features
 664 ------------
 665 #. Significant improved ``CMake`` files with better robustness,
 666    dependency checking and GUI support. (Alex Stewart)
 667 #. Added ``DynamicNumericDiffCostFunction`` for numerically
 668    differentiated cost functions whose sizing is determined at run
 669    time.
 670 #. ``NumericDiffCostFunction`` now supports a dynamic number of
 671    residuals just like ``AutoDiffCostFunction``.
 672 #. ``Problem`` exposes more of its structure in its API.
 673 #. Faster automatic differentiation (Tim Langlois)
 674 #. Added the commonly occuring ``2_d_d`` template specialization for
 675    the Schur Eliminator.
 676 #. Faster ``ITERATIVE_SCHUR`` solver using template specializations.
 677 #. Faster ``SCHUR_JACOBI`` preconditioner construction.
 678 #. Faster ``AngleAxisRotatePoint``.
 679 #. Faster Jacobian evaluation when a loss function is used.
 680 #. Added support for multiple clustering algorithms in visibility
 681    based preconditioning, including a new fast single linkage
 682    clustering algorithm.
 683
 684 Bug Fixes
 685 ---------
 686 #. Fix ordering of ParseCommandLineFlags() & InitGoogleTest() for
 687    Windows. (Alex Stewart)
 688 #. Remove DCHECK_GE checks from fixed_array.h.
 689 #. Fix build on MSVC 2013 (Petter Strandmark)
 690 #. Fixed ``AngleAxisToRotationMatrix`` near zero.
 691 #. Move ``CERES_HASH_NAMESPACE`` macros to ``collections_port.h``.
 692 #. Fix handling of unordered_map/unordered_set on OSX 10.9.0.
 693 #. Explicitly link to libm for ``curve_fitting_c.c``. (Alex Stewart)
 694 #. Minor type conversion fix to autodiff.h
 695 #. Remove RuntimeNumericDiffCostFunction.
 696 #. Fix operator= ambiguity on some versions of Clang. (Alex Stewart)
 697 #. Various Lint cleanups (William Rucklidge & Jim Roseborough)
 698 #. Modified installation folders for Windows. (Pablo Speciale)
 699 #. Added librt to link libraries for SuiteSparse_config on
 700    Linux. (Alex Stewart)
 701 #. Check for presence of return-type-c-linkage option with
 702    Clang. (Alex Stewart)
 703 #. Fix Problem::RemoveParameterBlock after calling solve. (Simon
 704    Lynen)
 705 #. Fix a free/delete bug in covariance_impl.cc
 706 #. Fix two build errors. (Dustin Lang)
 707 #. Add RequireInitialization = 1 to NumTraits::Jet.
 708 #. Update gmock/gtest to 1.7.0
 709 #. Added IterationSummary::gradient_norm.
 710 #. Reduced verbosity of the inner iteration minimizer.
 711 #. Fixed a bug in TrustRegionMinimizer. (Michael Vitus)
 712 #. Removed android/build_android.sh.
 713
 714
 715 1.7.0
 716 =====
 717
 718 Backward Incompatible API Changes
 719 ---------------------------------
 720
 721 #. ``Solver::Options::sparse_linear_algebra_library`` has been renamed
 722    to ``Solver::Options::sparse_linear_algebra_library_type``.
 723
 724 New Features
 725 ------------
 726 #. Sparse and dense covariance estimation.
 727 #. A new Wolfe line search. (Alex Stewart)
 728 #. ``BFGS`` line search direction. (Alex Stewart)
 729 #. C API
 730 #. Speeded up the use of loss functions > 17x.
 731 #. Faster ``DENSE_QR``, ``DENSE_NORMAL_CHOLESKY`` and ``DENSE_SCHUR``
 732    solvers.
 733 #. Support for multiple dense linear algebra backends. In particular
 734    optimized ``BLAS`` and ``LAPACK`` implementations (e.g., Intel MKL,
 735    ACML, OpenBLAS etc) can now be used to do the dense linear algebra
 736    for ``DENSE_QR``, ``DENSE_NORMAL_CHOLESKY`` and ``DENSE_SCHUR``
 737 #. Use of Inner iterations can now be adaptively stopped. Iteration
 738    and runtime statistics for inner iterations are not reported in
 739    ``Solver::Summary`` and ``Solver::Summary::FullReport``.
 740 #. Improved inner iteration step acceptance criterion.
 741 #. Add BlockRandomAccessCRSMatrix.
 742 #. Speeded up automatic differentiation by 7\%.
 743 #. Bundle adjustment example from libmv/Blender (Sergey Sharybin)
 744 #. Shared library building is now controlled by CMake, rather than a
 745    custom solution. Previously, Ceres had a custom option, but this is
 746    now deprecated in favor of CMake's built in support for switching
 747    between static and shared. Turn on BUILD_SHARED_LIBS to get shared
 748    Ceres libraries.
 749 #. No more dependence on Protocol Buffers.
 750 #. Incomplete LQ factorization.
 751 #. Ability to write trust region problems to disk.
 752 #. Add sinh, cosh, tanh and tan functions to automatic differentiation
 753    (Johannes Schönberger)
 754 #. Simplifications to the cmake build file.
 755 #. ``miniglog`` can now be used as a replacement for ``google-glog``
 756    on non Android platforms. (This is NOT recommended).
 757
 758 Bug Fixes
 759 ---------
 760 #. Fix ``ITERATIVE_SCHUR`` solver to work correctly when the schur
 761    complement is of size zero. (Soohyun Bae)
 762 #. Fix the ``spec`` file for generating ``RPM`` packages (Brian Pitts
 763    and Taylor Braun-Jones).
 764 #. Fix how ceres calls CAMD (Manas Jagadev)
 765 #. Fix breakage on old versions of SuiteSparse. (Fisher Yu)
 766 #. Fix warning C4373 in Visual Studio (Petter Strandmark)
 767 #. Fix compilation error caused by missing suitesparse headers and
 768    reorganize them to be more robust. (Sergey Sharybin)
 769 #. Check GCC Version before adding -fast compiler option on
 770    OSX. (Steven Lovegrove)
 771 #. Add documentation for minimizer progress output.
 772 #. Lint and other cleanups (William Rucklidge and James Roseborough)
 773 #. Collections port fix for MSC 2008 (Sergey Sharybin)
 774 #. Various corrections and cleanups in the documentation.
 775 #. Change the path where CeresConfig.cmake is installed (Pablo
 776    Speciale)
 777 #. Minor errors in documentation (Pablo Speciale)
 778 #. Updated depend.cmake to follow CMake IF convention. (Joydeep
 779    Biswas)
 780 #. Stablize the schur ordering algorithm.
 781 #. Update license header in split.h.
 782 #. Enabling -O4 (link-time optimization) only if compiler/linker
 783    support it. (Alex Stewart)
 784 #. Consistent glog path across files.
 785 #. ceres-solver.spec: Use cleaner, more conventional Release string
 786    (Taylor Braun-Jones)
 787 #. Fix compile bug on RHEL6 due to missing header (Taylor Braun-Jones)
 788 #. CMake file is less verbose.
 789 #. Use the latest upstream version of google-test and gmock.
 790 #. Rationalize some of the variable names in ``Solver::Options``.
 791 #. Improve Summary::FullReport when line search is used.
 792 #. Expose line search parameters in ``Solver::Options``.
 793 #. Fix update of L-BFGS history buffers after they become full. (Alex
 794    Stewart)
 795 #. Fix configuration error on systems without SuiteSparse installed
 796    (Sergey Sharybin)
 797 #. Enforce the read call returns correct value in
 798    ``curve_fitting_c.c`` (Arnaud Gelas)
 799 #. Fix DynamicAutoDiffCostFunction (Richard Stebbing)
 800 #. Fix Problem::RemoveParameterBlock documentation (Johannes
 801    Schönberger)
 802 #. Fix a logging bug in parameter_block.h
 803 #. Refactor the preconditioner class structure.
 804 #. Fix an uninitialized variable warning when building with ``GCC``.
 805 #. Fix a reallocation bug in
 806    ``CreateJacobianBlockSparsityTranspose``. (Yuliy Schwartzburg)
 807 #. Add a define for O_BINARY.
 808 #. Fix miniglog-based Android NDK build; now works with NDK r9. (Scott
 809    Ettinger)
 810
 811
 812 1.6.0
 813 =====
 814
 815 New Features
 816 ------------
 817 #. Major Performance improvements.
 818
 819    a. Schur type solvers (``SPARSE_SCHUR``, ``DENSE_SCHUR``,
 820       ``ITERATIVE_SCHUR``) are significantly faster due to custom BLAS
 821       routines and fewer heap allocations.
 822
 823    b. ``SPARSE_SCHUR`` when used with ``CX_SPARSE`` now uses a block
 824       AMD for much improved factorization performance.
 825
 826    c. The jacobian matrix is pre-ordered so that
 827       ``SPARSE_NORMAL_CHOLESKY`` and ``SPARSE_SCHUR`` do not have to
 828       make copies inside ``CHOLMOD``.
 829
 830    d. Faster autodiff by replacing division by multplication by inverse.
 831
 832    e. When compiled without threads, the schur eliminator does not pay
 833       the penalty for locking and unlocking mutexes.
 834
 835 #. Users can now use ``linear_solver_ordering`` to affect the
 836    fill-reducing ordering used by ``SUITE_SPARSE`` for
 837    ``SPARSE_NORMAL_CHOLESKY``.
 838 #. ``Problem`` can now report the set of parameter blocks it knows about.
 839 #. ``TrustRegionMinimizer`` uses the evaluator to compute the gradient
 840    instead of a matrix vector multiply.
 841 #. On ``Mac OS``, whole program optimization is enabled.
 842 #. Users can now use automatic differentiation to define new
 843    ``LocalParameterization`` objects. (Sergey Sharybin)
 844 #. Enable larger tuple sizes for Visual Studio 2012. (Petter Strandmark)
 845
 846
 847 Bug Fixes
 848 ---------
 849
 850 #. Update the documentation for ``CostFunction``.
 851 #. Fixed a typo in the documentation. (Pablo Speciale)
 852 #. Fix a typo in suitesparse.cc.
 853 #. Bugfix in ``NumericDiffCostFunction``. (Nicolas Brodu)
 854 #. Death to BlockSparseMatrixBase.
 855 #. Change Minimizer::Options::min_trust_region_radius to double.
 856 #. Update to compile with stricter gcc checks. (Joydeep Biswas)
 857 #. Do not modify cached CMAKE_CXX_FLAGS_RELEASE. (Sergey Sharybin)
 858 #. ``<iterator>`` needed for back_insert_iterator. (Petter Strandmark)
 859 #. Lint cleanup. (William Rucklidge)
 860 #. Documentation corrections. (Pablo Speciale)
 861
 862
 863 1.5.0
 864 =====
 865
 866 Backward Incompatible API Changes
 867 ---------------------------------
 868 #. Added ``Problem::Evaluate``. Now you can evaluate a problem or any
 869    part of it without calling the solver.
 870
 871    In light of this the following settings have been deprecated and
 872    removed from the API.
 873
 874    - ``Solver::Options::return_initial_residuals``
 875    - ``Solver::Options::return_initial_gradient``
 876    - ``Solver::Options::return_initial_jacobian``
 877    - ``Solver::Options::return_final_residuals``
 878    - ``Solver::Options::return_final_gradient``
 879    - ``Solver::Options::return_final_jacobian``
 880
 881    Instead we recommend using something like this.
 882
 883    .. code-block:: c++
 884
 885      Problem problem;
 886      // Build problem
 887
 888      vector<double> initial_residuals;
 889      problem.Evaluate(Problem::EvaluateOptions(),
 890                       NULL, /* No cost */
 891                       &initial_residuals,
 892                       NULL, /* No gradient */
 893                       NULL  /* No jacobian */ );
 894
 895      Solver::Options options;
 896      Solver::Summary summary;
 897      Solver::Solve(options, &problem, &summary);
 898
 899      vector<double> final_residuals;
 900      problem.Evaluate(Problem::EvaluateOptions(),
 901                       NULL, /* No cost */
 902                       &final_residuals,
 903                       NULL, /* No gradient */
 904                       NULL  /* No jacobian */ );
 905
 906
 907 New Features
 908 ------------
 909 #. Problem now supports removal of ParameterBlocks and
 910    ResidualBlocks. There is a space/time tradeoff in doing this which
 911    is controlled by
 912    ``Problem::Options::enable_fast_parameter_block_removal``.
 913
 914 #. Ceres now supports Line search based optimization algorithms in
 915    addition to trust region algorithms. Currently there is support for
 916    gradient descent, non-linear conjugate gradient and LBFGS search
 917    directions.
 918 #. Added ``Problem::Evaluate``. Now you can evaluate a problem or any
 919    part of it without calling the solver. In light of this the
 920    following settings have been deprecated and removed from the API.
 921
 922    - ``Solver::Options::return_initial_residuals``
 923    - ``Solver::Options::return_initial_gradient``
 924    - ``Solver::Options::return_initial_jacobian``
 925    - ``Solver::Options::return_final_residuals``
 926    - ``Solver::Options::return_final_gradient``
 927    - ``Solver::Options::return_final_jacobian``
 928
 929 #. New, much improved HTML documentation using Sphinx.
 930 #. Changed ``NumericDiffCostFunction`` to take functors like
 931    ``AutoDiffCostFunction``.
 932 #. Added support for mixing automatic, analytic and numeric
 933    differentiation. This is done by adding ``CostFunctionToFunctor``
 934    and ``NumericDiffFunctor`` objects to the API.
 935 #. Sped up the robust loss function correction logic when residual is
 936    one dimensional.
 937 #. Sped up ``DenseQRSolver`` by changing the way dense jacobians are
 938    stored. This is a 200-500% improvement in linear solver performance
 939    depending on the size of the problem.
 940 #. ``DENSE_SCHUR`` now supports multi-threading.
 941 #. Greatly expanded ``Summary::FullReport``:
 942
 943    - Report the ordering used by the ``LinearSolver``.
 944    - Report the ordering used by the inner iterations.
 945    - Execution timing breakdown into evaluations and linear solves.
 946    - Effective size of the problem solved by the solver, which now
 947      accounts for the size of the tangent space when using a
 948      ``LocalParameterization``.
 949 #. Ceres when run at the ``VLOG`` level 3 or higher will report
 950    detailed timing information about its internals.
 951 #. Remove extraneous initial and final residual evaluations. This
 952    speeds up the solver a bit.
 953 #. Automatic differenatiation with a dynamic number of parameter
 954    blocks. (Based on an idea by Thad Hughes).
 955 #. Sped up problem construction and destruction.
 956 #. Added matrix adapters to ``rotation.h`` so that the rotation matrix
 957    routines can work with row and column major matrices. (Markus Moll)
 958 #. ``SCHUR_JACOBI`` can now be used without ``SuiteSparse``.
 959 #. A ``.spec`` file for producing RPMs. (Taylor Braun-Jones)
 960 #. ``CMake`` can now build the sphinx documentation (Pablo Speciale)
 961 #. Add support for creating a CMake config file during build to make
 962    embedding Ceres in other CMake-using projects easier. (Pablo
 963    Speciale).
 964 #. Better error reporting in ``Problem`` for missing parameter blocks.
 965 #. A more flexible ``Android.mk`` and a more modular build. If binary
 966    size and/or compile time is a concern, larger parts of the solver
 967    can be disabled at compile time.
 968
 969 Bug Fixes
 970 ---------
 971 #. Compilation fixes for MSVC2010 (Sergey Sharybin)
 972 #. Fixed "deprecated conversion from string constant to char*"
 973    warnings. (Pablo Speciale)
 974 #. Correctly propagate ifdefs when building without Schur eliminator
 975    template specializations.
 976 #. Correct handling of ``LIB_SUFFIX`` on Linux. (Yuliy Schwartzburg).
 977 #. Code and signature cleanup in ``rotation.h``.
 978 #. Make examples independent of internal code.
 979 #. Disable unused member in ``gtest`` which results in build error on
 980    OS X with latest Xcode. (Taylor Braun-Jones)
 981 #. Pass the correct flags to the linker when using
 982    ``pthreads``. (Taylor Braun-Jones)
 983 #. Only use ``cmake28`` macro when building on RHEL6. (Taylor
 984    Braun-Jones)
 985 #. Remove ``-Wno-return-type-c-linkage`` when compiling with
 986    GCC. (Taylor Braun-Jones)
 987 #. Fix ``No previous prototype`` warnings. (Sergey Sharybin)
 988 #. MinGW build fixes. (Sergey Sharybin)
 989 #. Lots of minor code and lint fixes. (William Rucklidge)
 990 #. Fixed a bug in ``solver_impl.cc`` residual evaluation. (Markus
 991    Moll)
 992 #. Fixed varidic evaluation bug in ``AutoDiff``.
 993 #. Fixed ``SolverImpl`` tests.
 994 #. Fixed a bug in ``DenseSparseMatrix::ToDenseMatrix()``.
 995 #. Fixed an initialization bug in ``ProgramEvaluator``.
 996 #. Fixes to Android.mk paths (Carlos Hernandez)
 997 #. Modify ``nist.cc`` to compute accuracy based on ground truth
 998    solution rather than the ground truth function value.
 999 #. Fixed a memory leak in ``cxsparse.cc``. (Alexander Mordvintsev).
1000 #. Fixed the install directory for libraries by correctly handling
1001    ``LIB_SUFFIX``. (Taylor Braun-Jones)
1002
1003 1.4.0
1004 =====
1005
1006 Backward Incompatible API Changes
1007 ---------------------------------
1008 The new ordering API breaks existing code. Here the common case fixes.
1009
1010 **Before**
1011
1012 .. code-block:: c++
1013
1014  options.linear_solver_type = ceres::DENSE_SCHUR
1015  options.ordering_type = ceres::SCHUR
1016
1017 **After**
1018
1019
1020 .. code-block:: c++
1021
1022   options.linear_solver_type = ceres::DENSE_SCHUR
1023
1024
1025 **Before**
1026
1027 .. code-block:: c++
1028
1029  options.linear_solver_type = ceres::DENSE_SCHUR;
1030  options.ordering_type = ceres::USER;
1031  for (int i = 0; i < num_points; ++i) {
1032    options.ordering.push_back(my_points[i])
1033  }
1034  for (int i = 0; i < num_cameras; ++i) {
1035    options.ordering.push_back(my_cameras[i])
1036  }
1037  options.num_eliminate_blocks = num_points;
1038
1039
1040 **After**
1041
1042 .. code-block:: c++
1043
1044  options.linear_solver_type = ceres::DENSE_SCHUR;
1045  options.ordering = new ceres::ParameterBlockOrdering;
1046  for (int i = 0; i < num_points; ++i) {
1047    options.linear_solver_ordering->AddElementToGroup(my_points[i], 0);
1048  }
1049  for (int i = 0; i < num_cameras; ++i) {
1050    options.linear_solver_ordering->AddElementToGroup(my_cameras[i], 1);
1051  }
1052
1053
1054 New Features
1055 ------------
1056 #. A new richer, more expressive and consistent API for ordering
1057    parameter blocks.
1058 #. A non-linear generalization of Ruhe & Wedin's Algorithm II. This
1059    allows the user to use variable projection on separable and
1060    non-separable non-linear least squares problems. With
1061    multithreading, this results in significant improvements to the
1062    convergence behavior of the solver at a small increase in run time.
1063 #. An image denoising example using fields of experts. (Petter
1064    Strandmark)
1065 #. Defines for Ceres version and ABI version.
1066 #. Higher precision timer code where available. (Petter Strandmark)
1067 #. Example Makefile for users of Ceres.
1068 #. IterationSummary now informs the user when the step is a
1069    non-monotonic step.
1070 #. Fewer memory allocations when using ``DenseQRSolver``.
1071 #. GradientChecker for testing CostFunctions (William Rucklidge)
1072 #. Add support for cost functions with 10 parameter blocks in
1073    ``Problem``. (Fisher)
1074 #. Add support for 10 parameter blocks in ``AutoDiffCostFunction``.
1075
1076
1077 Bug Fixes
1078 ---------
1079
1080 #. static cast to force Eigen::Index to long conversion
1081 #. Change LOG(ERROR) to LOG(WARNING) in ``schur_complement_solver.cc``.
1082 #. Remove verbose logging from ``DenseQRSolve``.
1083 #. Fix the Android NDK build.
1084 #. Better handling of empty and constant Problems.
1085 #. Remove an internal header that was leaking into the public API.
1086 #. Memory leak in ``trust_region_minimizer.cc``
1087 #. Schur ordering was operating on the wrong object (Ricardo Martin)
1088 #. MSVC fixes (Petter Strandmark)
1089 #. Various fixes to ``nist.cc`` (Markus Moll)
1090 #. Fixed a jacobian scaling bug.
1091 #. Numerically robust computation of ``model_cost_change``.
1092 #. Signed comparison compiler warning fixes (Ricardo Martin)
1093 #. Various compiler warning fixes all over.
1094 #. Inclusion guard fixes (Petter Strandmark)
1095 #. Segfault in test code (Sergey Popov)
1096 #. Replaced ``EXPECT/ASSERT_DEATH`` with the more portable
1097    ``EXPECT_DEATH_IF_SUPPORTED`` macros.
1098 #. Fixed the camera projection model in Ceres' implementation of
1099    Snavely's camera model. (Ricardo Martin)
1100
1101
1102 1.3.0
1103 =====
1104
1105 New Features
1106 ------------
1107 #. Android Port (Scott Ettinger also contributed to the port)
1108 #. Windows port. (Changchang Wu and Pierre Moulon also contributed to the port)
1109 #. New subspace Dogleg Solver. (Markus Moll)
1110 #. Trust region algorithm now supports the option of non-monotonic steps.
1111 #. New loss functions ``ArcTanLossFunction``, ``TolerantLossFunction``
1112    and ``ComposedLossFunction``. (James Roseborough).
1113 #. New ``DENSE_NORMAL_CHOLESKY`` linear solver, which uses Eigen's
1114    LDLT factorization on the normal equations.
1115 #. Cached symbolic factorization when using ``CXSparse``.
1116    (Petter Strandark)
1117 #. New example ``nist.cc`` and data from the NIST non-linear
1118    regression test suite. (Thanks to Douglas Bates for suggesting this.)
1119 #. The traditional Dogleg solver now uses an elliptical trust
1120    region (Markus Moll)
1121 #. Support for returning initial and final gradients & Jacobians.
1122 #. Gradient computation support in the evaluators, with an eye
1123    towards developing first order/gradient based solvers.
1124 #. A better way to compute ``Solver::Summary::fixed_cost``. (Markus Moll)
1125 #. ``CMake`` support for building documentation, separate examples,
1126    installing and uninstalling the library and Gerrit hooks (Arnaud
1127    Gelas)
1128 #. ``SuiteSparse4`` support (Markus Moll)
1129 #. Support for building Ceres without ``TR1`` (This leads to
1130    slightly slower ``DENSE_SCHUR`` and ``SPARSE_SCHUR`` solvers).
1131 #. ``BALProblem`` can now write a problem back to disk.
1132 #. ``bundle_adjuster`` now allows the user to normalize and perturb the
1133    problem before solving.
1134 #. Solver progress logging to file.
1135 #. Added ``Program::ToString`` and ``ParameterBlock::ToString`` to
1136    help with debugging.
1137 #. Ability to build Ceres as a shared library (MacOS and Linux only),
1138    associated versioning and build release script changes.
1139 #. Portable floating point classification API.
1140
1141
1142 Bug Fixes
1143 ---------
1144 #. Fix how invalid step evaluations are handled.
1145 #. Change the slop handling around zero for model cost changes to use
1146    relative tolerances rather than absolute tolerances.
1147 #. Fix an inadvertant integer to bool conversion. (Petter Strandmark)
1148 #. Do not link to ``libgomp`` when building on
1149    windows. (Petter Strandmark)
1150 #. Include ``gflags.h`` in ``test_utils.cc``. (Petter
1151    Strandmark)
1152 #. Use standard random number generation routines. (Petter Strandmark)
1153 #. ``TrustRegionMinimizer`` does not implicitly negate the
1154    steps that it takes. (Markus Moll)
1155 #. Diagonal scaling allows for equal upper and lower bounds. (Markus Moll)
1156 #. TrustRegionStrategy does not misuse LinearSolver:Summary anymore.
1157 #. Fix Eigen3 Row/Column Major storage issue. (Lena Gieseke)
1158 #. QuaternionToAngleAxis now guarantees an angle in $[-\pi, \pi]$. (Guoxuan Zhang)
1159 #. Added a workaround for a compiler bug in the Android NDK to the
1160    Schur eliminator.
1161 #. The sparse linear algebra library is only logged in
1162    Summary::FullReport if it is used.
1163 #. Rename the macro ``CERES_DONT_HAVE_PROTOCOL_BUFFERS``
1164    to ``CERES_NO_PROTOCOL_BUFFERS`` for consistency.
1165 #. Fix how static structure detection for the Schur eliminator logs
1166    its results.
1167 #. Correct example code in the documentation. (Petter Strandmark)
1168 #. Fix ``fpclassify.h`` to work with the Android NDK and STLport.
1169 #. Fix a memory leak in the ``levenber_marquardt_strategy_test.cc``
1170 #. Fix an early return bug in the Dogleg solver. (Markus Moll)
1171 #. Zero initialize Jets.
1172 #. Moved ``internal/ceres/mock_log.h`` to ``internal/ceres/gmock/mock-log.h``
1173 #. Unified file path handling in tests.
1174 #. ``data_fitting.cc`` includes ``gflags``
1175 #. Renamed Ceres' Mutex class and associated macros to avoid
1176    namespace conflicts.
1177 #. Close the BAL problem file after reading it (Markus Moll)
1178 #. Fix IsInfinite on Jets.
1179 #. Drop alignment requirements for Jets.
1180 #. Fixed Jet to integer comparison. (Keith Leung)
1181 #. Fix use of uninitialized arrays. (Sebastian Koch & Markus Moll)
1182 #. Conditionally compile gflag dependencies.(Casey Goodlett)
1183 #. Add ``data_fitting.cc`` to the examples ``CMake`` file.
1184
1185
1186 1.2.3
1187 =====
1188
1189 Bug Fixes
1190 ---------
1191 #. ``suitesparse_test`` is enabled even when ``-DSUITESPARSE=OFF``.
1192 #. ``FixedArray`` internal struct did not respect ``Eigen``
1193    alignment requirements (Koichi Akabe & Stephan Kassemeyer).
1194 #. Fixed ``quadratic.cc`` documentation and code mismatch
1195    (Nick Lewycky).
1196
1197 1.2.2
1198 =====
1199
1200 Bug Fixes
1201 ---------
1202 #. Fix constant parameter blocks, and other minor fixes (Markus Moll)
1203 #. Fix alignment issues when combining ``Jet`` and
1204    ``FixedArray`` in automatic differeniation.
1205 #. Remove obsolete ``build_defs`` file.
1206
1207 1.2.1
1208 =====
1209
1210 New Features
1211 ------------
1212 #. Powell's Dogleg solver
1213 #. Documentation now has a brief overview of Trust Region methods and
1214    how the Levenberg-Marquardt and Dogleg methods work.
1215
1216 Bug Fixes
1217 ---------
1218 #. Destructor for ``TrustRegionStrategy`` was not virtual (Markus
1219    Moll)
1220 #. Invalid ``DCHECK`` in ``suitesparse.cc`` (Markus Moll)
1221 #. Iteration callbacks were not properly invoked (Luis Alberto
1222    Zarrabeiti)
1223 #. Logging level changes in ConjugateGradientsSolver
1224 #. VisibilityBasedPreconditioner setup does not account for skipped
1225    camera pairs. This was debugging code.
1226 #. Enable SSE support on MacOS
1227 #. ``system_test`` was taking too long and too much memory (Koichi
1228    Akabe)
1229
1230 1.2.0
1231 =====
1232
1233 New Features
1234 ------------
1235
1236 #. ``CXSparse`` support.
1237 #. Block oriented fill reducing orderings. This reduces the
1238    factorization time for sparse ``CHOLMOD`` significantly.
1239 #. New Trust region loop with support for multiple trust region step
1240    strategies. Currently only Levenberg-Marquardt is supported, but
1241    this refactoring opens the door for Dog-leg, Stiehaug and others.
1242 #. ``CMake`` file restructuring.  Builds in ``Release`` mode by   default, and now has platform specific tuning flags.
1243 #. Re-organized documentation. No new content, but better
1244    organization.
1245
1246
1247 Bug Fixes
1248 ---------
1249
1250 #. Fixed integer overflow bug in ``block_random_access_sparse_matrix.cc``.
1251 #. Renamed some macros to prevent name conflicts.
1252 #. Fixed incorrent input to ``StateUpdatingCallback``.
1253 #. Fixes to AutoDiff tests.
1254 #. Various internal cleanups.
1255
1256
1257 1.1.1
1258 =====
1259
1260 Bug Fixes
1261 ---------
1262 #. Fix a bug in the handling of constant blocks. (Louis Simard)
1263 #. Add an optional lower bound to the Levenberg-Marquardt regularizer
1264    to prevent oscillating between well and ill posed linear problems.
1265 #. Some internal refactoring and test fixes.
1266
1267 1.1.0
1268 =====
1269
1270 New Features
1271 ------------
1272 #. New iterative linear solver for general sparse problems - ``CGNR``
1273    and a block Jacobi preconditioner for it.
1274 #. Changed the semantics of how ``SuiteSparse`` dependencies are
1275    checked and used. Now ``SuiteSparse`` is built by default, only if
1276    all of its dependencies are present.
1277 #. Automatic differentiation now supports dynamic number of residuals.
1278 #. Support for writing the linear least squares problems to disk in
1279    text format so that they can loaded into ``MATLAB``.
1280 #. Linear solver results are now checked for nan and infinities.
1281 #. Added ``.gitignore`` file.
1282 #. A better more robust build system.
1283
1284
1285 Bug Fixes
1286 ---------
1287 #. Fixed a strict weak ordering bug in the schur ordering.
1288 #. Grammar and typos in the documents and code comments.
1289 #. Fixed tests which depended on exact equality between floating point
1290    values.
1291
1292 1.0.0
1293 =====
1294 Initial open source release. Nathan Wiegand contributed to the Mac OSX
1295 port.
1296
1297
1298 Origins
1299 =======
1300
1301 Ceres Solver grew out of the need for general least squares solving at
1302 Google. In early 2010, Sameer Agarwal and Fredrik Schaffalitzky
1303 started the development of Ceres Solver. Fredrik left Google shortly
1304 thereafter and Keir Mierle stepped in to take his place. After two
1305 years of on-and-off development, Ceres Solver was released as open
1306 source in May of 2012.